1935年,他出生于中國沈陽,在他很小的時候,母親教他唱《彌撒曲》時,發現他對音樂有著特殊的領悟力,于是以后便注意培養他在音樂方面的興趣。幾年以后,他們全家回到了日本東京,盡管那時是戰爭時期,生活困難,但父母還是堅持送他去學習音樂。1951年,他考入了日本著名的桐朋學園音樂系,跟隨日本著名指揮教育家齋藤秀雄學習,齋藤秀雄很喜歡這個少年,用獨特的方法訓練他,在他身上傾注了很多心血。初學指揮的時候,他以為指揮音樂就是掌握好手勢的變化就可以了,但有一回,齋藤老師讓他試著指揮一首曲子,他指揮完了以后,齋藤老師搖了搖頭,他一見,連忙問:“老師,我是不是什么地方指揮錯了?”齋藤老師說:“你什么地方也沒錯,但你只是在用手指揮,而一個優秀的指揮家,是用心指揮的。”他聽了以后,意識到了自己的問題,從那以后,他在指揮的時候,首先讓自己沉浸在音樂所帶來的優美意境中,陶醉在其中達到忘我的境界,然后才開始指揮,這時,他感覺手中的指揮棒是隨著音樂的起伏自然而然地在揮動,真正達到了齋藤老師所說的“用心指揮”的地步。起初,他認真模仿齋藤老師揮動指揮棒的手勢,幾乎達到了一點不差的程度。齋藤老師注意到了這個問題,有一回上課時,齋藤老師自己先指揮了一首曲子,然后讓他也指揮一遍這首曲子,他指揮的時候,完全按照齋藤老師的手勢指揮,幾乎一模一樣。當他放下指揮棒的時候,齋藤老師問他:“你清楚自己的問題所在嗎?”他搖了搖頭,說:“我完全是模仿您的動作指揮的呀!”齋藤老師說:“這正是問題所在,一個優秀的指揮家,應該有自己獨特的個性,而不是機械地模仿別人。記住,在藝術上,永遠要做你自己,而不是任何人,無論那個人怎樣優秀。”他記住了齋藤老師的教導,在日后的學習中,不再單純模仿齋藤老師的動作,而是加入了自己的理解,經過一段時間,他的指揮水平形成了自己的特色。
為了能夠在更廣闊的領域去學習和展示自己的才華,1959年,他來到了素有“藝術之都”之稱的巴黎留學,在一次偶然的機會里,他參加了貝藏松世界指揮比賽,這是一場非常重要的比賽,能否在這次比賽中獲得好的名次,關系到一個指揮家的未來和前途,因此所有參賽者都非常重視,可謂高手云集,競爭也異常激烈。經過初賽、復賽,這名日本指揮家表現得很出色,一路過關斬將,殺入了決賽,進入決賽的選手一共有三名,將在其中產生一名本次大賽的冠軍。決賽那天,他被安排在最后一個上場,他坐在后臺靜靜地等著,等前兩名選手下場之后,他被叫到了臺上,臺上已經排好了一支幾十人的樂隊,臺下坐著一排評委,一個評委交給他一張樂譜,讓他照著樂譜指揮樂隊進行演奏,他熟練地把樂譜放到架子上,開始揮動指揮棒,全神貫注地指揮著這個世界一流的樂隊。當演奏進行到一分半鐘的時候,他忽然發現樂曲中有一個小音節出現了微小的變音,這是一個很容易被忽視的地方,一般人注意不到這個微小的變化,即使注意到了,也不會在意,因為這個音節實在太小了,一閃而過,但他是個十分認真的人,他首先判斷是樂隊出錯了,就立即叫停,讓樂隊重新演奏,然而,當演奏到同一個地方時,再次出現了同樣的變音,這回,他意識到出現錯誤的原因不在樂隊身上,而應該是樂譜出錯了,于是他再次叫停了演奏,拿起樂譜對評委們說:“這個樂譜存在問題,請給我換一個完整的樂譜。”評委們聽到此話面面相覷,一個資深評委對他說:“樂譜已經連續用了十二年了,而且是經過我們全體評委審訂的,怎么會出錯呢?一定是你產生了錯覺,繼續指揮吧!”他猶豫了一下,轉過身去,再次拿起了指揮棒,樂隊又開始演奏,然而,演奏到同一時刻的時候,他再次發現了那個變音,于是再次堅決地叫停了演奏,對評委們說:“這份樂譜絕對是錯誤的,請為我換一份完整的樂譜好嗎?”剛才那位資深評委問道:“你確信一定是樂譜錯了,而不是你的判斷出錯了嗎?”他堅定地說:“我確信我的判斷沒有錯,問題一定出在樂譜上!”聞聽此言,全體評委集體起立為他鼓掌,那位資深評委走上前來對他說:“祝賀你獲得了本次國際音樂指揮家大賽的冠軍,在所有的參賽選手中,只有你交了一份最合格的答卷!”原來,這次決賽參賽的三名選手,指揮技巧方面不相上下,難分伯仲,評委會便故意在樂譜中設置了一個十分微小的錯誤環節,前兩名選手根本就沒有注意到,一氣呵成指揮完了演奏,只有這名日本選手注意到了,而且一而再、再而三地堅持自己的判斷,這正是一流指揮家所必需的心理素質,所以,他當之無愧地摘取了那次大賽的桂冠,這個年輕的日本指揮家,就是日后名揚天下的小澤征爾。
用心靈去指揮、堅持自己獨特的個性、不迷信權威,是小澤征爾成功的原因所在。