小澤征爾1935年出生在滿洲國奉天市（今遼寧省瀋陽市）。其父親小澤開作是滿洲國的一名牙醫，也是華北組織新民會的主要創建人之一。小澤開作十分崇拜日本關東軍策畫918事變的少壯軍官板垣征四郎和石原莞爾，便從這兩人的名字中各取一字，即「征」與「爾」，而成了小澤征爾的名字。
世界的指揮者の小澤征爾さんが、23日、サイトウ・キネン・オーケストラを4年ぶりに指揮しました。ライブ配信で国際宇宙ステーションで任務にあたる若田光一さんに演奏を届けました。
(C)小澤征爾／SKO x JAXA ONE EARTH MISSION
1959年，小澤征爾在日本東京的桐朋學園短期大學向日本指揮教育家齋藤秀雄學音樂，畢業後去歐洲及美國深造。在法國留學時，獲得這一年九月份貝桑松世界指揮比賽的冠軍。
1960年，參加美國伯克郡音樂節指揮比賽並取得了第一名，並榮獲庫謝維茨基大獎。由此得以成為當時波士頓交響樂團常任指揮查理·明希的學生。半年後，小澤征爾在國際卡拉揚指揮比賽中獲得第一名，根據前三名可成為卡拉揚弟子的賽規，他留在西德，師從赫伯特·馮·卡拉揚。
1961年，成為倫納德·伯恩斯坦在紐約愛樂管弦樂團的助手。同年在NHK交響樂團擔任指揮。1962年12月18日，小澤征爾與NHK交響樂團的衝突加劇，他提出訴訟控告NHK交響樂團不履行契約及毀損名譽。1963年1月17日，經由作曲家黛敏郎從中調節，NHK副理事阿部真之助與小澤會談，雙方達成和解。
小澤征爾於1965年到1970年任多倫多交響樂團的音樂指導。1969年到1976年任舊金山交響樂團的音樂總監。1973年到2002年任波士頓交響樂團的音樂總監。
1995年1月23日，離開NHK交響樂團32年3個月後，小澤征爾重新站上該樂團的指揮台進行指揮，為阪神大地震的罹難者哀悼。
2002年後，小澤征爾成為維也納國家歌劇院的音樂總監。並指揮了2002年維也納新年音樂會。
2006年2月1日，維也納國家歌劇院宣布，小澤征爾因為患上了肺炎和帶狀皰疹，已取消2006年的所有演出。2007年3月，小澤征爾復出，並在東京與他創立的野守歌劇團演出。
2010年1月7日，小澤征爾宣佈他患有食道癌，將有六個月暫別他的音樂活動，以專心養病。2010年8月1日，小澤征爾在食道癌手術後復出，重返樂壇並公開排練。
2024年2月6日 小澤征爾 病逝，享壽88歲。