我的一生和高雄醫學大學（以前的高雄醫學院），有密切的關係。我出生在台北，那時祖父杜聰明是台大醫學院院長，因為我父親是長男，照台灣的傳統，和他父親一起住，所以我從出生就和祖父一起住，住在台大醫學院院長宿舍。我一歲那年，杜聰明因為南台灣沒有最高學府，而且台灣的醫生不夠，決定南下創辦高雄醫學院。1954年杜聰明帶領一批台大的教授和醫師，南下在高雄創辦了台灣的第一所私立醫學院。我和祖父搬進前金區自強二路83號的院長宿舍，成為在高雄長大的孩子。
我的哥哥武青、弟弟武祥、我，都唸附近的大同國民學校。祖父在社會上設立不少獎學金，在家裡也有給他孫子的獎學金。每學期如果是全班第一名，他會給我們新台幣一百元，在當年那是很大的數目。我認為祖父對我們三兄弟的影響很大，我們在大同國民學校，年年都是全班第一名，後來我們三個都在學術界工作。
我和哥哥武青因成績優秀，保送到高雄市立二中 (現在的前金國中）。我們那時的一些同學，現在都成了社會的泰斗，譬如陳永興做了立法委員、民報董事長，為轉型正義賣力，陳志鴻做了成功大學醫學院院長，陳翰容是義守大學醫學院院長。
我初中時，高雄醫學院起了很大的風波。據我所知，問題的癥結在於董事長陳啟川，把學校的錢1200萬台幣放在個人帳戶，院長杜聰明要他拿出來，他拿不出來，反而要把院長解聘。高醫的董事會和教授分成陳派和杜派，互相攻擊。我父親杜祖智那時在高醫任教，也受到攻擊。我父親對我說，他在高醫是為了幫助我祖父，可是因為高醫的糾紛，他決定離開，去美國留學。他先去了賓州大學，後來去了阿拉巴馬大學做博士後。在我13歲那年，媽媽帶著我們三兄弟去阿拉巴馬州，從此離開了台灣。
我父親接著去了加拿大的阿爾伯塔省，在那裡的大學做「博士後」，然後再唸第二個博士學位，修藥理學的理學博士。我在加拿大的艾德蒙頓唸初中和高中，因為離開台灣不久，英文不是很好，最容易的科目是數學，漸漸的興趣偏向數學。高二時全國數學比賽，我得加拿大第二名，我那時開始想終身研究數學。現在回想起來，我不覺得我有數學的天才，我在這方面有些成就，只是因為我下了很大的功夫。
初中離開台灣，是我一生的關鍵，改變了我的將來。我如果留在台灣，很可能學醫，因為台灣的環境壓力很大。在美國、加拿大，比較注重個人興趣，沒有學醫的壓力。另外一點不同的是，台灣的中小學教育注重考試，一些科目如公民和地理，我覺得很枯燥。美國的教育，重視啟發了解，讀書輕鬆多了。
在台灣祖父的名氣很大，我可能因此受到不同的待遇，被老師特別疼愛也說不定。在美國這不是一個因素，一切都要靠自己的表現，對我來說，這是一件好事。
我祖父雖然富裕，他在世時，並沒有什麼財產給我父親。我中學、大學唸書的時候，我父親做博士後或研究生，收入不多，不能支持家境，一方面靠我母親在醫院的廚房打工。還好我們三兄弟都得到McGill 大學的獎學金，順利上大學。大學的暑假時，我們也都去打工賺錢。後來我轉學到普林斯頓大學，武祥轉學到哈佛大學，也都是靠學校的獎學金。這一段經驗，使我對低收入階層的人特別同情。我現在有些財產，也在一些大學設立獎學金，特別補助清寒學生。去世後，大部分的財產也想捐給大學做獎學金。
我的祖母林雙隨是霧峰林家的小姐，姑丈林衡道是板橋林家的公子，外人很難想像，台灣五大家族的後代，需要獎學金才能上學。但是事實上，我父親20年左右沒有什麼錢，我們過著很節儉的生活。這一段生活給我很寶貴的人生經驗。
有人好奇，說我家是特殊家庭， 想知道我長大的過程。其實霧峰林家在19世紀的顯赫，我是長大以後才知道的。我和祖父一起住， 無形中接受他的價值觀，從小就尊重學術，不太重視物質享受。我祖父給我兩幅他的書法，「淡薄明志」「寧靜致遠」，成為我的座右銘。我還記得祖父用台語唸白居易的「長恨歌」，和用國語唸比較，好像平仄押韻都比較對，好聽得多。 祖父給我一本「唐詩三百首」，培養我對古詩的興趣。我家是書香門第，我小學看了很多改編給兒童看的世界文學名著。不過西遊記、 水滸傳、三國演義、封神榜等，都是看原本。
我在大學時，主修純數學。最初在加拿大的McGill ，後來我對McGill的程度不滿意，轉學到普林斯頓。普林斯頓真是集天下菁英， 我交了很多傑出的朋友。我在哈佛念研究院，也是這樣，我的同學大多成了傑出的數學家。
我大三時，祖父來普林斯頓看我，他說：「武亮看起來很孤單。」說得一針見血，我那時的確很孤單。
我大學畢業後，一度意志動搖，對自己有沒有才能成為數學家產生疑問。我申請醫學院，也被錄取了，可是後來還是回到了哈佛的數學研究所。
在哈佛對我影響最大的是Raoul Bott教授，我很喜歡他的課，他開什麼課，我都去修。他為人風趣，對數學有獨特的看法，一切都很自然。我上他的課，總覺得什麼觀念都一目了然，非常清楚。後來他要我跟他合寫一本書，成為Differential Forms in Algebraic Topology。
我雖然特別欽佩Raoul Bott教授，但是我沒有請他做指導教授，因為我那時一心一意想學代數幾何，所以我跟Phillip Griffiths教授寫博士論文。我一度從事代數幾何的研究，不過20年來，還是回到了Raoul Bott做的代數拓撲和幾何。這兩位都是數學的一代宗師，我能拜他們為師，是非常幸運的事。
研究院畢業後，我又一次意志動搖，曾去考法學院。二十幾歲時，有很多感情上的問題，一方面自我認識不夠，另一方面要適應外來環境，覺得很困苦。我曾經去看精神科的心理醫師，不過最後還是我的一個好朋友，把我帶過了幾次人生的危機。
1982年祖父90歲時，我第一次回到台灣，才知道因為我們三兄弟都沒有學醫，沒人繼承衣缽，他覺得失望。不過他說我既然已做了選擇，就要在自己的專門另創高峰。
我在密西根任教後，就很專心正業，沒有再想做其他的事情了。後來我去霍金斯大學三年，然後轉到塔芙茨大學，在這裡已經30年了。
我因為高中在加拿大唸，高中時開始學法文。開始工作後去法國幾次開會，非常嚮往法國文化。後來我在巴黎買房子，每年都去住一段時間。現在我覺得我有三個國家，台灣、美國和法國。
我在海外50年，深深地感受到台灣要受國際的肯定，在各方面要有傑出的表現。可惜出國後的第二代，都成了美國人，跟台灣沒有認同，對台灣沒有什麼感情。台灣在國外，只能靠著出國的第一代。我的一個意願是，在自己的領域上，能為台灣爭光。