于道泉于1917年至1920年就读于山东省省立甲种工业学校，以优异成绩毕业，打下了坚实的理科基础，同年考入山东齐鲁大学，先读化学系，兼修数学，后转社会学，专修西洋史和社会学，于1924年毕业。就在这一年，于道泉通过考试和选拔取得了公费留美的资格。在家人亲友咸来祝贺时，印度诗圣、诺贝尔文学奖获得者泰戈尔去印度学习梵文和佛学，但因当时国内政治原因未能成行。此时，胡适之请俄国东方语文学博士钢和泰在北京大学教梵文和印度古宗教史，泰戈尔遂将于道泉推荐给钢和泰，于道泉就在北京大学担任了钢的随堂英语翻译，同时跟钢学习梵文和藏文。也就在这一时期，于道泉接受了陈独秀、李大钊新思想的影响，走上了革命的道路，参加了中国***产党的地下组织，并积极地向弟妹们灌输社会主义、***产主义思想，鼓励他们走了革命道路。
1926年去了北海图书馆（即今国家图书馆的前身）担任满、蒙、藏文书的采访和编目工作，并多次用这三种文字发表专著和校勘佛经，在首都学术界已崭露头角。同时受聘在中央研究院历史语言研究所兼职，在业余时间，还编纂汉、藏、梵三种文体佛学词典。
上世纪30年代初，于道泉负责当时的国立北平图书馆（现国家图书馆）善本部，收集满、蒙、藏以及其他兄弟民族文字和文献。今天国家图书馆特藏部民族文字古籍的三分之二以上都是当年于道泉先生、彭色丹喇嘛和李启德先生采集来的。
1934年，于道泉被公派到巴黎大学攻读藏文。有人曾统计过，于道泉先生会13种语言，包括藏、蒙、满族语言及英、法、德、西班牙、土耳其、世界语等。
1934年5月至1935年7月，在法国巴黎大学官费留学，学习法语，并附带学习土耳其语。
1935年8月至1937年，在德国柏林学习德语。1937年下半年，又回到巴黎，以半工半读的形式，一方面在巴黎图书馆帮助整理图书并编写中文图书目录，同时还在东方语言学校教授汉语。
从1939年至1946年间，在英国伦敦大学东方学院担任高级讲师。这期间，国内是从抗日战争走向解放战争时期，于先生虽身居海外，但十分关心国内局势，与在延安的三妹陆华（若木）、妹丈陈云、四妹陆琳、二弟道源均有通信，互相问候，相互鼓励。在教书之余，将赵树理的《李有才板话》和《小二黑结婚》译成法文，在《人道报》下属刑物上连载。 1946年秋，怀着一颗赤子之心，满腔报国之情，应北京大学校长胡适的邀请，毅然放弃国外优厚的待遇，日夜兼程，回到祖国，到北京大学东方语文系，担任蒙藏文教授，同时受聘于北京图书馆担任特藏部主任。
新中国成立后，由胡乔木亲自点名安排，筹办了中央人民广播电台的对藏广播，促进了西藏的和平解放，并与费孝通、季羡林一起，举办了数期藏语学习法，为中央培训了一大批援藏干部和专门人才。
1951年6月，中央民族学院成立，于先生又成了该院的藏文教授，并担任了藏语教研组组长。在教书之余，还负责《藏、汉词典》的编纂工作，1983年该词典由民族出版社出版，填补了我国藏、汉语对照词典的空白，也实现了于先生多年的夙愿。
1946年于道泉先生回国后，直至1992年4月12日在北京逝世，他一直都兼顾着国家图书馆善本部的工作，被称为国家图书馆“不拿工资的馆员”。 1992年4月12日， 于道泉先生终因心力衰竭而长逝，年终91岁。中央民族学院为其举行隆重的追悼会，广大师生***同哀挽这颗语言巨星的陨落。