胡大年先后毕业于北京清华附中（1980）和北方交通大学（1984）。此后，他任职于国家计划委员会，工作三年后，考入中国科学院自然科学史研究所，师从许良英先生和董光璧先生攻读近现代物理学史。1989年秋，他赴美留学，先后就读于Case Western Reserve University (M.A., 1991)和Yale University（M.Phil., 1997; Ph.D., 2001），师从Alan J. Rocke，Carroll Pursell, Martin J. Klein, Frederic L. Holmes, Beatrice S. Bartlett, 和Jonathan D. Spence (史景迁)等美国教授继续学习科学、技术与医学史以及近现代中国史。

自2001年起，胡大年开始在美国从事科技史和中国史的教学与研究工作，先后任教于University of Massachusetts-Amherst, Morgan State University, 以及The City College of The City University of New York。在纽约市立大学(The City University of New York)，胡大年获得终身教职并荣升正教授。2022年春，胡大年从纽约市立大学提前退休，全职回国，任教于南方科技大学社科中心。

胡大年教授的研究工作专注于20世纪中国科技史，重点是中国现代物理学史。他的第一部英文专著China and Albert Einstein 于2005年由哈佛大学出版社出版，2017年被美国物理学会会刊Physics Today的编辑遴选为五部基本的物理史著作之一。该书的中文增订版《爱因斯坦在中国》出版于2006年，被《中华读书报》评选为当年的全国十佳图书之一。迄2021年，他已经在海内外的专业杂志上发表了30余篇研究论文，并主编了两种英文期刊关于中国现代科技史的专刊。