杜林字伯山，扶风茂陵(今陕西兴平)人。杜林的父亲杜鄴，汉成帝、哀帝年间曾做过凉州刺史。杜林从少年时代就好学深思，家中又多藏书，博学多闻，被当代人称为通儒。
杜林青年时代出仕，先做郡吏。王莽失败后，天下战乱，杜林与弟弟杜成、同郡好友范逡、孟冀等人，携带家眷离开本郡，去河西避难。这时割据陇右的隗嚣因仰慕杜林的声名，半路截住杜林，给他一个官职领取俸禄。但杜林以为隗嚣不能长久，称疾不起。隗嚣虽然怨恨，但还是宽容杜林，下达命令说： “杜林为当代大儒，天子不能臣，诸侯不能友。现在宜保持师友的关系，顺其志向。”
建武六年(30)，杜林的弟弟杜成病故，隗嚣准许杜林护其弟灵柩东归。杜林走后，隗嚣又懊悔，派刺客杨贤追杀他。杨贤追上杜林后，见杜林身推鹿车，载着弟弟的灵柩，叹息说：“当今之世，谁能行义?我虽是小人，怎么忍心杀义士呢?”说罢，自顾逃亡去了。
光武帝刘秀听说杜林已回到关中，就征辟他为侍御史，并亲自接见了他，向他询问关于经书的源流以及河西地区的事宜。杜林对答有礼，光武帝非常高兴，赠送给他车马衣被。朝中百官知道杜林受到皇帝的器重，对他非常崇敬。
与杜林同时代的经学大师，还有郑兴、卫宏等人。郑兴是著名文献学家刘歆的学生。杜林与他们交会后，非常高兴地说： “我杜林见到他们，真是三生有幸。”他们之间相处得很好。卫宏和他的学生徐巡还拜杜林为师。
杜林在陇西避难时，曾得到漆书《古文尚书》一卷，非常珍惜，屡次遭难，他总是怀抱这卷书，从不离身。当时今文经学立于学官，是官方学问，十分显赫。而古文经学仅在民间，不大流行。杜林将漆书《古文尚书》给卫宏赏阅，说： “我饱经战乱，惟恐这古文经学不流行于世，谁知东海卫宏、济南徐巡能传此学。虽然古文不合时务，希望学生们不忘此学。”卫宏、徐巡更加重视钻研古文经，于是古文经学渐渐流行开来。
后来杜林代替王良为大司徒司直。杜林在司直任上，乘机推荐同郡范逡、赵秉、申屠刚以及陇西牛邯等人到朝中做官，这些人多受到重用。
建武十一年(35)， 东汉政府废除司直官，杜林改任光禄勋。
后来皇太子刘强因母亲郭皇后被废，请求辞去皇太子位，改封东海王。光武帝为刘强重选官属，杜林被选为东海王傅。这表明了刘秀对杜林政治上的信任。
不久，杜林改任为少府，管理皇室的财产。建武二十二年(46)，杜林又复任光禄勋。就在这一年，杜林代替朱浮任大司空。在大司空任上，杜林受到称赞，认为他很称职。不过到第二年，杜林就因病去世了。