伏湛字惠公，琅邪郡东武县(今山东诸城)人，出身于经学世家。他的九世祖伏胜，字子贱，就是经学史上著名的济南伏生，因口授今文《尚书》闻名于世。伏湛的高祖父伏孺，在汉武帝时到东武教书，后来就在这里安居下来，繁衍子孙。伏湛的父亲伏理，生活于汉武帝时期，也是当世名儒，治《齐诗》，曾经做过汉成帝的老师，官至高密太傅。
伏湛为人忠厚孝敬，少年时代继承父亲的学业，教授的弟子有几百人。汉成帝时，按当时的任子制度，成为博士弟子。经过五次迁转，到王莽当政时期，担任绣衣执法，属于检举奸邪的职务。
更始政权建立后，伏湛任平原太守(郡治平原，今山东平原南)。这时天人战乱，人民惊扰，而伏湛仍悠闲自得，照常教授经学。他对妻子儿女们说： “如发生灾荒，国君都要裁减伙食。现在人民饥饿，我们如何能独享饱食?”于是改用粗粮为食，将俸禄周济乡里贫穷百姓。投奔伏氏的亲戚宾朋有一百多家。当时伏湛有一个部下很有力气，计谋为伏湛起兵。伏湛憎恶其扰乱人心，立即将其逮捕斩首示众，并告示百姓。于是人民心安，郡内平静。正是由于伏湛的努力，在两汉之际的战乱中，平原郡没有受到大的破坏。
东汉光武帝刘秀即位后，因为伏湛是当世名儒，汉室旧臣，将其调往中央政府任职。先任命为尚书，负责参考西汉旧章制定国家法制。此时大司徒邓禹率军西征关中，刘秀很欣赏伏湛的才能，拜其为司直，代行大司徒的职务。刘秀亲征时，伏湛一般留守洛阳，总管中央各部门的事务。建武三年(27)，伏湛代替邓禹为大司徒，封为阳都侯。伏湛成为宰相，是与当时光武帝的政治方针有关的。一方面，用伏湛代替邓禹，是用文官代替武将为重臣，是为了让国家政治由战争转入和平轨道运行所必须的。另一方面，借重伏湛学术、人品上的声望来争取地主阶级知识分子对东汉政权的支持。
这时，彭宠在渔阳反叛，刘秀想亲自领兵征讨，伏湛上疏谏诤说： “我听说周文王受天命征伐五国，一定先询问百姓意见，然后同大臣们讨论，还要占卜吉凶，再决定战事。所以制定的计划都能实行，占卜都逢吉卦，打仗都能胜利。陛下您在天下战乱不堪时受天命为帝，恢复祖宗旧业，歼灭割据势力，基本上平定了天下。不过，现在由于战争连年，天下饥荒，连京师的粮食也不足。渔阳边远之地。陛下舍近务远，四方百姓会疑怪，这是臣所困惑的。希望陛下首先以中原为念，安辑人民，休养生息。”刘秀听从了伏湛的劝阻，没有亲征。
当时有个叫徐異卿的聚众在平原郡富平县造反，刘秀派军围攻，不能奏效。徐異卿扬言说： “愿意降于司徒伏公。”刘秀知道伏湛在山东一带人心所向，派伏湛立即到平原，徐異卿见到伏湛后果然投降。
伏湛即使在很繁忙的情况下，行为举止也符合礼仪。他认为礼教是政化的首要任务，于是建议天下实行乡饮酒礼。
建武三年(27)冬天，刘秀率军征讨张步，留伏湛居守。在按礼仪规定的时日在高庙实行祭祀时，河南尹、司隶校尉在庙中争论。按汉代法律，在宗庙中喧哗、争论是要治罪的。伏湛没有处理，事后也没有汇报给刘秀，为此被罢免了职务。
建武六年(30)，伏湛被封为不其侯，食邑3600户。建武十三年(37)逝世。