侯霸字君房，河南密县(今属河南)人。他家财万贯，从小就用不着为生计发愁。可他并没有成为一名只会吃喝玩乐的公子哥儿，而是发愤读书，拜九江太守房元为师，研究《谷梁春秋》，成为当时著名的经学大师。
汉成帝时，侯霸被请出来做官，官拜太子舍人。王莽代汉以后，他因为德才兼备，被提拔为随县(今属河南)县令。随县地方很大，而且很空旷，又离云梦泽和长江很近，所以不少亡命之徒在此落草为寇，为祸一方。侯霸到任以后，雷厉风行，毫不手软，他首先把县里的奸猾之徒逮捕归案，又派兵一举剿灭了山贼。在他的治理下，随县呈现出一派太平景象。由于他政绩突出，被王莽任命为执法刺奸。执法刺奸相当于西汉的刺史，每年秋天出巡考察诸郡国，岁尽回京城汇报，实际上是皇帝的耳目。侯霸在任期间，执法严明，弹劾权高位重的大臣无所顾忌，在士民中赢得了很高的声誉。后来，他被任命为淮平(今安徽盱眙)大尹(官名，即汉朝的郡守)。侯霸治理淮平郡政绩卓著，造福百姓，王莽末年，天下大乱，而侯霸独能保全一郡平安。
更始元年(23)，更始帝刘玄派使者征召侯霸到中央任职。临淮的老百姓听到这个消息后，痛哭流涕，他们扶老携幼，一起拦住了使者，苦苦哀求使者将侯霸留在临淮。有的人甚至还卧在道路上，用身体阻拦使者的车子前进。老百姓们还互相告诫，让孕妇们不要养孩子了，说侯郡守一走，天下这么乱，临淮说不定哪天就难保，孩子就是生下来也难以保全。更始帝的使者耳闻目睹了这一切，知道侯霸在此地深得民心，若是强行将侯霸调走，定会导致临淮大乱，因而没有向侯霸宣读诏书，而是把这里的情况原原本本地上奏了朝廷，请求更始帝改变主意，正好碰上更始帝被赤眉军打败并做了俘虏，联络中断，侯霸也就借机留在了临淮。
建武四年(28)，汉光武帝刘秀御驾亲征割据一方的舒成“皇帝”李宪。侯霸是《谷梁春秋》的著名学者，重视文治的刘秀对他慕名已久，于是下令征召侯霸到寿春相见。经过交谈，刘秀相见恨晚，当即拜侯霸为尚书令。尚书令是尚书台的长官。汉光武帝时期的尚书台，已正式成为总理国家政务的中枢。侯霸被任命为尚书令，是刘秀对他的高度信任。当时，东汉政府还没有组织章程，又缺少西汉政府时代的元老。而侯霸熟知前朝的典章制度，到职之后，收集遗失或散落的文件档案，列举从前对人民有益的一些法令制度和措施，上奏光武帝，由政府执行。建武五年(29)十一月，侯霸被任命为大司徒，封关内侯。侯霸的品德和才能一样出色，他为官清正明察，不取俸禄以外的任何所得，深受皇帝的信任和赞赏，并得到了百官的拥戴。
侯霸在任九年，荐贤举能，为东汉王朝网罗了一大批人才。“强项令”董宣是其中最著名的一个。
董宣字少平，陈留圉县(今河南杞县南)人。在司徒侯霸的荐引下出来做官。他为官清正，执法严明，不畏豪门。他在北海(今山东昌乐东南)相任内，毅然捕杀了横行不法的大姓公孙丹及其党羽，为当地百姓除去一害，有力地打击了横行乡里的豪强势力。在任洛阳令期间，他敢于触犯光武帝的姐姐湖阳公主的淫威，当面杀死了她犯了死罪的家奴。在皇宫中，董宣经受了一次生死考验，在皇帝的盛怒之下，他慷慨陈辞，据理力争，不惜以身殉法。最后刘秀也为董宣刚正不阿的正气所慑服，同时为他尽忠尽职的品质所感动，称赞董宣为“强项令”，赐钱30万。
侯霸荐举过董宣这样德才兼备的人为官，有功于社稷，可有时却因为言语不周，和一些人品高洁的贤才失之交臂。有一次，侯霸听说太原(今属山西)人闵仲叔是著名的学者，就特地聘请他到中央做官。闵仲叔到了洛阳，侯霸接见他，谈话中从不涉及国家大事和行政措施，只是寒暄一阵，慰劳他的辛苦跋涉。闵仲叔很不高兴，对侯霸说： “最初，接到你征召的命令时，既兴奋，又恐惧。今日得以见到阁下，兴奋和恐惧全都消失了。如果认为我没有资格接受你的询问，就不应该征召我。既然征召我，却把我摆在一旁，是没有看对人。”于是，闵仲叔不顾侯霸的挽留，告辞而去。他上奏章自我弹劾，回到家乡，终身不再出仕。
不过，侯霸有时难免也官气十足，这从他对待严光一事上便可看出。
严光，字子陵，会稽余姚(今属浙江)人。他是汉光武帝刘秀当年在长安游学时的同窗，年轻时就很有名望。刘秀一直没有忘记这位老同学，做皇帝后，就命人画出了严光的画像，到处找他。严光改名换姓，隐居乡间，不愿出仕。有一次，有人向朝廷报告： “有一个男子，披着羊皮袄垂钓于大江之畔。”刘秀怀疑是严光，马上派使者备安车，专程去礼聘。
使者三番五次恳请，来往三次，严光才答应去洛阳看看老同学。汉光武帝见故友自远方来，十分高兴，待以贵宾之礼。让御厨早晚进奉美食佳肴。此时，侯霸正做着大司徒。他跟严光一向关系很好。听说严子陵到了，就写了一封问侯的信，派助手侯子道送去。严光对侯子道说： “我多年没见君房了，君房素来傻里傻气的，现在做了大官，这个毛病可好点没有?”侯子道说： “他做了大司徒，怎么还能傻里傻气的呢?”严光说： “他叫你来有什么话?”侯子道耐着性子，说： “大司徒听说先生到了，本来要亲自来的，因为公事忙，脱不了身，到晚上他一定亲自来请教。”严光捋着胡子，说： “你还说他不傻。你看，天子征我三次我才来。我连天子都不愿意相见，难道还希罕他的臣下来见我吗?”侯子道请严光写封回信，严子陵推脱不掉，就口授了一封回信： “君房先生： 你做了司徒，很好。帮助君王多做点好事，天下都高兴; 要是只知道奉承，那就要不得。”
侯子道回去向侯霸一说，侯霸觉得面子有些挂不住，不愿意再见严光了。他把严光的话告诉刘秀。刘秀笑了笑，说：“他就是这个样儿，不必介意。”
当天，刘秀就亲自去看望严光。又把严光请入宫中，与他谈学问，叙旧情。整整谈了一天，当晚就留严光在宫中同榻而眠。然而，不管刘秀怎么劝说，严光都不肯留在洛阳为官，告辞回乡了。至今，富春江边还有个严子陵钓鱼台，据说就是当年严光钓鱼的地方。
大司徒侯霸不仅比不上严光的清高，也不如汉光武帝刘秀的谦恭下士的胸怀。不过，在辅佐刘秀治国上，侯霸还不愧为一代能臣。
建武十三年(37)，大司徒侯霸去世。刘秀失去了一位治世良臣，非常悲痛，亲自吊唁。他追谥侯霸则乡哀侯，食邑2600户，爵位由其子侯昱继承。临淮的老百姓追忆侯霸的政绩，为他立了祠堂，四时祭奠。