一
汉代第五代君主武帝君临天下后，曾诏令将一批横行乡里的豪强、游侠强制迁徙到京师长安(今陕西西安)西北的云陵(今陕西淳化西南)，以便控制。
黄霸就是这批被强制迁徙中的一个。
这时的黄霸还很年轻，他来自淮阳国阳夏县(今河南太康)。黄霸家中富有，恃势肆横，许多乡人屈服在他的淫威下，少年时他拜师学习律令，想以此作为进身之阶，但是始终难遂心愿。徙居云陵后，他改过自新，克己修行，以期能步入仕途，但希望还是迟迟难以实现。他自忖不能再等了，遂拿出相当大的一笔家产，捐了个官，累迁至谒者。这是个掌宾赞受事的相当于六百石的官。刚刚爬到这个官位上，他的兄弟中有人犯法，他被牵连免官。黄霸不甘心就这么退居田园，又狠狠心捐出一大批粮食，换来了个左冯翊二百石小吏的头衔，左冯翊掌治京畿西部。黄霸的官位是花钱买的，长官瞧不起他，没给他安排重要职务，让他去负责统计钱粮出入的情况。黄霸没因职权轻而怠慢，克尽职守，统计准确无误。在官吏考核中，他以廉明被提升为河东郡(郡治安邑，今山西夏县西北)均输长，负责调度、征集河东郡的租赋财物。不久又因为工作出众而被擢为河南(郡治洛阳，今属河南)太守的助手——丞，黄霸机敏，又通晓律令，为官温良谦让，颇得太守信任。
这时，已是昭帝君临天下了。大司马大将军霍光辅政专权，以严刑峻法治理天下。上行下效，各地官吏也皆严刑峻法为事，民人动辄触禁。而黄霸却宽以待人，所以颇得吏民称颂，闻名天下。
昭帝短命，21岁便病逝了，没留下子嗣，权臣霍光专权，拥立昭帝侄儿、昌邑王刘贺为帝。谁知，此人荒淫，登上帝位27天便原形毕露，淫乱无度。霍光废黜刘贺，另立武帝曾孙刘询为帝，是为宣帝。
宣帝祖父刘据，乃武帝的长子，7岁时被立为太子。征和二年(前91)，迫于奸臣江充的诬陷，38岁的刘据起兵夺权，兵败被杀。襁褓中的宣帝也受牵连，幸赖廷尉监丙吉等人救护，才幸免于难，后获准以平民身份生活在掖庭中。
宣帝起自民间，深知民间疾苦。他在民间时，便听说河南郡有个叫黄霸的，以宽和待民，甚得民人爱戴，遂召黄霸入京，任命他为九卿之一的廷尉的助手——廷尉正。黄霸多次奉命审理疑难案件，因为他断狱详明、公正，不久又被擢为代理丞相长史。长史是丞相的助手。
刚刚出任此官，黄霸便遇上了麻烦，差点断送了他的性命。
事情是这样的： 宣帝颁发了一道诏令，盛赞武帝功勋，想以此来提高武帝宗庙乐舞的规格。他将这件事让公卿讨论是否可行。众大臣皆言可，惟长府少府夏候胜认为武帝虽有攘四夷、广国土之功，然多杀伤士众，竭尽民力，奢靡无度，天下虚耗，黎民流离，不应再提高庙乐规格。言语尖锐，群臣大惊，说： “这是诏书!”夏候胜满不在乎地说： “诏书也不可实行。”黄霸也参加了这场会议，他是丞相长史，负有纠举不法之责。对夏候胜的胆大妄为，他没有劾举。丞相蔡义、御史大夫田广明奏劾夏候胜非议诏书，毁先帝，大不道; 而黄霸身为丞相长史，阿顺纵容夏候胜，不举劾。结果，夏候胜、黄霸被一起逮捕下狱，准备处死。
夏候胜乃《尚书》大家，黄霸与他同牢，想拜他为师，学习《尚书》。夏候胜心灰意冷，准备就死，不愿再讲什么《尚书》了。黄霸说： “朝闻道，夕死可矣。”夏候胜大为黄霸的刚强、乐观精神所感动，遂收下了他这个徒弟。
结果他们的这桩案子迟迟没有判，竟然在狱中一连住了三个春秋。
三年来，师徒讲习不辍，黄霸成了造诣颇高的《尚书》学家，这使他后来仕宦生涯受益非浅，真可谓因祸得福。
第四年上，关东49郡地震，宣帝素服避正殿，大赦天下。夏候胜、黄霸被赦免出狱。夏候胜被重新起用，出任谏大夫给事中。他盛赞黄霸是个难得的人才，野处民间殊为可惜，宣帝遂任命黄霸为扬州刺史。刺史虽秩微，仅六百石，然奉诏督察所属郡国，职权颇重。
二
在扬州刺史任上三年，黄霸克尽职守。全国地方官员评定、考核，黄霸名列前茅。宣帝颁诏，任命黄霸为颍川(郡治阳翟，今河南禹县)太守，特赐他高达一丈的大车盖; 他的属吏的车子，也加以特殊装饰，以此来褒扬黄霸的功德。
黄霸感激涕零，决心造福颍川，报效皇上。
颍川，曾是韩国都城。韩国推崇法治，吏民慕尚申不害、韩非等法家巨擘的思想，追求功名，喜欢律令，不大讲什么仁义道德。
对这样一个地方，怎么治理?黄霸面临严重的考验。宣帝安排他到颍川任职，特赐殊礼，既是对他的信任，也是出于颍川难治的考虑，把这个棘手的地方交给了他。
黄霸知难而进，雄心勃勃地走马上任了。
他首先从选择属吏入手，简选了一批得力助手。然后，开始了他的整顿工作。他命令各亭、乡官吏都畜养一些鸡猪，用来赈济鳏寡孤独、穷困潦倒不能自存者; 各村邑置父老、师帅、伍长，职司教导、督促耕种、植树畜养诸事; 死无葬身之地者，他亲自筹划墓地。他的治理措施，一切从德治出发，力求匡正颍川风气。
黄霸深知治民之要，在于管好辖下的官吏，他一人能力是有限的，必须依靠属吏来行政、治民。怎样才能有效地控制属吏?他的方法之一，是留心侦知属吏的一言一行，然后出其不意地、随便地讲出来，让属吏觉得自己神明，无所不知，无事不晓，不敢逞欲妄为。他的这一手颇为有效。一次，他遣一名老吏去调查一桩案子，嘱咐老吏不可暴露身份、行踪，偷偷前往。老吏依言而行，到了吃饭的时候，不敢去负责接待来往官员的邮亭用餐，拿出随身带的饭菜，坐在路边吃了起来。突然，一只大鸟飞来，把一块肉叼走了。一个老百姓去郡府言事，路过这里，正好碰上。此人到了郡府，黄霸接见，言谈中道及此事，黄霸牢记在心。第二天，老吏办完事回府，黄霸热情地起身相迎，道：“你辛苦了，路边吃饭还让鸟抢去一块肉。”老吏大惊，以为自己的一举一动都在黄霸的掌握之中，汇报调查工作时，据实道来，丝毫不敢隐瞒。就这样，黄霸有效地控制了他辖下的官吏。另一方面，黄霸又广施恩惠，笼络属吏。他辖的许县(今河南许昌东)有个县丞，年老，耳目不灵，有人建议罢免他。黄霸说：“那位县丞一生廉洁奉公，尽管年纪大了，还能拜起迎送，让人好好协助他，不要伤了他的感情。”那县丞感激涕零，在任的官吏也都有老的时候，见郡守大人不是像多数官员那样卸磨杀驴，顾念一生劳苦，无不感动，愿竭心效力。有人担心继续任用许县县丞那样的老人虽可笼络众吏，恐妨害工作。黄霸不以为然，说： “变更长吏，送旧迎新，耗费钱物; 不法之徒也往往乘新旧交替之际隐匿、贪污财物; 新任用的官吏又不一定贤明，或许还不如从前的。”众人折服。
黄霸在颍川治绩卓著，全国郡守评核，又名列第一，被征召入京，代理京兆尹。京兆尹向以郡国守相中的最杰出的人物充任长官。黄霸上任，因没有先奏请，就征发民人修治驰道，被纠劾; 征发骑士时又出现马少人多的局面，再被弹劾。宣帝遂免除了黄霸代理京兆尹之职，让他再回颍川任职，但官秩从二千石降为八百石。
黄霸重新回到了颍川，距他离开仅仅数月。
但此番前来，他是个遭贬秩的官员，没有第一次那么风光。不过，黄霸不以为意，一如既往地工作，颍川的事仍干得很好。
宣帝颁诏，褒扬黄霸说： “颍川太守黄霸，宣布诏令，百姓向化，孝子顺孙贞妇日益众多，农人让畔，道不拾遗，赡养鳏寡，赈济贫穷，监狱中八年没有重罪囚犯，吏民崇尚教化，注重仁义。黄霸可谓贤人君子。《尚书·益稷》说： ‘股肱良哉!’特赐黄霸关内侯，黄金百斤，秩中二千石。”宣帝还赏赐了颍川孝子顺孙、三老官和致力稼穑的民人。
三
黄霸受褒扬不久，应征入京，出任太子太傅。
五凤二年(前56)八月，宣帝擢黄霸为御史大夫。
翌年正月，丞相丙吉病逝，二月，黄霸被任命为丞相，封建成侯。
丞相总纲纪，理百政，与做郡守治民大不相同。黄霸是位实干家，一个郡可以治理得井井有条，但执一国之政就有些力不从心了。出任丞相之初，上自宣帝，下至公卿百官，都对他寄予厚望，但不久他们便大所失望，认为黄霸为相，风采不及前丞相丙吉、魏相。于是黄霸遭到一些人的非议。
一天，一群鹖雀从京兆尹张敞的房舍上飞集丞相府，黄霸以为是神雀，乃天下大治之祥瑞。属吏都随声附合，有认得是鹖雀者，也假装不知。黄霸大喜，准备上奏。张敞获悉，上疏奏劾黄霸虚报祥瑞，粉饰太平。宣帝对黄霸也有些失望，赞肯了张敞的奏疏。黄霸很是羞愧。
外戚乐陵侯史高，官为侍中，贵倾公卿。黄霸上疏，说史高可为太尉。太尉，汉初设置过，位同丞相，典掌武备。武帝建元二年(前139)废止。宣帝御览了黄霸的奏疏，心中大为不快，觉得黄霸露骨地讨好、巴结外戚，派尚书诘问黄霸： “太尉罢废已久，由丞相兼任其职，目的是偃武兴文。若国家不虞，边境有事，公卿大臣皆可充任将帅。宣明教化，通达幽隐，使狱无冤案，村无盗贼，才是丞相的职责，选将拜相乃朕的事。侍中乐陵侯史高侍从于左右，他的才干如何，朕最清楚不过，丞相何故越职而荐举他?”言辞颇为尖锐。黄霸理屈辞穷，免冠谢罪。
从此以后，黄霸不敢再上疏奏请什么了。
甘露三年(前51)三月，黄霸寿终正寝。
他做了五年丞相，没什么建树。
尽管如此，汉人仍很推重他，把他看成是最擅长治民、最会使用属吏的人。班固《汉书》把他列入《循吏传》循，顺也，上顺国法，下顺人情。汉代丞相，他是唯一入《循吏传》的。
黄霸的夫人，是一个女巫的女儿。当年， 黄霸初入仕途，与一位相面先生同车出行，遇上一个女子，相面先生打量着那女子道： “此女子定当富贵， 否则， 相书就无用了! ”黄霸打探那女子的身世，知是同乡一个女巫的女儿，遂娶为妻。
黄霸死后，子黄赏嗣爵，官至关都尉。黄赏死，子黄辅嗣爵，仕至九卿之一的卫尉。到王莽新朝，侯爵被废止。