黄霸，字次公，是淮阳郡阳夏县人，身为豪杰而役使乡里人迁徙到云陵。
黄霸年轻时学习法律，喜欢做官，汉武帝末年以待诏的身份因纳钱有功被赏给官职，授官侍郎谒者，因兄弟有罪受牵连被弹劾免官。
以后又纳谷沈黎郡，被授官担任左冯翊二百石卒史。
因为黄霸是交纳钱财才担任官职的，所以不让他担任高职，而让他管理郡国钱粮的出入之数。
其簿册清楚没有侵隐，因廉洁被称赞，被察举而升任河东均输长，又因廉洁被推举担任河南太守丞。
黄霸善于观察，思维敏捷，又通晓法律，温和善良又能谦让，足智多谋，善于驾驭众人。
黄霸担任守丞时，处事及议论都符合法律，适合人心，太守非常信任他，吏民都爱戴尊敬他。
自汉武帝末年，施法严厉苛刻。
汉昭帝即位，年幼，大将军霍光秉政，大臣争权，上官桀与燕王筹谋叛乱，霍光在诛杀他们之后，就遵循汉武帝时的法度，用刑罚严厉约束属下，因此平庸无能的官吏都崇尚严酷的刑罚，认为这是才能，而黄霸却只用宽厚温和的政策进行治理而出名。
正碰上汉宣帝即位，汉宣帝在民间时深受小吏之苦，听说黄霸执法公平，即位后征召黄霸让他担任廷尉正，多次决断疑难官司，廷尉称赞黄霸公平。
守丞相长史，与公卿聚会议于朝廷之中，知道长信宫少府夏侯胜非议诏书犯了大不敬，黄霸讨好他，不检举弹劾，皇上将他们俩都委付给廷尉，囚禁在牢狱之中，应当处死。
黄霸于是在狱中跟随夏侯胜学习《尚书》，又过了一个冬天，总共三年才被释放出来，这些都记载在《夏侯胜传》里。
夏侯胜出狱后，重新担任谏大夫，让左冯翊宋畴推荐黄霸为有德行的人。
夏侯胜又在皇上面前口头推荐，皇上于是提拔黄霸担任扬州刺史。
三年后，汉宣帝下诏说：“诏令御史：以德行最优的扬州刺史黄霸担任颍川太守，官俸与二千石等同，在位赐车盖，特许其一个人车盖高一丈，另乘主簿车，把橘红色的油涂在轼前的屏泥上，以昭明他有德行。”当时皇上注意国家治理，多次颁发恩泽诏书，但官吏没有让百姓都知道。
黄霸为太守挑选品行好的官吏，分别宣布诏令，让百姓都知道皇上的好意。
命驿馆、乡里治所都喂养鸡猪，以便赡养鳏寡贫弱的人。
然后制订教令，设置父老、师帅、伍长，颁行于民间，勉励他们做好事防止奸邪之徒，以及致力农桑，节俭增财，种植树木、喂养牲畜，不喂养吃谷的马匹。
细小之事，起初极为繁多，但黄霸凭自己的精力极力推行它。
黄霸见到吏民，从与他们的谈话之间探求，询问其他隐私，以作参考。
黄霸曾想有所考察，于是挑选了年长廉洁的属吏并派他巡视，告诫他不要泄露出去。
这一属吏出去后，不敢在驿站停留，在道旁进食时，乌鸦迅速抓取了他所要吃的肉。
有个准备到郡府谈论事情的人刚好看见了，黄霸与这人谈到了这件事。
过了两天这个属吏回来拜见黄霸，黄霸看见他后欢迎并慰劳他，说：“非常辛苦！在路旁进食却被乌鸦把肉叼走。”这个属吏大惊，认为黄霸全部知道他的行踪，黄霸所询问的，这一属吏连极小的事情都不敢隐瞒。
鳏寡孤独有死了而无法埋葬的，乡部用信告诉黄霸，黄霸全都为其分别加以处理，某地的大树木可做棺材，某亭的猪子可用来祭祀，下吏前去验看后发现一切都如黄霸所说。
他记事的能力之强达到这种地步，吏民不知道他用的什么方法，都称赞他神明。
因此，奸邪之徒离去到了别的郡国，盗贼一天比一天减少。
黄霸尽力实行教化，若有不从的，然后才使用刑罚，从不轻易替代损伤长吏。
许县丞年老，犯耳聋病，督邮将此事告诉黄霸并想赶走他，黄霸说：“许县丞是一名廉洁的官吏，虽然年老，但还能拜起送迎，即使很聋，又有什么妨碍呢？姑且好好地帮助他，不要使贤能人失去志向。”有的人询问他的缘由，黄霸回答说：“多次变换长吏，欢送旧官迎接新官的费用和奸滑小吏乘交接之际弃匿簿书来盗取公物，公私所耗费用很多，这些都应当由百姓拿出，所更换的新官又不一定贤能，有的不如以前的官吏，只是增加混乱。
大凡治理之道，不能太苛求吧。”黄霸靠表面宽大暗中明察得到吏民拥护，户口每年增加，治绩为天下第一。
皇上征召他担任京兆尹，俸禄二千石。
后来犯了事先没上报就征发百姓修筑驰道，又征发骑兵到北军但马少士多不相应的罪过，被弹劾耽误了朝廷征集财物以解决军用的大事，接连被减损俸禄。
后来皇上又下诏让他复官颍川太守，俸禄八百石，像以前一样进行治理。
前后总共八年，郡中治理好了。
这时凤凰神爵多次聚集郡国，颍川更多。
皇上认为黄霸是政绩保存时间最长的人，于是下诏称赞他说“：颍川太守黄霸，宣布诏令，百姓向往教化，孝子、悌弟、贞妇、顺孙一天比一天增多，耕作者相让于田界，道不拾遗，看顾鳏寡之人，供养贫穷之人，有的监狱八年没有犯大罪的囚犯，吏民向往教化，品行道义兴起，可称得上是贤人君子了。
《书》没有说到这吗？‘大臣贤能啊’！封爵关内侯，赐黄金一百斤，俸禄中二千石。”而颍川孝顺父母、敬爱兄长的有行义民、三老、力田三类，皇上都按等级赏赐给他们爵位及布帛。
几月后，皇上征召黄霸担任太子太傅，后迁升为御史大夫。
五凤三年(前55)，黄霸代替丙吉担任丞相，被封为建成侯，食邑六百户。
黄霸的才能在于擅长管理百姓，到他担任丞相后，总计汉宣帝朝的纪纲，黄霸的法纪命令，其风度比不上丙吉、魏相、于定国，这有损于他治理郡国时的功绩、名声。
有天京兆尹张敞家的曷鸟雀飞集于丞相府，黄霸认为这是神雀，商议后想把这件事告诉皇上。
张敞向皇上参奏黄霸说“：我私下看见丞相请求与中二千石、博士一起向长吏守丞询问郡国全年的人口、钱、粮、盗贼、狱讼等事，为民兴利除害形成广远深入教化的条列及对策，有耕作者相让于田界，男女不同路，道不拾遗，以及推举孝子、悌弟、贞妇的人为一类，先到丞相的屋，列举了而不知道具体人数的次之，没有制定教令的在最后叩头谢罪。
丞相虽然口里不说，而内心希望他们这样做。
长吏守丞回答时，我家的曷鸟雀飞出去停歇在丞相屋上，自丞相以下见到这事的有几百人。
旁边的官吏大多知道曷鸟雀是从哪里飞来的，当黄霸询问他们时，都假装不知。
丞相谋议上奏说‘：我向长吏守丞询问各郡国全年的人口、钱、粮、盗贼、狱讼等事以便振兴教化，将其一一疏举，上天感动放下神雀。’过后知道是从我家里飞去的，才停止。
郡国官吏暗笑丞相仁厚有智略，不相信奇怪的事情。
过去汲黯担任淮阳太守，辞官离开时，对大行李息说：‘御史大夫张汤心怀狡诈、阿谀奉承，因而权倾朝廷，你不早点告诉皇上，将与他一起被杀。’李息害怕张汤，最终不敢说。
后来张汤失势被杀，皇上听说汲黯说给李息的话，就让李息抵偿其应负的罪责而给予汲黯诸侯相的俸禄，这是选取其忠心。
我不是胆敢诋毁丞相，实在怕群臣没有谁告诉皇上，而长吏守丞都害怕丞相的旨意，回去后废弃法令，各自为政，必定不断增加，社会风气浮薄而丧失了朴实的本质，上下并行欺诈，有名无实，见风使舵，作风懈怠，严重的则成为邪恶之人。
假使京城首先实行礼让异路，道不拾遗，实际上无益于廉贪贞淫的行为，而在全国首先实行欺骗，所以是不行的；即使诸侯首先实行，欺骗的名声超过京城，也不是件小事。
汉朝在秦朝破敝的基础上进行变革，制订律令，是用来激励善于禁止奸邪的，条理详备，无以复加。
皇上应该命令位尊的大臣让他们清楚地告诫长吏守丞，回去后告诉郡守，推举三老、孝悌、力田、孝廉、廉吏要一定得到其人，郡国事务都以法令程式为准则，不得擅自制订教令；如果有敢于以欺诈手段求取名声的，一定要杀掉他，来阐明皇上的好恶。”皇上称赞并采纳了张敞的奏言，召集掌管上计的官吏，派侍中按照张敞的奏意亲自前去告诫他们。
黄霸非常惭愧。
另外，乐陵侯史高以外戚亲属的身份受恩，担任侍中而得以位尊任重，黄霸推荐史高可以担任太尉。
皇上派尚书召来黄霸问道：“太尉官废黜很久了，用丞相来兼任它，是用来停息武备修明文教。
如果国家没有事先准备，边境发生战事，我的左右之臣将都可担任将帅。
宣布阐明教化，通晓幽冥之理，使监牢没冤刑，乡邑没盗贼，这是您的职责。
将相的提升自然在我了。
侍中乐陵侯史高是宫中近臣，我全部知道他的才质，您为何越职而推荐他呢？”尚书令接受丞相奏对，黄霸脱帽谢罪，几天后才得免。
从此以后不敢再有所请求。
但从汉朝建立起，谈起管理百姓的官吏，以黄霸政绩为第一。
黄霸担任丞相五年，在甘露三年(前51)死去，谥号为定侯。
黄霸死后，乐陵侯史高最终担任了大司马。
黄霸的儿子思侯黄赏继承，担任关都尉。
黄赏死后，他的儿子忠侯黄辅继承，官至卫尉九卿。
黄辅死后，他的儿子黄忠继承爵位，直到王莽时才废。
黄霸的子孙做二千石官的有五六人。
开始，黄霸年轻时担任阳夏察捕奸盗的游徼官，与会看相的人一同乘车出去，看见一女子，看相的人说“：这女子将来肯定是富贵之人，如果不是这样，相书将不能使用了。”黄霸询问她，才得知她原是乡里姓巫的家里的女子。
黄霸就娶她为妻，并与她共同生活一直到死。
黄霸担任丞相后迁徙到茂陵。