蔡茂字子礼，河内怀(今河南武陟)人。汉哀帝、平帝年间，蔡茂以精通儒学而著称于世，于是朝廷把他征召到中央，参加由博士主持的考试。蔡茂因为成绩上等而被任命为议郎，后又擢升为侍中。王莽篡汉以后，蔡茂“忠臣不事二主”，以生病为借口，辞职回乡，坚决不仕新朝。
王莽末年，天下大乱。河内郡位置重要，成为各路势力的必争之地。蔡茂看到家乡这么乱，不想呆下去，就跑到河西(今甘肃中、西部)去投靠他的好朋友、五郡大将军窦融。窦融知道他的才学，要任命他为张掖(今属甘肃)太守，被蔡茂坚决推辞。窦融供给他粮食财物，他也只按家里的人口取足而已。后来，窦融归附了东汉王朝，蔡茂就跟随他一起来到了洛阳。
建武年间，由太常卿选试博士四人，蔡茂、陈元等人以成绩优秀拜为博士。汉光武帝刘秀再对他们亲自考试，蔡茂等四位博士金殿对策，陈述灾异，深得刘秀赞赏，擢拜议郎。东汉王朝君臣皆有儒者气象，以儒学立国。这样，熟读儒家经典的蔡茂如鱼得水，非常受光武帝的器重，他的官职也很快得以升迁，被任命为广汉(今四川遂宁)太守。
蔡茂在广汉为政数年，把当地治理得井井有条，政绩突出。广汉辖境内外戚阴氏的宾客倚仗皇后阴丽华的势力，欺压良善，横行不法。蔡茂不畏权势，依法惩处了他们。与此同时，洛阳令董宣在洛阳依法处死了湖阳公主的一个家奴，光武帝盛怒之下要杀董宣，后来为他的浩然正气所震动再加上大臣的劝说，就赦免了他。这件事传到广汉，蔡茂很高兴，对董宣的刚直不阿很是钦佩。同时，他又从湖阳公主的目无法纪，联系广汉阴氏宾客的不法行为，感到朝廷确实有必要采取一些措施来约束皇亲国戚。因此，蔡茂上书光武帝： “臣听说教化百姓，必须树立良好的榜样; 治理国家，必须惩办犯法的坏人。陛下英明果断，中兴汉室，自即位以来，天下太平。您为了治理国家，勤劳不怠，废寝忘食。然而有些皇亲国戚，凭借皇帝的恩宠就目无国法，杀了人不偿命，伤了人就像没事一样。臣唯恐国家法律被弃而不用，刑法废置。最近湖阳公主的家奴在闹市杀人，却和公主一起乘车，出入宫禁，逍遥法外多时，被害人的冤仇得不到昭雪。洛阳令董宣伸张正义，向公主索要杀人凶手。陛下不但不先澄清事实，反而要处罚董宣。董宣将要面对陛下的惩处的时候，整个京城都在倾听他的消息; 当他被陛下宽恕的时候，普天之下都拍手称快。现在外戚骄逸，他们的宾客行为放纵，应当让有关部门进行调查审理，惩处不法之徒，让公平执法的官吏得到朝廷的重用，以杜绝各种人情关系。”光武帝看到奏章后十分欣赏，采纳了蔡茂的建议。从此，东汉王朝的皇亲国戚的行为有了很大的收敛。
蔡茂在广汉时做过一个梦。梦见自己坐在一个大殿里，房梁上有三穗禾苗，蔡茂跳起来去拿它，拿到了中间那个，可很快就丢了。他醒来以后，把梦告诉了主簿郭贺。郭贺马上就向他道喜。蔡茂不解，郭贺说： “大殿象征着官府。房梁上有禾苗，代表人臣的极品，取中间的那一穗，是指中央的官职。‘禾’与‘失’合起来是一个‘秩’字，表面说丢了它，实际上是得到俸禄和官秩。这就是说，您要高升了。”巧得很，不出一个月，也就是建武二十年(44)六月十四日，蔡茂被擢升为大司徒。
蔡茂在司徒任上清正无私，恪尽职守。他虽位极人臣，却崇俭戒奢。
三年后，蔡茂去世，享年72岁。