卫绾是代国大陵(今山西文水东北)人。他因为擅长戏车(一种杂技)，被任命为宿卫侍从的郎官，服侍汉文帝，积功依次升迁为中郎将，他性情醇厚谨慎，没有其他的才能。汉景帝刘启在做皇太子的时候，召请皇上左右近臣饮宴，卫绾却装病不去。汉文帝在临终的时候，嘱咐儿子景帝说： “卫绾是位年辈尊而有德行的人，你要好好对待他。”文帝驾崩之后，景帝即位，其后有一年多的时间里，对于卫绾不闻不问，而卫绾一天比一天更加谨慎。
一天，景帝驾幸上林苑，命令中郎将卫绾共乘一辆马车，随身护卫。景帝回去后问卫绾说： “你知道你为什么能和朕同乘一辆马车吗?”卫绾说： “微臣从一个戏车的士卒，侥幸得能因功依次升迁为中郎将，臣自己不知是什么缘故。”景帝问道： “朕做皇太子的时候召你来饮宴，你不肯来，为什么呢?”卫绾回答说： “臣真是罪该万死，不过那时实在是有病。”景帝笑了笑，没有再说什么。过了几天，景帝赐给卫绾一把宝剑，卫绾辞谢说： “先皇帝赐给臣的剑已有六把，臣不敢再接受陛下的赏赐。”景帝听了，大为震惊，说： “剑是每个人都喜好的，往往拿来交易他物，难道唯独你保存至今吗?”卫绾回答说： “先皇帝赐给臣宝剑，臣珍藏着，唯恐有什么差错，有负皇恩，怎么敢拿去交易呢?”景帝听了，派人到卫绾家中去取那六把宝剑，剑都还在剑鞘之中，不曾配用过。景帝见了，不禁大为感动，对卫绾更是信任有加。当时，中郎将所属的郎官犯了过错，卫绾常常隐瞒他们的罪责; 他又不和其他的中郎将争执，有了功劳，也往往让给他们。景帝认为他廉洁忠诚，其实没有害人的歹心肠，于是任命他为河间王的太傅。
景帝三年(前154)，吴王刘濞联合胶西王刘卬等七位王爷，打着“请诛晁错，以清君侧”的旗号，发动武装叛乱，史称“七国之乱”。一时之间，东方半壁江山，均入叛军之手，直接威胁到汉朝中央政府。景帝在谈和不成之后，决心平叛，于是拜周亚夫为将军，把他升为太尉。周亚夫率领着36个将军和他们的兵马去对付吴楚叛军。卫绾也受到了重用，被任命为将军，率领河间国的军队去讨伐叛军，受周亚夫节制。周亚夫的大军像狂风刮霜叶似地把叛军打得一败涂地，在不到三个月的时间内，七国之乱就被平定了。卫绾因为在平叛中立了大功，被任命为中尉。过了三年，卫绾又因军功，在景帝前六年(前151)中，被封为建陵侯。
第二年，即景帝前七年(前150)，汉景帝废太子刘荣为临江王，诛杀太子的舅父栗卿等外戚。景帝因为卫绾是位年高有德的长者，不忍命他按治这桩大狱，于是赐他告假还乡，而命郅都搜捕治理栗氏之狱。后来，景帝立胶东王刘彻为太子，召回卫绾，任命他为太子太傅。后来，升任他为御史大夫。景帝后元元年(前143)，卫绾接替桃侯刘舍为丞相。他在朝廷上奏事，但举职分内例行之事上奏，不别有所议论。但是从他开始做官以至于位居丞相，终究无所建树，亦无过错。景帝认为他敦厚老成，可以辅佐少主，对他很尊重和宠信，赏赐甚多。
他做了三年的丞相，景帝病死，太子刘彻即皇帝位，是为汉武帝。汉武帝一即位，就下了一道诏书，搜罗人才，叫丞相、御史、郡守、诸侯王等推举贤良方正。诏书一下去，各地推举了不少读书人，被选上送到朝廷里来的就有一百多人。卫绾因此上了一个奏章，大意是说： 各地送来的那些贤良方正，有的是法家那一派的，有的是纵横家这一派的，有的是别的派别的; 这些人不但不能治理国家，而且各人说各人那一套，反倒会扰乱朝廷，应当一律不用。汉武帝批准了这个建议。武帝是位雄才大略的皇帝，上台伊始便欲有所作为，遂罢免了老实厚道但没什么才干的卫绾，任命精明强干的窦婴为相。过了不久，卫绾就病死了。