秦朝，御史大夫之下有御史若干人，其中有一名是柱下御史，在殿柱之下，收录四方呈送的文书。秦末，任此官职的是阳武(今河南原阳东南)人张苍。张苍精于诗书、音律和历算，是位极有才干的人物。然而，智者千虑，也难免一失。一次，张苍出了点差错，惧祸逃回阳武老家。
秦二世三年(前207)二月，一支军队从阳武开过。这是刘邦的军队，奉楚怀王之命向西挺进关中。张苍不甘寂寞，投身刘邦门下。刘邦让他以宾客的身份随军行动。
大军进攻南阳(郡治宛县，今河南南阳)，张苍犯了军法，按律当斩，已脱掉衣服伏在砧板上，准备受刑。张苍长得白胖白胖的，刘邦的部将王陵见了，惊异他是个美男子，就劝说刘邦，饶了张苍一命。张苍侥幸不死，随刘邦大军挺进关中。刘邦封为汉王，都南郑(今陕西汉中)。不久，刘邦回师关中，随即出兵东进。
一天，张耳前来投奔。张耳是大梁(今河南开封)人，他有个刎颈之交的好友陈余。陈胜率900戍卒在大泽乡(今安徽宿县东南)揭竿而起，张耳、陈余投身起义，奉命随一个叫武臣的攻略赵地。秦将章邯统兵攻赵，张耳被包围，陈余不往援救，因生嫌隙。张耳追随项羽入关，封常山王; 陈余未从项羽入关，没能封王，两人矛盾加剧，陈余袭击张耳，张耳只好投顺刘邦。陈余拥立赵王歇。刘邦进击项羽，派人联络陈余，陈余说： “杀了张耳才能合作!”刘邦找了个像张耳的人，斩了他的头送给陈余，陈余信以为真，派兵援助刘邦。不久，陈余知道了真象，遂反目。
刘邦命大将韩信率兵进击陈余，张苍被任命为常山郡守，随韩信一同行动。一场决战，陈余兵败，被张苍擒斩。
赵地平定后，刘邦任命张苍为代国丞相，辅佐代王信，担负防御北方匈奴的重任。不久，张耳被立为赵王，张苍改任赵相。张耳死后，子张敖承嗣王位，张苍仍任丞相。
就在这年七月，燕王臧荼反。臧荼原是燕王韩广的将军，追随项羽征战，被封为燕王。项羽死后，臧荼归汉，不久即反。刘邦御驾亲征，张苍扈从刘邦出征。战事持续了两个月，臧荼战败被俘。刘邦论功行赏，封张苍为北平侯，食邑1200户。
不久，刘邦调任张苍为计相。计相是汉初设立的临时官职，职司朝廷财政开支。一个月后，被免去计相之职，仅以列侯身份主持财政开支。当时，萧何任相国，张苍在秦代担任过柱下御史，熟悉天下图书典籍，他又精于音律、历算，萧何奏准刘邦，让张苍以列侯身份住在相国府，负责管理郡县、王国呈报的收支图表等事。
刘邦做皇帝的第七年(前196)秋七月，淮南王英布反，刘邦立儿子刘长为淮南王，命张苍为淮南国相。翌年，英布兵败，刘长临国，张苍走马上任。
张苍在淮南国相任上一干就是14年。
在这14年中，朝廷发生了一系列重大变故： 刘邦病死，太子刘盈即位，是为汉惠帝; 惠帝君临天下七年驾崩，皇太后吕雉立了个乳臭未干的小皇帝，自己临朝听制; 八年后，吕后撒手人寰; 太尉周勃、丞相陈平等合谋诛灭吕氏外戚势力。
就在周、陈铲除吕氏外戚势力后，张苍被征调为三公之一的御史大夫。
不久，代王刘恒被拥立为西汉第三位皇帝，是为汉文帝。张苍仍做他的御史大夫。第四年(前176)十二月，丞相灌婴病死，张苍出任丞相。
在丞相任上，张苍完成了律历改革。
秦朝用《颛顼历》以十月为岁首，刘邦进抵咸阳，正在十月，张苍遂以十月为岁首，不加改革; 他推算五德始终，认为汉朝为水德，颜色尚黑; 调整音阶，谱写乐章; 厘定时令节气; 订立百工制作的规程模式。
律历改革，从张苍任计相时就已开始，但直到他任丞相才最后完成。
他是汉代律历的创立者， 汉人谈律历， 都根据张苍的创作。
有个叫公孙臣的鲁人上书文帝，说汉朝处于土德时代，其验证是有黄龙将出现。文帝征询张苍的意见，张苍说公孙臣的“土德说”乃一派胡言。谁知不久，有人在成纪(今甘肃秦安北)见到了黄龙。于是，文帝征召公孙臣为博士，起草与土德相关的历法制度。张苍见状，遂上书说他年老多病，不中用了。就在这时，他保举的一名官吏贪赃枉法事发，文帝责斥张苍。最后，以他有病为由，罢免了他的相位。
这是文帝后元二年(前162)八月的事。
张苍做了15年丞相。
这时张苍已经90多岁了，牙齿全已脱落，吸食年青女子的乳汁为生。他的妻妾有数百人。
免相的第十一年，即汉景帝前元五年(前152)，张苍病逝，享年100余岁。
张苍最感恩的人是王陵。王陵救过张苍一命，张苍感激涕零。张苍贵显以后，还像侍奉父亲一样侍奉王陵。王陵死后，张苍做了丞相，每逢休假，总是先去朝拜王陵夫人，伺候她用餐以后，才离去回家。
张苍的父亲很矮，高不过五尺。张苍高八尺多，封侯拜相。张苍的儿子更高，承嗣张苍的爵位。到张苍的孙子就矮多了，高仅六尺，在一次吊唁诸侯的丧事活动中，犯了不敬罪，被褫夺爵位，沦为平民。