张纯字伯仁，京兆杜陵(今陕西西安东南)人。张纯是西汉名臣张安世的后代。张安世先后辅佐过昭帝、宣帝，官至大司马卫将军，封富平侯。
张纯的父亲张放世袭侯爵，曾娶成帝许皇后的妹妹为妻。他长得像女子，媚态动人，成帝召他入宫，当嫔妃一样玩弄。张放令成帝非常迷恋，成帝对他封赏不已，赐以豪华府第，乘舆服饰，赏予钱财以千万计，还任命张放为侍中中郎将，监领长乐宫屯兵，府中可置幕府，礼仪比同将军。
张纯年青的时候就继承了富平侯的爵位，哀帝、平帝年间担任侍中之职，新莽时期官至九卿。张纯为人敦厚，谨慎守法，虽历经王莽时代，仍能保全爵位。
东汉王朝建立以后，张纯先来归附，照旧为侯。建武五年(29)，张纯被擢升为太中大夫。后来，他又领兵屯田南阳(今属河南)，升任五官中郎将。建武十三年(37)，主管部门上奏：“侯爵中除非刘姓宗室，不应恢复封国。”刘秀出于对张纯的优礼，特地下诏，说： “张纯在宫禁中值宿警卫已十余年，不要废除。”于是改封张纯为武始侯，封地为富平县的一半。
张纯是三朝元老，熟悉旧制。东汉初年，许多典章因为历经战乱而残缺不全。每当有了疑问，刘秀总是让有关官员去请教张纯，均能得到满意的答覆。东汉王朝的礼仪制度的修订补充大多经过张纯之手。刘秀非常器重张纯，命他兼任虎贲中郎将，频频召见，有时甚至一日之内召见三四次之多。
刘秀是汉高祖刘邦的八世孙。他的六世祖长沙王刘发是汉景帝的儿子。刘发封长沙王，儿子刘买封舂陵(今湖南定远北)侯，刘买的儿子刘外任郁林太守，刘买的儿子刘回任钜鹿郡都尉。刘回的儿子刘钦，就是刘秀的父亲，官越做越小，只是个南顿(今河南项城西)县令，是每年享受三五百石米的上官。因此，论起谱系的正统，他比不上更始帝刘玄，甚至连割据一方的梁王刘永也不如。这件事成了刘秀和群臣们的一块心病。
建武十八年(42)，五官中郎将张纯和太仆朱浮一起上奏刘秀，提出了让刘秀可以名正言顺入继西汉大统的体面的解决方案。他们建议： “按照礼制，既做某人的儿子，就应尊奉大宗，降低自己父母亲的地位。应当撤除章陵的四座父祖祭庙，用陛下即位前四位先帝的祭庙代替。”张纯和朱浮的上书受公卿大臣的一致赞同。大司徒戴涉等人立即上奏刘秀，要求建立元帝、成帝、哀帝、平帝四座祭庙。群臣的建议正中刘秀的下怀。刘秀下诏说，按照宗族的辈份，他应是汉元帝刘奭的后代。建武十九年(43)正月十五日，刘秀下诏追尊宣帝刘询为中宗。他把父祖的牌位请出太庙，开始在太庙祭祀昭帝、元帝。另外在长安建庙，祭祠成帝、哀帝、平帝。刘秀高祖父舂陵节侯刘买及以下的先人则改在南阳的章陵祭祀。长安、章陵两地的祭庙，一概由当地太守、县令、县长负责侍奉祭祀。如此一来，刘秀为自己的皇位继承权披上了合法的外衣，自以为是西汉皇统的当然继承人了。张纯在此事上立了一大功，被刘秀擢升为太仆。仅仅过了三年，建武二十三年十月初九，刘秀任命太仆张纯为大司空。
张纯做了大司空之后，仰慕西汉贤相曹参的事迹，但求清静无为。他所征辟的司空府掾吏，都是当世知名学者。他也主持修建了一两项水利工程，造福百姓，受到了朝野舆论的赞扬。
东汉王朝以儒学立国。东汉初年，由于刘秀的重视，开了重视教育的风气，造成了四海之内，学校如林的局面。张纯为了进一步弘扬儒家，上书刘秀，要求按照古代礼制，建造明堂、灵台和辟雍。张纯的上书与刘秀的心意不谋而合，立即下令在洛阳南郊建造明堂、灵台、辟雍。明堂是古代帝王宣明政教的场所。凡朝会、祭祀、庆赏、选士、养老等大典，都在这里举行。辟雍，也叫璧雍，原先是西周天子设立的大学，因建筑物周围挖沟蓄水、环绕如璧，故称璧雍。灵台是天文观察台。这些在封建社会号称关连着国运的礼教建筑物，是在司空张纯的建议下，由刘秀下令修建的。可是，他们二人都没有活到峻工的那一天。
同世界上一切事物无不具有两面性一样，在东汉初年重儒学、兴教育的空气中，在社会的各个角落里，也同时弥漫着神学迷信的浓烟迷雾，很少有人能够免俗，张纯也不例外。
建武三十年(54)，天下一统，海内承平。刘秀巡游到东方，大臣们趁着机会打算举行一个歌功颂德的仪式。大臣们以司空张纯领衔，联名上书，说“陛下即位已三十年，应当到泰山封禅，祭祀天地。”封禅是古代君王在泰山顶上筑台祭天的一种最隆重的歌功颂德的仪式，据说只有古代圣君才配封禅。刘秀心中不快，下了一道诏书，说： “朕即位三十年来，百姓怨恨满腹， 《论语》中说： ‘我欺骗谁?难道欺骗上天吗?’”
可是到了建武三十二年(56)正月，刘秀夜读《河图会昌符》，书中写道： “赤刘之九，会命岱宗。”刘秀为这句话所触动，于是下诏命令大臣们把《河》、《洛》谶书中有关封禅的条文统统搜集起来。这些谶书中提到汉朝九世应去泰山封禅的地方共有36处。从刘邦建立汉朝到刘秀，整整是九代。张纯趁机推波助澜，再次上书建议刘秀去泰山行封禅之礼，不可违抗天命。刘秀动心了，他召来司空张纯，命他以御史大夫的身份筹备封禅大礼。
这一年的正月二十八日，浩浩荡荡的队伍簇拥护卫着刘秀的车驾，从洛阳南宫出发了。二月二十二日清晨，封禅大礼正式开始。封禅礼仪极为繁琐，经过一番折腾，就是铁打的人也精疲力尽了，何况张纯这样上了年纪的人。张纯的身子骨原本算得硬朗，可是为了筹备这封禅大礼，他已经几个月没有休息了，真正是心力交瘁了。从泰山上下来，张纯就病了，祭礼一完，他是再也支持不住了。刘秀知道张纯这几个月来的辛苦，对他的病格外关心，下令御医为他好好调治。可是御医也无能为力，张纯的病一天重似一天，还没回到京城，他就不行了。三月三十日，张纯病逝在回京的途中。