冯勤字伟伯，魏郡繁阳(今河南内黄西北)人。他的曾祖父冯扬在西汉宣帝时官至弘农(今陕西华阴)太守。冯扬有八个儿子， 都做到俸禄2000石的大官， 因此被人尊称为“万石君”。冯氏兄弟个个身材魁梧，唯冯勤的祖父冯偃身高不足七尺，和兄弟们在一起时比别人矮了一头，总是自惭形秽。他唯恐自己在身材上的劣势不仅殃及儿子，还会连累孙子，决心改变这种状况。他在为儿子娶媳妇的时候，特别注意物色身材高大的女子。冯偃如愿以偿地为儿子冯伉娶了一个比他自己还高的媳妇。冯伉的儿子冯勤不仅继承了父系的聪明，8岁时就善于计算，有过人之能，还承袭了母亲的优点，幼年时就比堂兄弟们还高，长大后更是鹤立鸡群，身高8尺8寸。
后来，冯勤善于计算的名声传到了太守铫期的耳朵里，铫期提拔他当了郡里的功曹。铫期是一个很有抱负的人，他愤于王莽篡汉，决心以恢复汉室为己任。为此，他在王莽末年的天下大乱中，决定弃官出走，追随刘秀征讨四方。铫期下了决心之后，把冯勤找来，把自己的决定告诉了他。冯勤久慕南阳刘氏兄弟的大名，同时他也对王莽的倒行逆施早就心怀不满，因此坚决支持铫期去投奔刘秀。铫期很高兴，他也很看重冯勤的才能，断然将郡里的一切事务都托付给了冯勤。铫期走后不久，冯勤就和同乡冯巡等人一起举兵响应。可惜他们终因兵力单薄，反被当地豪强焦廉等人所败。起兵失败之后，魏郡已无法容身，冯勤当机立断，毅然率领冯氏一族的男女老幼一起前去投奔铫期。铫期见了冯勤，大喜过望，把他当作心腹，军中大小事务都与冯勤商量，后来又把他举荐给刘秀。刘秀开始的时候并未看重冯勤，他认为铫期虽然英勇善战，可惜却是一介武夫，他的属吏也强不到哪里去。没想到，一个偶然的机会，刘秀看到冯勤原来是个书生气十足的儒生，交谈之下，又发现他很有才能，于是立即委任冯勤为尚书。以后，在刘秀统一战争过程中，冯勤负责计算供应军粮，对统一事业起了很大的作用。冯勤也因此受到刘秀的赏识和信赖，刘秀每次见到他，就对左右的人夸奖说： “这是个能干的官吏啊!”
东汉王朝建立以后，汉光武帝刘秀大封功臣。刘秀对功臣们确实是恩赏备至，待遇优厚，他让功臣们自己提议要封什么地方。功臣们纷纷提出要求分得京城附近和南阳等富饶郡县的土地。为了尽可能地满足功臣们的愿望，刘秀把这项重任交付给自己所信任的尚书冯勤。冯勤按每个人的功劳大小、封邑远近、土地肥瘠，公平合理地提出分封方案，充分发挥了他办事精明、善于计算的才干，受到刘秀和功臣们的一致好评。从此，刘秀把朝廷的册封事宜一概交由冯勤主持。建武十三年(37)四月，吴汉平定公孙述后，从蜀地凯旋回到洛阳，而且带回来公孙述王宫中全套郊庙乐器、车驾等法器，汉宫礼仪将因此更加规范化。刘秀非常高兴，大开华宴，慰问将士。有战功的，一律以策书记其功勋。这是一次规模盛大的策勋封功活动，共有365人增加食邑，更改封号。另有外戚45人受封。刘秀让冯勤主持这次繁杂而细致的事务。结果，冯勤所提出的方案公平合理，被封的功臣勋戚没有一个人不口服心服。刘秀也十分满意，对冯勤越来越信任有加，让他全面负责尚书台的事务。
有一次，大司徒侯霸上书刘秀，推荐前任梁县(今河南临汝西南)县令阎杨。阎杨平素好议论时政，不免有诽谤朝廷的嫌疑，刘秀很讨厌他，可侯霸偏偏不知趣，还举荐阎杨为官。刘秀览奏大怒，他认定侯霸和阎杨有勾结，于是派冯勤带着他的手诏到司徒府痛斥侯霸。冯勤到了司徒府，宣读了诏书，侯霸已经上了年纪，他一听就吓坏了。反而是冯勤劝慰侯霸，让他讲明了事情的来龙去脉。冯勤回到宫中，向刘秀陈述了侯霸的本意，阐明了事实真相，刘秀这才息了怒，饶恕了侯霸。
刘秀很看重冯勤的才干，擢升他为尚书仆射。尚书仆射是尚书台的副职，俸禄才600石，地位和待遇都不能和俸禄万石的三公相比，但实权远在三公之上。他掌握最重要的机密，出纳王命，是皇帝的喉舌，说好说坏往往取决于他。刘秀通过尚书台亲自管理官吏职事和天下政务，尚书台把天下大事直接向他汇报，由他参决后，乃下三府执行。由于尚书台的重要地位和作用，尚书日趋尊荣，以至后来尚书仆射出行于复道时，三公、列卿、将、五营校尉诸官，都要让道。冯勤担任尚书仆射一职达15年之久，足见刘秀对他的信任程度。冯勤一生辛苦，功臣、外戚封侯晋爵均经由他手，但他本身却一直没有封爵，这一点连刘秀也过意不去了，他策封冯勤为关内侯。后来，又擢升冯勤为尚书令，冯勤的俸禄也随之增加到了1000石。冯勤在尚书台任职的时间长了，年纪也大了，刘秀体恤他，终于让他离开了尚书台，任命他为大司农。这样，冯勤的地位和待遇都有了很大的提高，成了俸禄二千石的九卿之一。而且大司农掌管国家财政收支，冯勤善于计算的本领又派上了用场。
三年以后，建武二十七年(51)五月十一日，刘秀任命冯勤为司徒。刘秀统治时期，同封建国家宽缓刑罚的总的趋势相反，对官吏的法律监督却有所加强。对待三公这样位极人臣的高级官吏，也很严厉，三公多见废退。就大司徒而言，自邓禹之后，伏湛被策免，韩歆因言辞激烈而被逼自杀，欧阳歙和戴涉都相继被下狱处死，大臣难居相位。刘秀认为冯勤小心谨慎，想让他善始善终于相位，就借一次冯勤入宫宴见的机会，告戒他说： “朱浮上不忠于君，下欺凌同僚，现已被免职，死生吉凶都不可知，多么令人惋惜呀! 为人臣者放逐受诛，虽然后来皇帝格外开恩追加赏赐或优厚抚恤，但是人死已不能复生，人的生命才是最宝贵的东西呀。忠臣孝子以前世的经验教训作为一面镜子时时刻刻警戒自己。只要能尽忠报国，对皇上忠心不二，那么活着的时候就能得到爵位、功名、利禄，死后名声不朽，岂不是一件美事。”刘秀这番话名为告戒，其中也不乏恫吓的成分，冯勤岂有听不出来之理，但他又能说什么呢?冯勤在刘秀面前唯唯称是，以后更加小心谨慎，对刘秀愈加恭敬，终于博得了刘秀和同僚们的一致称赞。
冯勤的母亲年近80，刘秀对她很是尊重。冯母每次入宫觐见，刘秀总是特地下诏让冯母不用下拜，让侍者扶着她上殿，回头对诸王、公主们说： “使冯勤贵宠如此的人，就是这位老人家呀。”刘秀对冯母如此体恤，冯勤对皇上就越是忠心不二，兢兢业业，不敢有负圣恩。
中元元年(56)，冯勤随皇驾西幸长安，一路旅途劳累，加上年岁毕竟不饶人，一回到洛阳就病倒了。刘秀特地派太医为冯勤治病，又赏赐了冯家大量钱帛。但这一切都不能挽回冯勤的生命，六月二十八日，冯勤病逝，终于善终于相位。冯勤去世后，刘秀很是痛惜，派使者到冯家吊唁，并御赐皇家棺木，赏赐了大量钱帛、衣物，厚葬了这位忠心耿耿的老臣。
冯勤有七个儿子，长子冯宗官至属国都尉。汉明帝刘庄追念冯勤的功绩，把女儿平阳长公主许配给了冯勤的中子冯顺，冯顺因此官至大鸿胪。汉章帝刘炟又让冯顺的中子冯奋继承公主的爵位，封平阳侯。冯奋的弟弟冯由官至黄门侍郎，娶平安公主为妻。冯氏满门显贵。