韦姓可以上溯到大彭。大彭为夏代诸侯，其子封于豕韦(今河南滑县)，遂以“韦”为姓。其后，韦姓中的一支徙居彭城(今江苏徐州)。西汉初年，彭城韦氏中的韦孟做过汉高祖刘邦的小弟弟、楚王刘交的太傅。刘交死后，韦孟又担任第二代楚王刘郢客和第三代楚王刘戊的太傅。刘戊荒淫无道，韦孟赋诗劝谏，刘戊不予理睬，韦孟遂挂冠而去，移家邹县(今山东邹城东南)。
韦孟的五世孙韦贤， 字长孺，为人朴质少欲，笃志于学，在《礼记》、《尚书》、《诗经》三部儒家经典上下过一番苦功，造诣极深，号为“邹鲁大儒”，不少文人学士不远千里来拜师求学。韦贤名声益著，连当朝皇帝汉昭帝也知道邹县有个大儒叫韦贤，特下诏征他入京，拜为博士、给事中。博士乃学官，秩比六百石，负责讲授经书; 给事中为加官，无论何官，加给事中衔，即可出入宫廷，与闻政事。昭帝给韦贤加上给事中官衔，是为了让韦贤入宫给他讲解经书。韦贤因此而膺帝师之殊荣。
昭帝短命，21岁即撒手人寰。他没有子嗣，以大司马大将军领尚书事身份执掌国政的霍光拥立昌邑王刘贺为帝。谁知，刘贺乃不肖之徒，即位才27天便荒淫起来。霍光废黜刘贺，另立武帝曾孙刘询，是为宣帝。
韦贤参与了这一废立事件。宣帝登基，论功行赏，赐他关内侯的爵位，调任长信少府。长信少府负责料理上官太后居住的长信宫中的事务，秩二千石。上官太后是昭帝朝大臣上官安的女儿，6岁上就入主后宫，昭帝死时，她才19岁。她的祖父、父亲因图谋不轨被诛。她年轻守寡，却甘于寂寞，深居宫中。韦贤也忠于职守，任职4年，不曾有什么闪失。
第四年上，即本始三年(前71)六月，丞相蔡义病死。蔡义是温县(今河南温县西南)人，任相已有4年。他死后，宣帝征得权臣霍光的同意，拜韦贤为相，封扶阳侯，食邑700户。
这时，韦贤已70多岁，老态龙钟。霍光秉政，国事全由他决断，宣帝如同傀儡一般，他心里愤愤不平，但无可奈何。韦贤虽居相位，却难有作为。他出任丞相的第二年夏四月，北海(郡治营陵，今山东安丘西北)、琅邪(郡治东武，今山东诸城)二郡发生强烈地震，毁坏房舍无数，砸死百姓成千。古人迷信，认为地震是上天惩诫人世间的君主。宣帝惶惶然，诏令丞相、御史等官员请教饱学之士如何祈福祛灾。按惯例，丞相、御史应乘机指陈时政，匡失救弊。然而，指陈时政过失，无疑就是揭霍光的短，谁人敢捋虎须?故韦贤只好敷衍塞责。
第四年三月，霍光寿终正寝。霍光虽死，余党犹在，宣帝不敢马上下手铲除霍氏势力，遂以隆重的礼仪安葬霍光，又委任霍家子弟以高官显位。背地里，宣帝却慎密地策划除掉霍氏势力，收回本该属于自己的权力。
眼看一场不是短兵相接却近乎短兵相接的激战就要发生。
在这紧要关头，韦贤有些胆怯了，他已届80高龄，没有几年活头了; 官位已尊，无以复加了。为个人计，他不愿再卷入这场斗争中去，遂于第五年即地节三年(前67)正月上疏宣帝，称自己年老体弱，难以胜任相职，请求辞官，回家养老。宣帝也知道韦贤难以佐他诛灭霍氏势力，急于任用积极赞同讨伐霍氏的御史大夫魏相为丞相，遂答应了韦贤的请求，并赐他黄金百斤，府第一所。
汉代丞相退休， 韦贤是第一人。韦贤荣归府第，安度晚年。
一年后，宣帝铲除了霍氏势力，亲政。
数年后，韦贤病逝，享年82岁。
韦贤有4个儿子： 韦方山、韦弘、韦舜、韦玄成。韦方山官至高祖刘邦陵寝的长官——高陵令; 韦弘官至东海(郡治郯县，今山东郯城西北)太守; 韦玄成位至宰相; 唯三儿子韦舜留在邹县老家，看守家产，没有出仕。