邹县(今山东邹城东南)有家韦氏，门第显赫。韦氏的始祖豕韦氏，在商代为一方诸侯，历事商、周，后家于彭城(今江苏徐州)。汉初，彭城韦氏中的韦孟，连任第一、二、三代楚王的太傅。第三代楚王刘戊荒淫无道，韦孟辞官，徙家邹县。他的五世孙韦贤，博学多才，精通《礼记》、《尚书》、《诗经》等儒家经典，号为“邹鲁大儒”。他还是汉昭帝的师傅，汉宣帝朝的第二任丞相。
韦贤有四个儿子，长子韦方山，次子韦弘，三子韦舜，四子韦玄成。韦玄成，字少翁，聪明好学，深得父亲真传，在儒经上造诣颇深。他为人谦逊，对文人学士尤为礼敬。韦氏富有，韦玄成外出，高车大马，遇上徒步的文人他便让随从下车，请文人同坐，还一定要送他一程。对那些贫贱的人，他非但不傲视、欺凌，反而比待权贵还要有礼。他的声誉日隆。
汉制，二千石以上的官员任职三年以上，可以荫子弟一人为郎官，即皇帝的卫士。韦贤身为丞相，韦玄成被荫，成为汉宣帝刘询的一名侍卫骑士。他通晓儒经，在众卫士中有如鹤立鸡群，被破格提拔为谏大夫，秩八百石，负责议论政令得失。不久，升为大河郡(郡治今山东东平东)都尉，秩比二千石，佐太守典兵马。
韦玄成的长兄韦方山英年早逝，次兄韦弘为太常副长官——太常丞，佐太常掌管宗庙、陵邑，多有过失。父亲韦贤觉得长子已死，韦弘当承嗣他的爵位，照此下去，难免出乱子，遂命韦弘辞官回乡。韦弘自以为不配嗣爵，没有听从。后韦贤病危，韦弘犯法，被投进大牢，家人问韦贤谁可嗣爵，韦贤默然不语。他的门生义倩与家人商量后，假借韦贤的命令，让家丞上疏大行，以韦玄成为嗣。韦贤病死，在大河郡任都尉的韦玄成闻悉噩耗，又听说亡父遗言，让他嗣爵，知道并非亡父的心意，遂装疯卖傻。韦贤葬后，朝廷以韦玄成承嗣父亲扶阳侯爵，韦玄成装疯不奉诏，宣帝命公卿案验。韦玄成名声素著，公卿知道，他是装疯，以便让兄长袭爵，遂奏劾韦玄成装病。宣帝颁诏，不问韦玄成之罪，仅命他嗣爵。韦玄成不得已，奉诏袭爵。宣帝很赞赏韦玄成的谦让，遂命韦玄成为河南郡(郡治洛阳，今属河南)太守，韦弘为泰山郡(郡治奉节，今山东泰安东)都尉。
由此韦玄成的声誉更为显著。
在河南太守任上干了数年， 韦玄成被征为未央官卫尉，职司未央宫的戍卫。五凤二年(前56)，升任九卿之首的太常。
二年后，韦玄成的太常一职被罢免。
事情的起因在杨恽身上。
杨恽是已故丞相杨敞的次子，他的母亲乃大文豪司马迁的女儿，杨恽自幼诵读外公的皇皇巨著《史记》，博闻强记。权臣霍光的儿子霍禹谋反，杨恽侦知，向宣帝告发。事后，杨恽被封为平通侯，升任中郎将。杨恽为人尖刻，好揭人隐私; 嫉贤妒能，不能容忍他人高出自己。太仆戴长乐言行不慎，被人揭发，戴长乐误以为是杨恽告发的，遂上疏揭发杨恽的种种罪过。两人相互攻讦，结果，俱被免官。杨恽心存怨恨，给好友孙会宗写了一封信，发泄愤懑。谁知，被人获悉，向宣帝告发。宣帝大怒，腰斩杨恽，妻子流放。
与杨恽友善的人都受到牵连，韦玄成是杨恽的好友，来往密切，首当其冲，被免去太常一职。
被免了官的韦玄成以列侯的身份祭祀汉惠帝。早晨，他前去惠帝庙参加祭祀，遇上天下雨，他没有按规定乘车去，而是骑着马去的。有人上疏弹劾韦玄成失礼，宣帝颁诏，贬韦玄成为关内侯。
父亲的扶阳侯爵位在他手里丢了，韦玄成很是悲伤，说：“我有什么面目来奉祀先祖!”作诗自责：
赫赫显爵，自我坠之;
微微附庸，自我招之。
谁能忍媿，寄之我颜;
谁将遐征，从之夷蛮。
于赫三事，匪俊匪作，
于蔑小子，终焉其度。
谁谓华高，企其齐而;
谁谓德难，厉其庶而。
嗟我小子，于贰其尤，
隊彼令声，申此择辞。
四方群后，我监我视，
威仪车服，唯肃是履。
过了几年，宣帝起用韦玄成为淮阳王刘钦的中尉。刘钦是宣帝宠妃张婕妤所生，颇为宣帝喜爱，宣帝曾一度想废掉皇太子刘奭，立刘钦为继承人，因刘奭曾与他共同患过难，他的母后又早早地死了，才没忍心废黜。刘钦被封为淮阳王，但未去封国，留居京师。韦玄成虽为淮阳中尉，仍在京师。
黄龙元年(前49)十二月，43岁的汉宣帝病死，皇太子刘奭即位，是为元帝。
元帝热衷儒学，通晓儒经的韦玄成很受赏识，被任命为九卿之一的少府，典掌皇帝的财物。不久，迁为太子太傅。永光元年(前43)七月，升任三公之一的御史大夫，佐丞相于定国掌司法。
四个月后，于定国被免相。翌年二月，韦玄成被拜为丞相，恢复扶阳侯爵。
韦贤、韦玄成父子同登相位，时人以为荣。他们的显贵，都得力于儒经。他们老家邹鲁一带掀起一股儒经热，流传着“遗子黄金满籯，不如一经”的谚语。
做丞相不久，韦玄成便碰上了宗庙改革一事。
自汉高祖以来，地方郡国都修建太上皇庙、太祖庙、太宗(文帝)庙、世宗(武帝)庙; 各位皇帝又都在陵旁立庙。到汉元帝时，各种宗庙已达176所。御史大夫贡禹奏言郡国不应立庙，宗庙应按周代七庙之制，序昭穆，元帝赞同，未及施行而贡禹死。永光四年(前40)，元帝将罢郡国宗庙一事交大臣们讨论，韦玄成上疏，拥护罢废，奏可。一个月后，元帝又让群臣讨论实行七庙制一事，韦玄成仍积极拥护，奏可。汉代宗庙开始纳入周礼轨道。
不过，这项改革未能持久实行，到元帝末年，又完全恢复了郡国宗庙和诸帝陵旁的宗庙。
不过，那时韦玄成已不在人世了。
宗庙改革，是韦玄成任内的一桩大事。
韦玄成做了七年丞相，于建昭三年(前36)六月病逝，谥曰“共侯”。韦贤随葬昭帝平陵，而韦玄成受赐随葬宣帝杜陵。弥留之际，他上疏元帝，希望能葬在父亲身边，元帝诏准。
韦玄成死后，子韦宽嗣爵，传至玄孙才绝。韦氏子弟为官者众多，仅二千石以上的职官，就有十几人。