他在士人面前特别谦虚恭敬，出门遇上所认识的人步行，总是叫跟随的人下车，用车送所认识的人。
对于贫穷和地位低下的人，他更加尊敬。
由于他的好名声一天天流传，加上他通晓儒家经典，便被由常侍骑提拔为谏大夫，改任大河郡（治今sd省东平县东）都尉。
当初，韦玄成的二哥韦弘任太常丞，负责宗庙祭祀，管理各处陵墓，事务繁杂，多犯过错。
由于大哥韦方山早逝，其父便认为应该让韦弘自己请求辞职，以做他爵位的继承人。而韦弘怀着谦让爵位继承人的打算，不肯辞职。等到韦贤病重时，韦弘终于因宗庙的事而获罪下狱。
家中询问韦贤应该由谁继承爵位，韦贤因韦弘不按他的意图行事，愤恨而不肯说。
这时，韦贤的门生和族人共同商议，假托韦贤遗嘱，叫韦玄成做爵位继承人。
韦玄成听到父亲去世的噩耗，听说要让自己继承爵位，而他知道这不是父亲的本意，便假装疯狂，胡言乱语，借着有病，不肯应命。
韦玄成一向很有名气，士大夫们大多看出他是假装有病，想将爵位让给哥哥。
于是，有关人士写信严厉地批评他，而他的朋友中有人又上皇帝说不要委屈他。
丞相和御史大夫以他假装有病来弹劾他。
事情闹大了。宣帝传下诏，说不要弹劾了，召他来见我。
韦玄成迫不得已，继承了父亲的爵位。
宣帝赞赏他的节操，任命他为河南郡（治今hen省l东北）太守，任命他的哥哥韦弘为东海郡（治今sd省郯城县北）太守。
几年以后，韦玄成被征召担任未央宫卫尉，改任太常。
后来因与原平通侯杨恽交情深厚，受到牵连。
杨恽被杀后，他虽被免去官职，但列侯的爵位仍在。
一次，他以列侯身份陪祀惠帝祠庙时，因清晨天雨路滑，他未驾驷马之车而骑马前往，被认为有罪，削除封国，降为关内侯。
他对此极为伤痛，觉得对不住祖宗。
后来，宣帝为了教育他的次子淮阳王刘钦，便征召韦玄成，任命他为淮阳国中尉。
当时，刘钦年幼，尚未前往封国，韦玄成遂接受诏命，参加了石渠阁会议。
石渠阁会议是由宣帝亲自主持召集的一次学术会议。
西汉自武帝罢黜百家，独尊儒术以来，儒家学说成为统治思想。
宣帝为了进一步统一儒家学说，加强思想统治，下诏让韦玄成跟太子太傅萧望之及刘向、薛广德、施雠、梁丘临、林尊、周堪、张山拊等精通“五经”的着名儒生，在长安城内未央宫北的石渠阁讲论“五经”异同。
由宣帝亲自评判裁定。石渠阁讲论的奏疏经过汇集，辑成《石渠奏议》，共155篇。
经过这次会议，博士员中《易》增立了“梁丘”，《》增立了“大小夏侯”，《春秋》增立了“谷梁”。
这在儒学发展史上具有重要的意义。
这是甘露三年的事。
黄龙元年（前9），宣帝去世，刘奭即位，是为元帝。
元帝任命韦玄成为少傅，又升任为太子太傅，直至御史大夫，位列三公。
永光二年（前2）春，接替于定国担任丞相。
他在受到贬黜的10年之后，终于继承了父亲韦贤所曾担任的丞相职位，恢复了扶阳侯的封国，荣耀一时。
由于父子二人都是以通晓儒经官至丞相的，所以邹鲁一带流传的谚语说：“留给子孙满箱黄金，不如传给一部儒经。”