贞元七年（791年）至十六年（800年），韦绶一直在翰林学士院工作。他忠于职守，任劳任怨，受到唐德宗高度信赖。唐德宗不仅大小事情都喜欢征求他的意见，而且像家人一样亲近他。有一次，韦绶在翰林学士院值夜班，已经上床休息，唐德宗却带着一位妃子来看他。另一位翰林学士郑絪得知消息后，想跑步过去告诉韦绶起来迎接，却被唐德宗所阻止。这天天气非常冷，唐德宗看到韦绶盖的被子比较单薄，就将妃子身上的袍子脱了盖在韦绶身上，然后离去。

　　韦绶是个出名的孝子，对母亲十分孝顺，但因为公务繁忙，经常要值夜班，所以常常个把月才能回一次家，根本无法照顾母亲。韦绶心里非常难过和不安，加之工作压力大，本人身体不好，有严重的心脏病，于是以母亲年老、自己有病为借口，多次请求解职。但韦绶每次要求辞职，唐德宗都很不高兴。韦绶在翰林学士院一直工作了十年，后来身体越来越差，唐德宗才勉强同意其离去。

　　这一年的九月九日重阳节，唐德宗写了一首诗，名为《黄花歌》，然后对身边人员说：“这首诗怎么能不给韦绶看看？”于是派专人将诗送到韦绶家里。韦绶拜读后，当即奉和一首，请使者进呈唐德宗。唐德宗见到韦绶写的诗，马上露出不高兴的神色，说：“韦绶能够不停地写文章，哪里还要在家养病！”接着又说：“你们可以对韦绶说，养病就好好养病，不要再写什么文章！”（《新唐书•韦贯之传附韦绶传》）

　　由于唐德宗对韦绶有看法，所以他虽然非常看重韦绶的能力和才华，却始终没有重用他。韦绶自己也很伤感，更加无意仕途。
　　二
　　韦绶的儿子韦温，是个非常聪明好学的孩子，十一岁就考试合格，补授咸阳尉，后来又提拔为监察御史。韦温也很孝顺长辈，父亲因病辞官回家后，他也跟着辞职回家，一心服侍父亲，时间长达二十年之久。韦绶去世后，韦温才正式出来工作。他担任过许多官职，显示了非凡的工作能力。
　　开成初年（836年），唐文宗决定任命韦温为翰林学士。对旁人来说，这是一个求之不得的美职，因为做了翰林学士就像获得了晋升宰相的文凭一样，日后极有可能被提升为宰相。韦温却多次恳切地辞让这个官职。唐文宗很不理解，甚至有点生气。经过再三询问，韦温才表示：他不能违背对父亲许下的诺言。原来韦绶临终前，曾谆谆告诫韦温：“内廷是一个是非之地，一不小心就会遭遇杀身之祸，你千万不能再做翰林学士。”韦温含着眼泪表示，一定牢记父亲遗训。

　　《旧唐书•韦温传》记载这件事时虽然写得比较简略，但主要意思还是表达出来了：“寻知制诰，召入翰林为学士。以父职禁廷，忧畏成病，遗诫不令居禁职，恳辞不拜。”
　　后来，唐文宗对身边大臣说：“我想重用韦温，但他每次都坚决回绝，难道没有他就不行了吗？”文宗说这话时，声音和脸色都非常严厉。礼部侍郎崔蠡见皇上怒气不小，怕对韦温不利，便劝谏道：“韦温虽然如此固执，但他是遵从父亲遗命，也是一片孝心，请陛下成全他。”文宗不以为然地说：“韦绶不让其子当翰林学士，这种遗命是乱命，怎么能成全呢？”崔蠡再次解释说：“韦温连父亲的乱命也能遵守，说明他的孝心至纯至真。”文宗听他这样解释，才慢慢消了气。后来，文宗又打算安排韦温做知制诰，韦温还是以身体欠佳为由，推辞不干。朝廷最后只好改任他为太常少卿（《新唐书•韦温传》、《旧唐书•韦温传》）。

　　三
　　唐朝中后期的翰林学士，号称“天子之私人”，甚至被称为“内相”，地位十分显要。他们接近朝政核心，经常伴随圣驾，与皇帝形影不离，因而历来广受士人钦羡和瞩目。贾岛即有诗云：“清重无过知内制，从前礼绝外庭人。看花在处多随驾，召宴无时不及身。”（《全唐诗》卷五百七十四）
　　既然如此，韦绶为什么反复提出辞职并告诫儿子不能再做翰林学士呢？自己身体不好又想服侍母亲当然是原因之一，但主要还是德宗朝的翰林学士表面上宠幸有加，风光无限，实际上却是多所疑忌、“动必拘防”。至于倒霉时险象环生，降职贬谪，甚至丧身破家的事情，也是经常发生。元和十四年（819年）李肇在写作《翰林志》时，就对德宗朝翰林学士的地位作了精辟概括：“贞元末，其任益重，时人谓之内相。而上多疑忌，动必拘防，有守官十三考而不迁，故当时言内职者，多荣滞相半。”

　　这一切都是因为唐德宗独特的个性和为人导致的。
　　《新唐书•德宗本纪》说：“德宗猜忌刻薄，以强明自任，耻见屈于正论，而忘受欺于奸谀。”德宗朝中书舍人权德舆为陆贽《翰苑集》作序时则讲得比较委婉：“上察物太精，躬临庶政，失其大体，动与公违。”（《全唐文》卷四百九十三）这些话的意思概括起来就是：唐德宗大权独揽，猜防臣下；自恃聪明，刚愎自用；善恶不辨，忠奸不分；为人刻薄，翻脸无情。在这样一个皇帝手下做秘书，自然动辄得咎、凶多吉少。姜公辅、陆贽两人的遭遇，就很能说明问题。

　　建中四年（783年），在“安史之乱”平息了二十年之后，由于唐德宗对割据势力的处理莽撞行事，导致了对晚唐政治格局的影响更为巨大的泾原兵变的发生。唐德宗被迫仓皇逃离京城，出奔奉天，翰林学士姜公辅因劝谏收杀朱泚之事，从幸至奉天后便被提升为宰相。然而不到半年时间，德宗驾幸梁州途中，爱女唐安公主得病夭亡，德宗诏令厚葬，姜公辅力谏，言天子蒙难，不宜铺张浪费。德宗大怒，指责姜公辅“忽进表章，都无道理，但欲指朕过失，拟自取名。朕比擢拔为腹心，乃负朕如此！”即将姜公辅贬为左庶子。史臣因此感叹道：“公辅一言悟主，骤及台司，一言不合，礼遽疏薄，则加膝坠泉之间，君道可知矣！”（《旧唐书•姜公辅传》）这段话确实道出了德宗朝秘书地位很不稳定、荣辱兴衰往往只在顷刻之间这一严峻事实。

　　德宗朝另一翰林学士陆贽是唐朝名臣。战乱时，唐德宗对陆贽虽然倍加倚重，不让其离开半步，但陆贽的职务一直是循例升转，并无优超，返回京师后数年也未有升迁。直到贞元八年（792年）翰林学士吴通玄和窦参等人得罪，陆贽始得拜相。然而两年之后，陆贽即因上疏论裴延龄奸状而罢相。一个月之后，又诬以“心怀怨望”被放逐忠州，最后死在那里。

　　姜公辅和陆贽都是唐德宗避难逃亡时紧随左右、患难与共并且发挥过巨大作用，作出过突出贡献的亲信秘书，他们的遭遇都这样让人心寒，其他人如何自然可想而知。韦绶在唐德宗身边工作了十年时间，对此自有刻骨铭心感受，否则不可能做出这种偏激的事情来。
　　四
　　韦绶反复提出辞职并告诫儿子不要再做翰林学士，其实还有一个很实际的理由没有说出口，那就是李肇在《翰林志》中写的那句话：“有守官十三考而不迁，故当时言内职者，多荣滞相半。”意思是说：当时的翰林学士，表面虽然很风光，实际上却久处下位得不到升迁，有人做了十三年翰林学士，职务都未提升。
　　李肇说的完全是事实。如韦绶做了十年翰林学士，外官却始终为从七品的左补阙，一次也没有动过。他的同事郑絪和卫次公，在德宗朝担任翰林学士均达十三年之久，其外官一为司勋员外郎知制诰（从六品），一为左补阙，也是始终未有升迁。这里需要补充说明一下：唐宋时的翰林学士只是一种差遣，不是职务，本身是没有级别待遇的。正如现在的领导人秘书必须明确为副处级、处级、副厅级、厅级或副省级秘书才能享受相应待遇一样，唐宋时的翰林学士的级别待遇也只能通过外官来体现。

　　唐德宗不仅始终不解决翰林学士的待遇问题，而且对他们采取长期稳定措施，外面的人很难进来，进来了又难得出去，翰林学士的迁转选授几乎处于停滞状态。如贞元十年（794年）时有翰林学士六人，除韦绶、郑絪、卫次公三人外，另有吴通微、郑余庆、韦执谊三人，其中郑余庆在翰林学士院工作六年，吴通微十五六年，韦执谊更长，有十六七年。