李显对妻子韦后的感情也更为深厚。韦后不是他第一个妻子。他第一个妻子赵妃因为得罪了武则天，被关起来活活饿死。后来李显自己也被母亲流放，在流放地陪着他的只有妻子韦氏，两人在那里一待就是14年。14年间，他们经常生活在生死边缘。李显总是害怕被母亲处死，每次听说有武则天的使臣要来，他就想自杀。韦后的性格比他刚强，说：“人还怕不死么，何必自己死？”那十几年里，韦后是李显最大的精神安慰，用《旧唐书》上的话来说，就是“累年同艰危，情义甚笃”。没有韦后的陪伴，李显未必能挺过流放生涯。在那种艰苦隔绝的环境下，李显慢慢变成了一个细心体贴的居家男人，女儿安乐公主就出生在流放地，李显自己脱衣服包裹她，给孩子起名“裹儿”。李显可能是整个中国宫廷史上最疼爱女儿的父亲，最信任妻子的丈夫。他不仅对安乐公主百依百顺，也对妻子立下誓言：“一朝见天日，誓不相禁忌”，无论你做什么，我都不会反对不会禁止。
所以韦后就开始胡做了。她安置党羽，她操控朝政，她卖官，她私通。李显就在旁边笑眯眯地看着，大家也搞不清楚李显是不知道呢，还是知道了也不在乎。李显的长处就是脾气好。歌手在皇帝面前唱“回波尔时栲栳，怕妇也是大好。外边只有裴谈，内里无过李老”，这首《回波词》是说皇宫之外最怕老婆的当属裴谈，皇宫之内则是李显了，皇上李老听了也没脾气。其实，韦后如果就是卖官私通，倒不算什么大事。整个宫廷洋溢着一种充满肉欲的沙龙感觉，对国家也未必有多大危险，反而比阴森冷酷的传统宫廷显得更人性化些，再说皇上自己都不生气，别人又生什么闲气？而且她和武三思上床，在政治上有利于收编强大的武家势力，也算是对丈夫事业发展做出了贡献，不见得一定是坏事。但问题是韦后这个人野心太大，想当第二个武则天，而她偏偏没这个本领。
