说到他的好色，这也尽人皆知。李敖从年轻时代就喜欢看漂亮女人，尤为欣赏《花花公子》的女人照片。我到他家，总能看到墙上贴着裸女画，书房里有，过道里有，卫生间里还有。
李敖曾在自己的微博里写道：“十多年前，莫文蔚送裸照给我，我欣赏她的裸照，也欣赏放浪形骸。几年前，莫文蔚重拾旧欢，跟失散多年的老情人结婚了。她约我去听她的演唱会，记者围住我，要我发表感想。我说：‘莫文蔚很伟大，她敢用过去追求未来。’世上多少理想主义者，他们都追求失败了，相形之下，莫文蔚更伟大了！”这段微博引发网友热议，有人评论说“羡慕嫉妒恨”，还有起哄的网友用激将法希望李敖公布照片：“我说老李，无图无真相啊。”
照片自然是不便公布，但我可以算是一个见证人。2003年，我曾看到李敖的书房里，沙发对着的一面墙上，挂着这幅照片，大约两米长，镶嵌在镜框里。莫文蔚的形象几乎与真人一般大小，她祼身趴在地毯上，侧脸对着镜头微笑。此照题为《全身莫文蔚》，照片上有“送给李敖大哥”字样和莫文蔚的签名。
但是李敖这样欣赏裸女，他的夫人和女儿却都不介意，相信是见惯不惊，也是尊重他的情趣。他女儿李文在一次接受采访时说，“人无完人，父亲李敖也是如此。他是一个老顽童，喜欢看美女，喜欢就喜欢吧，反正他是一个没有什么乐趣的人。”
除了爱看，他也广交女友。他先后谈过恋爱的女友不知凡几，反正他在自己的著作中提及的就有多位。但不知大家是否注意到，李敖交女友之时，自己都不在婚姻里，属于“单身贵族”，他的行为并不受法律和道德的约束。他通常只交年轻未婚女友，而且每次都很专情，从没有“脚踩两只船”。即使在婚前，他一般也不会和有夫之妇发生两性关系，特别是他讲究“朋友妻，不可欺”。所以柏杨怀疑李敖在其坐牢期间对其妻有过不轨行为，那根本是无稽之谈。
