书房中也有不少趣闻。东汉时期的文学家王粲，博闻强识，却有一个怪癖，喜欢听驴叫。他去世时，曹丕参加葬礼，还令前往吊唁之人集体学驴叫。传说他在家中专门建了一个“吟驴亭”，一边读书一边听驴叫。诗人陆游也曾调侃自己的书房，作《筑书巢》一文，称书房“乱书围之”，仿佛一团鸟窝，甚至有客人来访时，想进进不来，进来了又出不去，左右为难，引为笑谈。北宋名臣韩琦的书斋“昼锦堂”建成时，差人请好友欧阳修写记。欧阳修闭门拟稿，一挥而就，当即送与韩琦。可到了晚上反复琢磨，又觉得起句“仕宦至将相，锦衣归故乡”太平，马上差人快马追赶，一定要把那不甚满意的初稿追回，补上两个“而”字。

可见，文人的书房生活并非只有埋首书海，而是相当富有情趣的。欧阳修自号“六一居士”，他在解释其缘由时说：“吾家藏书一万卷，集录三代以来金石遗文一千卷，有琴一张，有棋一局，而常置酒一壶；以吾一翁，老于此五物之间，是岂不为六一乎？”把诗书、金石鉴藏与下棋喝酒等日常娱乐并列。周密的父亲周晋在《清平乐》中记录过自己的书斋生活：“图书一室，香暖垂帘密。花满翠壶熏研席。睡觉满窗晴日。手寒不了残棋。篝香细勘唐碑。无酒无诗情绪，欲梅欲雪天时。”在满室图书中考据金石、品香插花，又可饮酒作诗、观梅赏雪，自成一方天地，何乐而不为？类似的还有清代大学者钱谦益，《藏书纪事诗》中记录他在书斋“怀古堂”中过得丰富多彩：“明窗柒几，丹黄校勘，似陆龟蒙；蒲团若碗，栖心释梵，似白乐天；归池泼墨，淋漓绢素，似米元章；钟鼎彝器，金石翰墨，辨别款式，似赵明诚；而忍辱不较，阉户自守，又似管幼安。”

明清时期是书斋史上的鼎盛期，文人学士建造了大量风格各异的书斋。简朴如归有光的“项脊轩”，年久失修，空间狭小，却有“明月半墙，桂影斑驳，风移影动，珊珊可爱”的景致；雅致如张岱的“梅花书屋”“不二斋”，种花垒石，景色宜人，主人终日坐卧其间，“非高流佳客，不得辄入”。