回顾书房的物质和精神史，可以见证这条文脉逐渐成型和发展的历程。现存文物中，与书房相关的早期画面，出现在汉代画像石、画像砖上，如《读经图》《拜谒图》《讲经图》，画中文士席地而坐，手捧简牍，向高台上尊者拜谒求教。在后世传说中，也有不少关于私人读书场所的记载。相传战国时张仪、苏秦求学于鬼谷子的“游学洞”，屈原有“读书洞”、司马相如有“读书窟”（长卿石室）的传说。河南淮阳县西南的“弦歌台”，传为孔子读书处。山东鄄城的“陈台”，相传是曹植被贬出京后，读书饮酒打发时光的地方。这些读书场所一般选在僻静清幽之地，避免外界纷扰。

早期的简策帛书难以储存运输，有限的图书集中于皇家，西周时期就有藏书机构“守藏室”，负责记载和保存文献的官员被称为“史”或“府”。传说中老子曾任的“柱下史”一职，也是掌管皇家图书馆的官职。汉朝时，长安未央宫旁盖有石渠阁、天禄阁、麒麟阁三家皇室藏书阁。为了方便贮存，防火防潮，藏书室用石块砌成，书籍用铜皮包裹，即司马迁在《太史公自序》中提到的“石室金匮”。

东汉文学家蔡邕藏书近万卷，《后汉书》中记载，蔡文姬归汉后，向曹操提及家中藏书，“昔亡父赐书四千许卷，流离涂炭，罔有存者。今所诵忆，裁四百余篇耳”。可见父女皆是爱书之人。

隋唐时期，纸张在民间日常生活中逐渐普及，雕版印刷术的出现使得书籍的广泛流通成为可能。而随着科举取仕的出现，文人阶层迅速崛起，开始著书立说，书房藏书的需求增加。唐代古文大家柳宗元在《陆文通先生墓表》中形容著作等身，称“其为书，处则充栋宇，出则汗牛马”。

唐代许多文献中，都出现了文人在书斋中读书、作画、筹谋、著述的记载。有刘禹锡在陋室“调素琴，阅金经”；有白居易在庐山草堂“设木榻四，素屏二，漆琴一张，儒、道、佛书各两三卷”；也有悲惨如杜甫者，“床头屋漏无干处，雨脚如麻未断绝”……有研究统计，《全唐诗》中收录反映书斋理趣的诗共计两百余首，作者近百人，以书斋为中心的绘画更是延续到后世。种种迹象证明，在唐代时，就已经在文人生活中占有很大的比重，成为文学、绘画作品中重要的题材或意象。