吴湖帆的收藏趣味较为宽泛。他推崇绘画史上的“正统派”，精品颇多。而对于扬州画派、海派画家的作品也有涉猎，甚至收有同辈画家的作品。其藏品中不仅有书画史上名家，也有不少“小名头”的作品。他的藏品中不仅有宋代画家、元代四家、明代四家、董其昌、徐渭、王鉴、王翚的名作，也有石涛、金农、华岩、罗聘的作品，还有陈辑、朱令和、金造士等声名不显的画家。因此，他的藏品不仅多，而且比较全面，自成体系。
上个世纪二、三十年代，随着清宫珍藏文物的散佚，各种展览的兴起，为时人提供了观赏书画的机会。陆俨少先生青年时在南京看了故宫收藏的古代书画展，自谓“贫儿暴富”。而参与许多重要展览筹备、审查的吴湖帆，更是进一步丰富了品赏书画的经验。1934年在伦敦“中国艺术国际展览会”开展之前，应故宫邀请吴氏参加了故宫书画鉴定。这次展览规模空前，仅吴湖帆初次审查记录即有一百五十五件。吴湖帆在手稿中写道: “右计唐六，五代十一，宋六十七，元四十五，明十九，共一百四十八件，尚有未寓目者及书件俱不在内。凡宋元书颇有真迹而非铭、铭有特殊佳妙，亦不选录人卷。明代画真迹更不胜枚举，非铭心绝品不录”。此次审查，估计吴氏观赏的书画精品就达数百件之多。
吴湖帆少年时在苏州名校“草桥学舍”求学，当时名师俊才汇聚，为其国学功底的养成打下坚实的基础。吴湖帆以词闻名于时，他的学词，可追溯到他求学期间，后来他问词于当时名家吴梅和冒广生。吴湖帆于1954年将近三十年所写词作结集出版，显示了他高深的词学造诣。从他的日记来看，理书与校书也是他的日常功课之一，他经常把卷细读各类文献、古籍，不断地丰富学养。
图三
高调题跋 欲彰其“文”
在吴湖帆的日记中，他批评曰：“观安(岐)之所藏，未尝有只字，安之无文可知，较项子京亦不可同语，况若文、若董哉。噫，今日收藏者恐并安之不若也多矣，此亦书画之一厄也”。吴湖帆认为，收藏者没有知识，不会题跋，才是书画的灾难。由此观之，我们就会理解吴氏书画题跋如此“高调”的原因，他要显示收藏者的“文”——有修养、有文化，有见解。
尽管吴湖帆声称自己要成为“作家派”的画家，但他首先还是一个文士，是一个对诗书画印，对古籍、文献、金石皆有非同一般修养的学者，平心而论，吴氏诗、书、画、学问，分而评之皆为上品，且又互为因果；以古典文人审美观来看，四科高度统一，合而视之，可称超绝。正如郎绍君先生所说:“吴湖帆擅诗词，精鉴赏，富收藏，喜以题跋方式辨识真伪，考证画史，评论历代书画。其全面的知识素养，高超的鉴定能力，深厚的传统功力，在画界是首屈一指的。”
