明代以来，随着中国人口的增长，生存竞争愈益激烈，许多人治生乏术，便退而溷迹于科场，以读书人自居，躲避残酷的社会现实。于是，社会上出现了大批“不士不农不工不商之人”（龚自珍语）。这些人其实既对读书毫无兴趣，也没有能力通过自身的努力科举及第。此类群体充斥于整个社会，遂形成了各种各样的怪诞现象。对此，潘国顺有一则《蒙童诗》曰：
夜痴，桃源人，不详其姓。以其性嗜书，又不喜其日间披吟，往往于玉漏频催时，独居一室，则翻阅握管，尝达天晓，故人谓之日夜颠倒，名其名曰“夜痴”。又绰其号曰“夜古董”、“书呆子”，以其自言：三日不读书，言语无味。生平落落，多愁善病，尝以《劝学诗》改之曰：孤子重不豪，药垆教尔曹；万般皆夭品，唯有短命高。……其人洒落，如此可见已！
《蒙童诗》一则被编在《扫愁帚笔谈》一书的前部，紧随在被当作全书凡例说明的《剖白》之后，可见潘国顺对这一故事极为重视。而由前揭的描摹来看，“夜痴”实在是个病态的书呆子，但却为潘氏所激赏。从某种意义上看，我们从此人的身上，实际上也可以看到潘国顺本人的影子。当时，在徽州社会出现了一大批既不甘心从事训蒙，又不能务农经商的读书人。这批人读过四书五经，自视甚高，但在现实生活中却处处碰壁。笼罩在他们日常生活中的迷雾，只能以一个“愁”字当之。此种状态，在潘国顺的《扫愁帚笔谈》中随处可见。如他在《扫愁帚笔谈丛录自叙》末了，即署作：“乙未冬夜愁来时，酒兵克之，获享坦然，于一豆灯下，乃独坐居也，时已三漏矣。”“乙未”即光绪二十一年（1895年），是时，潘国顺已三十二岁。根据张仲礼先生的研究，在清代，考中生员者年纪最小的是十六岁，一般多在二十一到二十五岁之间。此后，考中举人的年纪平均是在三十岁。而潘国顺早已过了而立之年，却竟然连秀才都不是，心中的郁闷可想而知！他只能时时以酒浇愁，所作的随笔，亦以“扫愁”为其中心议题。
不过，潘国顺在他的文字中，总是刻意表现出一种豁达的生存状态：
了俗山人天性慈祥，素行忠恕，虽因贫困而为委吏，常有动止，丝毫不离准绳，未稍随流俗，浮沉世海也。甚至枵腹从事，亦必拘守大道。每获微赀，不使冻馁，且曰：此享天之福也，吾须体上天喜善之德。故其友弟时讥诮之，谓其何迂之甚云。
“山人”本是传统时代的诗人谒客，潘国顺自号“了俗山人”，藉此标榜自己的潇洒自在。他摆出一副清高的姿态，悠闲地信笔涂写，抒发内心的情感。在书中，他更是处心积虑地时时表现出悠然自得的生存状态。如《戊申偶志》就这样写道：
吾家当春夏之交，苍鲜盈阶，草木际天，门无剥喙，竹影参差，禽鸟幽鸣，晨对东山，见一片红霞，日光渐发，不胜精神为之一爽！朗读太史公书以浇垒块，缓步陌阡，望荒城而去。日薄西山，偶得闲钱，沽酒痛饮，循循安步，望山径而返于荒村蔓草间，偕山妻弱女，坐石榻，食菜羹，啜苦茗而已。
“戊申”亦即光绪三十四年（1908年）。潘国顺自号“倚南窗主人”，他的书斋倚南窗，即模仿陶靖节之“倚南窗”。上揭的文字颇为流畅优美，从字面上看，何其潇洒自如！生活亦何等惬意！不过，这样的文字大概只有文学爱好者才会当真，历史学家显然不应被此类的表面文章所迷惑。透过华丽文字的迷障，我们看到的是传统文人的狂奴故态。
在《扫愁帚笔谈》中，潘国顺的精神状态毕露无遗。该书卷首另有《相命自志》，其中提到：“二十七岁后，方许稍亨；五十二以后，皆不利命。即尽忠报国，反遭三尺之诛；竭力于人，只作一场说话；得钱处，有鬼来偷；吃亏处，有人扶持。一生踪迹，相命皆前定，夫复何求？”在传统中国，“穷算命，富烧香”，反映了不同生活状态下人们的心态。竭蹶困窘之人特别在乎算命，他们往往以此推算自己何时方能咸鱼翻身。“万般不如意，百事不趁心”的潘国顺正是通过算命，对个人的一生加以总结。从中可见，一生的坎坷，似乎都是上天注定。不过，他甘于命运的安排么？
