这个自传出自潘国顺之手，从中可见，此公是位相当自怜的人物，他称自己“娇如处子”，真是看得像花一样！另外，他对《阴鸷文》有感而发，其中加了一段评论，说：“真达人之言也！仁人之言！其利甚薄，此之谓欤！”这些，是以貌似公正的笔调评价自己，实际上则是其人的自我夸饰之语。在前引的《自述俚言随笔》中，他对自己的营商经历有过两句概述：“合伙友面腴，半年分别去。”对此，潘国顺的解释是：自己与人合伙，但合伙人外表忠厚，实际上却品行不端，结果导致自己无辜而折本。对这样的一面之词，作为读者的我们只能将信将疑。不过，倘若结合此处的自传，我们便不难看出，明明是他治生乏术，在外经商处处碰壁，但他却说一兄一弟都是“贪利远游”，家中的嫂子等都是愚蠢忤逆之人。而只有自己才是孝思可嘉，宁可金尽床头，也不愿离开年老多病的母亲一步，这真是相当有趣的自我辩解！文中所谓的“常欲脱颖而作出岫之云”，意在表明自己原本心存高远，唯因母老多病，故只能屈居乡间碌碌无为，这也是在为自己的竭蹶困窘寻求开脱。
在《剖白》条中，他还说过：“吾兄之枭，吾弟之狂，吾身之惰，吾嫂之妒，吾室之呆，吾侄之懦，吾女之好，吾弟妇之巧且刁，吾侄女之悍且诡。”在这段话中，他对其周遭的所有亲戚都一一作了点评。从中可见，除了对自己的女儿视若掌珍，潘国顺与家庭中其他成员的关系皆极为恶劣。关于这一点，他在《扫愁帚笔谈》中的不少部分，都多次透露出相关的讯息。例如，《私肥》条讲述了黟县碧山查叟兄弟友爱的事迹，说完这个故事，潘国顺笔锋一转，触类旁通地谈及自己的身世。个中，他对兄、嫂皆口诛笔伐，说祖、父辈去世时，兄长将家里的好东西都私自独吞。平日里完全不顾手足之情，对弟弟请托之事不闻不问。嫂嫂更是一位泼妇，悍妒无比。关于这些看法，他喋喋不休地列举出家庭内部鸡毛蒜皮的一些琐事，实际上却反映了身为男子汉的潘国顺，“贫贱家庭百事哀”，其人处处斤斤计较，心胸极为狭窄。从中可见，潘氏治生乏术，人际交往、家庭关系皆处理得一塌糊涂，却又无力改变现状。关于这一点，书中多次提及家庭纠纷与冲突，特别是妇姑勃谿，极为琐屑。其中，叔嫂之间的紧张关系尤为突出，实际上折射出作为商贾之乡的皖南社会生活之实态——徽州是个重商的社会，男子十三四岁以后，绝大多数人都要外出务工经商。在这种背景下，那些留在故土、读书又屡试不第的成年男子，往往为他人所轻视。而在家庭中，兄弟、叔嫂之间的矛盾与冲突也就在所难免。也正因为这一原因，潘国顺的家庭关系处理得极为糟糕。
《扫愁帚笔谈》成书于光绪三十四年（1908年）前后。关于该书的写作，卷首的《〈扫愁帚笔谈丛录〉自叙》，以“答客问”的形式，阐述了作者撰写此书的缘由：
或有问于予曰：君无恒产，家徒壁立，无以糊其口，使习贾于四方，稍沾升斗，为衣食生活之计。而君志不然，改弦易辙，奋发苦攻，手不释卷，皆博古鉴今，入林惟恐不深，愤恬帖[帖括]谓[为]无用之物，绝意进取，终老蓬蒿。殊不念今之科名阶梯者，非帖恬[括]之外，竟无所进步，君又不之学者，何哉？
余应之曰：否也！宣圣之功，德配天地，声名垂宇宙，千百年来，宗其教而昭著于世者，非岂一人之下，万人之上，是可以厕身于儒林之列乎？
此一“答客问”，是模拟第三者的口吻设问，而由自己作答，以此来表述个人的情绪和思想。在这里，潘国顺说自己虽然并不致力于科举考试，但却也崇奉孔子的儒教。他认为自己的所作所为，是相当崇高的经世之业，足以名垂千古。接着，虚拟的客人再次问及：
