然则君之何为而著笔谈，而名“扫愁帚”者，意亦有说乎？
对此，潘国顺回答说自己为人性格孤僻，与社会人情格格不入，先后研习过医道，涉猎经史，旁及风鉴。“始致正业日微，饔飧不继”，生活相当困窘。但即便如此，他还是嗜书如命。尽管时常与妻子发生纠纷，家中的儿女也哭闹不休，但自己还是热衷于以文会友，寄情山水。虽然一度东游江浙一带，最后还是不得不到县署衙门充当吏胥，这一营生让人相当痛苦，只能嗜烟如命，借酒浇愁。碌碌无为之际，遂在空闲时间握管涂抹，将数十年来的奇闻异说逐一记录下来。
从抄本目前的状况来看，他对此书做过系统的整理。全书的卷首，有该书的目录。书前的《贻笑集初草自叙》曰：“凄凄切切之文，寒寒酸酸之作，颠颠琐琐之志，牢牢骚骚之笔，原不在文章词坛所共论也。未撰之前，不禁自笑；既撰以后，未免贻笑。”而在《〈扫愁帚笔谈丛录〉自叙》中，他还借客人之语，对自己的这部著作做了评价：
或曰：噫嘻！君固雅士，自得风流，世逢才子，必加月旦，凡事尽报应之关节，立言登圣贤之门阈，虽云《扫愁帚笔谈》，不让《聊斋志异》，知君者，其谅之诸……
这是以虚拟的第三者口吻来褒扬自己以及该书。显然，在潘国顺的自我感觉中，此书的价值，较之蒲松龄的《聊斋志异》亦不遑多让。对此，《〈扫愁帚笔谈丛录〉自叙》接着说：“余闻惭汗，浃背不堪，或之恶谑也，嗣以后而弗索序于士大夫已，故自略述其颠末，而志其梗概云。”话虽然是这么说，但他借虚拟之客人口吻，还是说出了该书在自己心目中的定位。这位自命不凡的作者，显然视此为个人的经世伟业。
从潘国顺的生平事迹来看，其人酷嗜读书，经过商，教过书，还在衙门里充当胥吏，也算是见多识广。正是因为如此，《扫愁帚笔谈》涉及的内容颇为丰富。
徽州是著名的商贾之乡，但一府六县的情况并不完全相同。与歙县、休宁自明代中叶起徽商就已相当活跃的情形不同，迄至清代前期，黟县的经商风气才日益浓厚。在这种背景下，《扫愁帚笔谈》一书讲述了不少人群流动与水路交通的故事。如《撑篙某》，提及一位南海僧人，因缺乏旅行经验而致财产损失，最后羞愤自尽。而《迁善》一则，则说某人少壮时曾在水路上谋财害命，后经僧人点破，改恶迁善，最后得以善终。上述两则虽然说的都是因果报应的故事，但从中亦可折射出其时水路旅行之不测风险。
当时，徽州地处万山之中，人们外出，除了沿着山间鸟道艰难跋涉之外，主要利用的就是新安江和阊江两条水路。明清以来，水路上设有诸多的关卡，令过往客商苦不堪言。《某卡员》条就记录了厘卡胥吏与徽商的故事：
……一卡员某，鄙贪无似，士商苦之，苛虐于泛宅者，即无所不要。有一客，泊舟报纳，如例抽厘外，另赠员以黑须药。值员正谋此，欲购诸洋，得此，作鸬鹚笑，并挽客饮，意下交之。客辞去，解缆北渡。员如法掺须，天明共视，即凝结成块，濯之亦不散，如庙中所塑木偶，就颐颏以刻雕之状。员大怒，拘客，客舟已不知所之矣。
“鸬鹚笑”是比喻自鸣得意的一种奸笑，此一形容，反映了徽商对厘卡员弁的切齿痛恨。新安江亦称徽河，徽商曾有《徽河苦》诗曰：“税关厘卡真难当，倚官仗势开笼箱，两块花边买扦手，有钱容易通商量。不买扦手真痴呆，误了东风借不来，别人趁风往前去，我被扣留船难开。船难开，事犹小，赶不上帮真不了，孤舟野岸夜须停，防贼不眠盼天晓。”个中提及厘卡的种种潜规则。1908年1月25日的《申报》上，曾刊登过“徽商來函”，其中述及新安江上有“零货捐”的名目，这是针对商人回乡携带的日用物品之征税。后因徽州同乡群起反对，而改名为杂货捐，但厘卡“留难阻滞”则一仍旧贯。当月初旬，两名徽州信客因被浙江严东关厘卡多方留滞，驶至马目埠，天色已晚，遭盗匪多人登舟抢劫，结果失去洋信千余封，银洋多至六千元左右。因类似的状况反复发生，不少徽州人显然吃够了这样的苦头，故而才会有上文提及的贾客以黑须药报复卡员的做法。
