徽州人外出务工经商，与妻儿长久分居，时常演绎出奇特的悲喜离合。如《霹雳打（三则）》，说的是黟县的十都（今宏村一带）某商人妇，因所藏金镯为他人偷换，而遭丈夫猜忌，并愤然自尽。故事颇具戏剧性色彩，偷换金镯者结果被雷电所击身亡，从而让事实真相水落石出，这当然是因果报应的一个例子。关于商人妇的故事，书中还有《妇无情》一则，说的是徽州典当商人的故事——在清代，休宁人以典当经营闻名遐迩，而故事的主人公也是一名“头柜朝奉”。娶亲之初，因妻子舍不得他远离，再三挽留在家，最终导致失业。此后，经济日渐拮据，夫妻反目，朝奉穷困潦倒，一度想投河轻生。后来在外出途中遇一富家子，遂发奋努力，终至重振旗鼓。相形之下，株守家中的妻子却每况愈下，她通过各种途径多方联系，欲求与朝奉破镜重圆却终遭拒绝……这其实是汉代朱买臣马前泼水休妻的清代版，反映的是商业气氛浓厚的徽州社会之一幕悲剧。
自明代以来，随着徽商的崛起，徽州社会发生了重要的变化，“金令司天，钱神卓地”，金钱的力量，使得嫌贫爱富成了社会的风尚。潘国顺在《浇俗》一则中抱怨说：“风俗不古，人情浇漓，天下皆是，惟黟尤甚，特山川之气象然也。”潘氏有个远房亲戚汪某，曾是黟县的乞丐，每年正月间都装扮魁星，为乡里贺喜，人称“魁星汉”。当时，这位乞丐平日睡在人家的门檐之下，弯曲着身子像是一只虾，路人见状都讥讽道：“穷骨头，睡相都不同，踡曲如狗。”后来，此人跟随徽商外出从事盐业暴发横财，不仅甲第云连，婢仆成群，而且子孙科第，渐成簪缨望族。于是，旁人再看他的睡相，都说那是大富大贵的样子——虽然“踡曲如初”，但现在怎么看都像是金元宝……这种对乞丐发迹变泰前后观感的巨大反差，显然与清代徽州商业兴盛所形成的社会氛围密切相关。
潘国顺除了一度外出经商外，绝大部分时间是在黟县当地生活。因此，《扫愁帚笔谈》一书中的主要内容，还是反映了黟县乡间社会生活的诸多侧面。
与清代的诸多笔记、随笔相似，该书讲述了不少花妖狐魅、神灵鬼怪的故事。如《鬼怜孝》条，说黟县北乡一位在休宁贸易的徽商，听说母亲忽然生病，便日夜兼程赶路回家。途中经过官山义冢，正是夜深人静之时，与她同行的竟是一位上吊而死的女鬼，她见此人是位孝子，不仅不加害于他，而且还一路护送他返归故里。另一则《阴阳眼》，则说黟县有人独具阴阳眼，能白昼看见鬼物。根据此人的说法，鬼物也是欺软怕硬：士庶志得意满时，则鬼亦退避三舍；一旦运衰失志，则鬼物必加欺凌。某日，他经过一处牌坊，“见上有狰狞鬼，手执白杖。有一新婚妇，意于归未满月，亦将过之。鬼跃下，当头击之，妇顶红光，焕然四射，鬼惶骇而奔”。此人怀疑该妇必是贵人，但经查访，却发现其夫家“固贫窭贾人，碌碌无奇节”，颇感奇怪。过了不久，才听说丈夫死去，该妇守节不嫁，并不因贫困而有所改变，遂恍然大悟。听罢这个故事，潘国顺总结说：“予谓节烈贞女，朝廷闻之，则旌表其门闾；皇天嘉之，亦昌佑其子孙；何方鬼物，能不悚然而逃哉？”可见，这些谈狐说鬼虽然看似不经，但却折射出民间社会的伦理道德走向。透过此一情节，作者意欲对世俗民风有所劝诫，反映了徽州民间对妇女节烈的着意褒扬。
《扫愁帚笔谈》中讲述的诸多故事，除了刻镂民情、曲尽世态之外，其主旨还在于扬善隐恶。《屠警》条说，光绪十六年（1890年）十月，当地有位屠夫秉烛杀猪，去毛之后，蜡烛忽然熄灭，等他再找来火烛时，却发现地上躺的是一具裸体女子，杀猪刀正插在她的脖子之上。屠夫遂大惊失色，急忙偷偷买了一副棺材将她埋了。等到第二天，他又像前天一样杀猪，剖开肚子后，却找到一个人的手掌，五个手指清清楚楚，他不敢告诉外人……不过，发生在屠宰场的怪事已被伙计外传，整个市场都传得沸沸扬扬。周围的邻居评论说，这一家屠肆已开了四代，生意蒸蒸日上，屠宰的牲口不计其数，此时的兴旺程度，更要超过往昔，所以冥冥之中现出诸多异兆，警示此人须有所收敛。
