雪上加霜的是，栓皮栎树生长成材需9年，这些年由于软木画的过量生产，使树的价格从之前的每公斤4元涨至每公斤80元，原料的价格翻了20倍，市场却缩水了百分之九十。
1999年，福州木画厂宣布倒闭，从事软木画行业的人也从15000人跌至不足百人。后来，西园村许多人便纷纷转行，不再从事软木画创作了。这一切，吴芝生看在眼里，疼在心里：“软木画不应该就这么在自己手里断掉，这是民族瑰宝。”
吴芝生家中有张木桌，透过斑驳的桌面，依稀看出这有些年头了，几次收拾房子，家人都劝他把这桌子丢了换张新的，可他舍不得，感慨道：“我做木画，就是在这张桌子上开始自己第一刀。几十年了，它和我就像兄弟一样，陪我看软木画的兴衰，情谊深厚呐！”
由于吴芝生坚持原材料从国外进口，成本高，为了维持生计，他不顾别人嘲笑的眼光，出门卖报纸。2002年，他成为一名邮局送报员。而他的爱人，在家楼下开了一间杂货铺，赚来的钱也全部给他投入创作，没有任何积蓄。
在一片疲软的现状中，他仍坚守阵地：2002年4月，他创办了“福州软木画吴芝生创作中心”，说是创作中心，其实里里外外就只有他一个人，地点设在家里，再请几位工人，他告诉工人，每个月要是有钱赚就分一点，没有就只能先欠着。好在4年后他坚持下来了，并创建公司，成为福州唯一一家软木画实体民营企业；再过4年，他与西园中心小学合作，设立“软木画少儿实践活动基地”，承担起传承软木画技艺的使命。
事实上，为了重新打开软木画的市场，恢复声誉，吴芝生始终不遗余力，倾家荡产在所不惜。
上世纪九十年代，他自己掏钱，跑遍全国各地的工艺品展销会，展示自己的作品，同时也借鉴和学习别人的优秀作品。在他家，记者看到了满满一袋子的参展证，“每次的参展证我都留着，作为纪念吧。”吴芝生笑着说。
