明朝成化年间，《富春山居图》传到“明四家”之首沈周手里。沈周也是文徵明和唐寅的老师。自从得到这件宝贝，沈周就爱不释手，把它挂在墙上，反复欣赏、临摹。当时，收藏家把自己收藏的书画珍品拿去请好友、名人题跋是一种时尚，题跋的越多、越长，书画作品的文化积淀就越深。沈周也把这幅画交给一位朋友去题跋，没想到那位朋友的儿子竟见利忘义，把画偷偷卖掉了。
一次偶然的机会，沈周在画摊上见到了被卖掉的《富春山居图》，他兴奋异常，连忙跑回家筹钱买画。当他筹集到钱返回画摊时，画却已经被人买走了。沈周捶胸顿足放声大哭，念念不忘这幅让他魂牵梦萦的画作，他愣是凭着记忆画出了另一幅《富春山居图》，他的仿作与原作在构图等方面都惊人的相似。
传世名作险遭火焚，被救出后断为两段
又过去了100多年，《富春山居图》辗转流传到了明代大书画家董其昌手中。董其昌晚年把它卖给了宜兴一个姓吴的官宦世家。《富春山居图》在人世流传到此时，由于沈周、董其昌的极度推崇，已变成了人间宝物。
《富春山居图》在吴家流传了三代后，传到了吴洪裕手中。吴洪裕是当时著名的收藏家，他把这幅开创了中国山水画新风格的传世巨作视作珍宝，每天茶饭不思地观赏临摹。吴洪裕还不惜花巨资专门为《富春山居图》 造了一个楼，叫作“云起楼”，把楼中珍藏《富春山居图》 的那间房子取名为“富春轩”。
明亡清兴之际，清军南侵，为躲避战乱，吴洪裕也不得不加入到逃难的人群中。他舍弃家中的金银财宝以及其他珍宝和收藏品，随身带了这幅《富春山居图》和另外的一幅《智永法师千字文真迹》。吴洪裕临死前，实在舍不得这两幅书画，竟决定仿唐太宗李世民将《兰亭序》带入陵寝，将《富春山居图》和《智永法师千字文真迹》烧掉，为他殉葬。于是，吴洪裕在弥留之际被抬到了院子里，他先是让家人点火烧掉了《智永法师千字文真迹》，就在《富春山居图》也即将付之一炬的危急时刻，围观的家人中猛地窜出一个人，“疾趋焚所，起红炉而出之”，愣是把画抢救了出来——他就是吴洪裕的侄子吴静庵。为了掩人耳目，吴静庵又往火中投入了另外一幅画，用偷梁换柱的办法，救出了《富春山居图》。《富春山居图》虽然被救下来了，大火却在画作中间烧出几个连珠洞，这幅画断成了一大一小两段，画作起首一段已被烧掉，其余幸存的地方也布满了火烧的痕迹。前段画幅虽小，但比较完整，被后人装裱后命名为《剩山图》；而保留了原画主体内容的另外一段画幅较长，但损坏严重，在装裱时为掩盖火烧痕迹，特意将原本位于画尾的董其昌题跋切割下来放在了画首。因为这幅画当年曾被无用禅师拥有，这段画幅被后人称为《无用师卷》。
