明嘉靖三十二年修建外城后，琉璃厂一带变为城内，但窑厂一直经营着。清康熙年间各地书商纷纷在琉璃厂附近设摊出售书画、文具等，繁华的市井，便利的交通，逐渐使这里成为“京都雅游之所”和人文荟萃的文化街市。由于琉璃厂仍在经营，每当烧窑时，烟雾缭绕，尘埃四起，污染严重。当时有诗形容：“窑开尘气冲天起，满眼迷蒙不见日”，“烟雾腾空上，随风锁都城”。到了乾隆二十一年(1756年)，乾隆皇帝令琉璃厂迁往京西琉璃渠，与外厂合为一厂，但“琉璃厂”的名字作为地名被保留了下来，沿用至今。
关于琉璃厂“外迁”还有个传说。有一年冬至日，乾隆皇帝到天坛祭天，他登上祈年殿的高台之上，忽见西北方上空黑烟滚滚，遮天蔽日，便问随行的太监是怎么回事。太监言道：“回禀皇上，是琉璃厂在烧窑。”乾隆皇帝怒道：“那琉璃厂紧邻皇城，又近圜丘(天坛)，黑烟四起，遮天蔽日，有犯皇威，弄脏城池，与民不利。传朕旨意，令其迁出京城六十里，勿以扰民。”太监不敢怠慢，回銮后连忙传旨于工部。几日之后，琉璃厂便关闭了，随后迁到京西(门头沟)琉璃渠村。
有关琉璃厂“外迁”的时间一直存在争议，大致有四种说法：第一种说法是，清乾隆二十年 (1755年)前后，城内窑厂停烧，全部迁至京西琉璃渠；第二种说法是，琉璃窑在清初迁到琉璃渠村；第三种说法是，康熙末年，窑厂迁至京西；第四种说法是，光绪庚子(1900年)，琉璃窑迁徙于京西。琉璃厂具体是何时外迁的有待进一步考证，但史学家普遍认为，琉璃厂的“外迁”一是避免了城市污染，二是原料和煤炭均可就地取材，减少了运输，降低了成本，可谓一举两得。
