在1272年，数百犹太人因为被怀疑铸造假币而受到绞刑，然后过了十八年（在意大利和法兰西金融家到来之后，他们不再有什么用处），在大规模地从伦敦城退出的过程中，所有犹太人都受到驱逐、暴打、唾弃或者被杀死。看来即使是在伦敦这座大都会和商业城市，这个流浪的民族也不可能找到永久的庇护所。但是在接下去的两三个世纪中，一些犹太人伪装成基督徒，悄无声息地回来了，几乎无迹可寻；在十七世纪，查理一世对他们的金融技巧和资源加以利用；不过，是对《圣经》有着更深厚学养的克伦威尔，在“希伯来人谦卑地请求居住在伦敦市”之后，许可了他们的定居。他们要求，“让我们可以在自己特定的房屋中聚会进行私人的宗教供奉，不用畏惧我们的人身、家庭和地产受到骚扰”。这些是西班牙系犹太人，他们从西班牙和葡萄牙前来；但是在十七世纪后半期，从欧洲中部和东部到来的德系犹太人则不那么富裕，教育程度也更低。查尔斯·布思曾形容道：“老一代的定居者远远地避开这些新移民，把他们当作只适合接受救济的低等阶层。”德系犹太人是所有穷困的流浪人口的代表，交替着被本地居民剥削和虐待。
经过十八世纪几次大事件之后，更多的德系犹太人到达这里；一次次的迫害、隔离和围攻使得他们成群结队地投奔伦敦的同教友人，这里在1722年就建立了第一间德系犹太教堂。但是他们并没有受到欢迎，主要是因为他们很穷。据称他们会“让这个王国被破产者、高利贷者和乞丐淹没”；这里再一次出现了非理性却来自本能的对被“淹没”的恐惧。
到十九世纪晚期，居于莱姆豪斯及其周围的华人被认作是对本地人口的一种特殊威胁。在报刊中，他们被描绘得既神秘又险恶，而晚一些时候，（他们所吸的）鸦片那危险的烟雾从萨克斯·罗默、柯南·道尔和奥斯卡·王尔德的书页中升起，然后强化了一系列联想。伦敦人认为这些特别的移民会“污染”附近的城市人口，好像外来人群的存在就可被认为是疾病的标志一样。事实上，中国人是一个小型而且总体上守法的群体，肯定不会比环绕在他们周围的居民更加无法无天。他们还因其“被动性”而受到轻视，东方人有吸食鸦片习惯的幽灵再度复苏，但事实上，犹太人也曾被描述为蔑视和侮辱的“被动”接受者。华人群体的封闭性质反过来激发出一种神秘感，以及邪恶的嫌疑；人们尤其担忧他们可能在“邪恶的洞穴”中放荡交媾。这再一次显示出对移民和外来居民的普遍畏惧感的一些特征。它们引发了二十世纪初期对俄国犹太人、世界大战中对德国人、1919年对“有色人种”的攻击。这些焦虑被指向二十世纪五十年代和六十年代的英联邦移民，相应的，接下来又有对二十世纪八十年代和九十年代亚洲和非洲移民的敌视。这种模式的对象有所改变，但是其形式却没有变化。
