保罗-高更和文森特-梵高开始时是朋友。梵高邀请高更来法国南部，他当时在阿尔勒正尝试建立一个艺术家社群。在短暂的时间里，这两位后印象派大师们在一幢名叫黄房子（Yellow House）的建筑里相邻，互相愉快地生活、工作和合作着。虽然充满竞争性，但是这种竞争是在友好的艺术层面上的竞争关系，这也让双方受益不少。
然而，这种模式却变质了。这两位艺术家性格都很乖张，梵高承受着精神不稳定的困扰，而高更则因为他的自恋人格和难以取悦而闻名。据说当高更将梵高画进《画向日葵的画家》时，梵高蜷缩在了一起，说道：“这的确是我，但是是一个疯狂的我。“更糟糕的是，随后在一家咖啡馆里，梵高朝高更的头上泼了一杯苦艾酒。
保罗-高更，《画向日葵的画家》（文森特-梵高的肖像画，1888）（The Painter of Sunflowers （Portrait of Vincent van Gogh， 1888）。图片：致谢维基共享资源
根据传言，1888年这位荷兰画家在和高更大吵一架之后割下了自己的耳朵，并将这只血淋淋的耳朵送给了附近妓院一个被吓得目瞪口呆的妓女。虽然如此，人们对于他们这段关系持续升温的热情让一些德国艺术史学家们提出了另外一个版本的故事。在一本名为《梵高的耳朵：保罗-高更和沉默协议》的书里，一位名叫汉斯-卡夫曼（Hans Kaufmann）的史学家为《卫报》重现了理论上的真实情况：
在距离黄屋子300米左右的妓院旁边，他们最后一次相遇了：文森特可能首先攻击了高更，高更想要自卫，并摆脱这个“疯子“。他拿起他的武器，朝文森特的方向挥舞，最后切下了文森特的左耳。
研究梵高的专家们则更倾向于自残的故事，但是卡夫曼指出这与两位艺术家们的叙述不同。在文森特写给他弟弟提奥（Theo）的信中似乎透露出了他们之间的竞争可能会有一个残酷的结果：“幸运的是，高更暂时还没有装备机关枪或者其他危险的战争武器。“
