巴塔耶到后期才开始诗歌写作，其大部分诗作创作于1942至1957年。有些诗原本属于他的理论著作的内在部分，比如《内在经验》和《论尼采》。他的诗歌大多构思和写作于第二次世界大战期间。《厌烦之诗》首次出版于1947年，这部诗集收录了那首题为《奥瑞斯忒亚》的重要诗歌。这些诗作以及他1967年出版的长诗《大天使》，始终倍受冷落。没有人真正了解巴塔耶诗歌的意义与价值，直到1973年雅克-夏登在撰写、出版的一本著作中，才通过巴塔耶诗歌文本阐述了巴塔耶的诗学与美学主张及其思想。
诗歌理所当然地是巴塔耶哲学实践的有机组成部分。，巴塔耶基本上认为，诗歌是一种方式，其可以超越自然成为某一类宗教的“超人”。比如他在《厌烦之诗》里这样写道：
“如果我没有超越自然，在超越“静态和给定”的飞跃中，我将被律法约束。但是大自然在玩弄我，令我比她自己更加坚强，超越了律法，使卑微的人们热爱她……
如果我要狂欢，我只不过是出于本然……诗歌的谵妄在自然界中有其地位。”
巴塔耶诗歌（或“超越”自然）所呈现的思想，只能用其“不可能性”理论去理解与阐释。巴塔耶认为，“不可能性”是“不能以任何方式来把握、除非自我毁灭而无法企及的”。
《厌烦之诗》后来更名为《不可能》，它参照了阿尔蒂尔·兰波。巴塔耶认为兰波已经完美实现了“可能性”（这当然是对“不可能性”的征服），所以，巴塔耶渴望以一种类似“感官错乱”来达到自己的远景目标：一种空灵的、充满激情的诗意、无处不在的抒情声音。
但巴塔耶十分复杂。《不可能》再版时，他在《序》里写道：“实现‘不可能性’，我认为从某种意义上说，我的表达显然不可能达到的”，但后来又现出自相矛盾，他拒绝让读者相信他做到了他以前所暗示过的，他说，从任何意义上看，“我接近过诗歌：只不过错过了它。”
