在测试时，如同“命题作文”一样，计算机程序会先收到一个关键词，它们需要围绕这个主题，用“抑扬五步格”的格律写一首十四行诗。完成后，主办方将4首计算机的作品与6首人类作品混在一起，让包括普利策奖得主卢克·梅纳德在内的文学界专家们辨别作者究竟是人，还是机器。最终的结果是，“机器诗人”全军覆没，每一首程序创作的诗歌都被所有评委辨认出来。
其中获得最高分的一首程序创作的十四行诗，尽管严格遵循了格式和韵律，比如首句末的“chronic(慢性病)”与三句末的“supersonic(超声波)”押韵，二句末的“wave(波浪)”和四句末的“grave(坟墓)”押韵，但是整段连起来却令人莫名其妙：“人们重拾起电子的慢性疾病。像巨浪一般的平衡，从未感觉到超声波，或是接触到任何很浅的墓穴。”
与诗歌图灵测试同时进行的，还有短篇小说和音乐伴奏的竞赛，机器无一例外没有通过测试。
除了语法和规则，诗歌更需要意外和惊奇
北京大学中文系教授、诗人臧棣对于这一结果并不意外，并表示很乐意跟计算机进行同题作诗比赛。“诗歌创作不单需要逻辑，还需要复杂、深邃的感受，在智力之外，更和心灵相关。”在他看来，人工智能的创作主要还是基于推理和复制，在已有的材料中举一反三。假如其语言编码能力足够强大，或许能在某些规则性较强的类型题材中写出可读的诗歌，甚至超过一些二三流诗人。“但真正优秀的诗歌需要意外和惊奇，这些不可能通过逻辑推理、模仿而习得。”他认为，在可以想见的未来里，人工智能在诗歌领域还不能达到真正的诗人水准。
事实上，人类对诗歌创作的程序开发，早在半个多世纪前就已经开始。1959年，德国数学家席奥·卢茨用电脑程序创造了著名的“随机文本”，即提前输入一定的名词和形容词，程序会随机把它们组合成肯定句或否定句。于是，第一首“机器诗”诞生了：“不是每一眼都是近的。没有村庄是晚的。一个城堡是自由的，而每一个农夫都是远的……”到了1984年，由人工智能程序“RACTER”创作并出版的诗文集《警察的胡子有一半是建造出来的》已经展现出相当成熟的语言能力，其中这首诗广为流传：“我需要电，比需要铁、需要铅、需要金子都多。我需要它，比需要羊肉或猪肉或生菜或黄瓜都多。我需要它来做我的梦。”不过，事后编程者承认，自己对作品进行了大量文字编辑。
