人工智能的圣杯是一台真正理解人类语言的机器，它能从复杂、微妙的篇章中解读意义。当IBM的沃森电脑在2011年击败著名的《危险边缘》(Jeopardy!)冠军肯·詹宁斯(Ken Jennings)时，这一里程碑似乎已经实现了。然而，任何尝试过与虚拟助手Siri对话的人都知道，要真正理解人类语言，电脑还有很长的路要走。为了更好地理解语言，计算机系统必须使用挑战它们的问题进行训练，并反映人类语言的全部复杂性。

马里兰大学(University of Maryland)的研究人员已经找到了如何通过人机协作可靠地创建此类问题的方法，他们开发了一个包含1200多个问题的数据集，这些问题虽然容易回答，但却困扰着当今最好的计算机回答系统。学会掌握这些问题的系统将比现有的任何系统对语言有更好的理解。这项研究发表在计算语言学协会2019年会刊的一篇文章中。

“大多数的计算机问答系统并没有解释它们为什么会这样回答问题，但是我们的工作帮助我们了解计算机真正理解了什么，”UMD的计算机科学副教授、该论文的资深作者Jordan Boyd-Graber说。“此外，我们还制作了一个数据集，在计算机上进行测试，它将揭示计算机语言系统是否真的在阅读并执行与人类相同的处理。”

目前大多数改进问答程序的工作都是使用人工作者或计算机来生成问题。这些方法的固有挑战是，当人们写问题时，他们不知道他们的问题的哪些特定元素会让计算机感到困惑。当计算机写问题时，它们要么写公式化的、填空的问题，要么出错，有时会产生无意义的结果。

博伊德-格雷伯和他的团队开发了一种新颖的方法，让人类和计算机一起工作来产生问题，他们创造了一个计算机界面，当人类作家输入一个问题时，这个界面可以显示计算机的“思维”。然后作者可以编辑他或她的问题来利用计算机的弱点。

在新的界面中，人类作者输入一个问题，电脑的猜测就会按顺序显示在屏幕上，导致电脑做出猜测的单词会被高亮显示。

例如，如果作者写了“哪位作曲家的海顿主题变奏曲是受到卡尔·费迪南德·波尔的启发?”而系统正确地回答了“约翰内斯·勃拉姆斯”，那么界面就会突出显示“费迪南德·波尔”这个词，以表明这个短语引导它找到了答案。利用这些信息，作者可以在不改变问题含义的情况下对问题进行编辑，从而使计算机更加困难。在这个例子中，作者把启发勃拉姆斯的人的名字“卡尔·费迪南德·波尔”换成了对他的工作的描述，“维也纳音乐协会的档案管理员”，计算机无法正确回答。然而，专业的人类问答游戏玩家仍然可以轻松地正确回答编辑过的问题。

通过共同努力，人类和计算机可靠地开发出了1213个计算机难题，这些难题是研究人员在一场有经验的人类玩家——从初级大学校队(junior varsity high school)的智力竞赛队到《危险边缘》(Jeopardy!)的冠军——与计算机之间的竞赛中测试出来的。即使是最弱的人类团队也击败了最强大的计算机系统。

“三、四年来，人们已经意识到，计算机问答系统非常脆弱，很容易被愚弄，”UMD计算机科学研究生、这篇论文的作者之一石峰(音)说。“但这是我们所知道的第一篇利用机器帮助人类自己打破模型的论文。”

研究人员表示，这些问题不仅可以作为计算机科学家更好地理解自然语言处理失败的地方的新数据集，还可以作为开发改进的机器学习算法的训练数据集。这些问题揭示了六种不同的语言现象，它们一直困扰着计算机。

这六种现象可分为两类。第一类是语言现象:意译(比如说“从悬崖上跳下来”而不是“从悬崖上跳下来”)，分散注意力的语言或意想不到的语境(比如一个政治人物出现在与政治无关的线索中)。第二种包括推理技巧:需要逻辑和计算的线索，对一个问题中的元素进行三角剖分，或者将多个步骤放在一起形成一个结论。

博伊德-格雷伯说:“人类能够进行更多的归纳，并发现更深层次的联系。”“他们没有计算机的无限内存，但他们仍然有一个优势，那就是只见树木不见森林。把电脑遇到的问题分类，可以帮助我们理解需要解决的问题，这样我们就可以让电脑看到森林，像人类一样回答问题。”

博伊德-格雷伯补充道，在这之前还有很长的路要走。他还与人共同受聘于马里兰大学高级计算机研究所(UMIACS)，以及UMD的信息研究学院和语言科学中心。但这项工作提供了一个令人兴奋的新工具，以帮助计算机科学家实现这一目标。

他说:“这篇论文列出了未来几年的研究议程，这样我们就可以让电脑很好地回答问题。”