2012年年底，人工智能科学家首次弄清了如何让神经网络学会 "看"。他们证明，松散地模仿人脑的软件可以极大改善现有的计算机视觉系统。

此后，该领域已经学会了如何让神经网络模仿我们推理、听觉、语言和写作的方式。

不过，虽然人工智能在实现特定任务方面已经变得非常像人类，甚至比人类还厉害，但它仍然没有抓住人类大脑的灵活性。

比如我们可以在一种情境中学习技能，并将其应用到另一种情境中。相比之下，虽然AlphaGo可以击败世界上最好的围棋选手，但它无法将这种策略扩展到棋盘之外。换句话说，深度学习算法是拾取模式的高手，但它们无法理解和适应不断变化的世界。

关于如何克服这个问题，研究人员有很多假设，但有一个特别的假设得到了广泛关注——儿童通过感知和谈论世界来了解世界。

当孩子们开始将词语与景物、声音和其他感官信息联系起来时，他们能够描述越来越复杂的现象和动态，分清什么是因果关系，什么只是相关性，并构建一个复杂的世界模型。然后，这个模型就能帮助他们驾驭陌生环境，并将新的知识经验融入其中。

另一方面，人工智能系统被构建在众多事情中，一次只能做其中一件事。

例如，计算机视觉和音频识别算法可以感知事物，但无法使用语言来描述它们。自然语言模型可以操作文字，但文字是脱离任何感官现实的。如果将感官和语言结合起来，让人工智能有更像人类的方式来收集和处理新的信息，它是否能最终发展出类似对世界的理解？

这些 "多模态 "系统能够同时获得人类智能的感官和语言 "模式"，也许会产生一种更强大的人工智能，能够更容易地适应新的情况或问题。这样的算法就可以帮助我们解决更复杂的问题，或者被移植到机器人中，在日常生活中与我们进行交流和协作。