语言模型为何秒变学霸，视频模型却还在幼儿园徘徊？
“我真是百思不得其解：语言模型（LLM）靠猜下一个词就能成全能学霸，视频模型猜下一帧却像个迷路的小朋友，啥也没学会？难道大模型是偷偷扫描人类大脑的伪装神器？”
这记灵魂拷问来自加州大学伯克利分校的强化学习大牛、教授Sergey Levine，Levine就是个“怀疑帝”，多怀疑挺好的，怀疑才能发展。
AI技术最近像喝了十杯咖啡的猎豹，跑得飞快，大家也开始热议AI的极限在哪，以及它跟我们脑子里那台“肉电脑”到底有啥不同。上周末，OpenAI联合创始人Ilya Sutskever就抛出个大胆想法：“既然人脑是台生物电脑，数字电脑应该也能全盘复制它的技能吧？”
但学术圈里可不是人人都吃这一套。他在最新博客里放出大招，宣称现在的大语言模型不过是人类大脑的“二手扫描仪”——它们像被困在洞穴里的囚犯，只能盯着人类智慧投在墙上的影子，试图逆向破解我们的思维过程。他觉得这跟真正的思考差了十万八千里。
这观点在机器学习圈子里掀起一阵点头狂潮，搞得大家开始怀疑：我们追逐通用人工智能（AGI）的路，是不是跑偏了？Levine直言，AI现在热衷于背答案、解数学题，跟人类从生活经验中摸爬滚打学本事的方式完全不是一回事。这问题早在Transformer模型横空出世前就埋下了祸根。
柏拉图的AI越狱计划
以下是博客原文：
柏拉图洞穴中的语言模型
从诞生之初，人工智能研究就与理解人类智能的目标紧密相关。AI 研究者们相信，人类的思维本质上是一种计算过程 —— 换句话说，它可以用算法来模拟，而不依赖于具体的「硬件」。基于这种理念，研究者们一直试图从人类大脑和思维的工作原理中获得启发，来构建具有人类智能那种灵活性和适应性的人工智能系统。
一些研究者甚至提出了一个大胆的猜想：人类大脑的复杂性和灵活性，可能来源于一个在整个大脑中普遍应用的单一算法，正是这个算法让大脑获得了各种不同的能力。这个想法对 AI 研究者来说极具吸引力，因为它意味着我们的工作可能比想象中简单得多。与其费尽心思地为人工智能设计各种各样的功能，我们或许只需要找到这个「万能算法」，然后让它在现实世界中自由学习，就能通过直接经验获得人类思维的全部能力。
近年来，大语言模型（LLM）在模拟人类智能方面取得了巨大成功。尽管它们仍有明显的局限性 —— 这些局限性足以引发根本性的质疑 —— 但随着模型规模和训练数据的不断扩大，大语言模型一次又一次地突破了人们的预期，展现出新的认知能力。
有趣的是，大语言模型的核心算法其实相当简单：主要是预测下一个词，再加上一些强化学习的调优。这种简单性让我们不禁猜想：这些算法会不会就是大脑使用的那种「万能算法」呢？如果真是这样，那就太令人兴奋了。
想想看，人类智能的强大之处不仅在于能解决各种问题，更在于能为从未遇到过的全新问题找到解决方案。人类之所以能够改造世界，靠的不是记忆力或解决数学问题的能力，而是从经验中快速学习、适应新环境的能力。如果 AI 系统也能拥有这种能力，那将是一个革命性的突破。
但是，这个美好想法的基础存在一个重大问题。早在 Transformer 语言模型出现之前，AI 研究者就在研究一个看起来非常相似的任务：视频的下一帧预测。就像语言模型通过预测文本中的下一个词来理解世界一样，研究者们希望通过训练视频上的下一帧预测模型来提取有意义的表示和物理理解。
从表面上看，这两个问题似乎非常相似：就像 LLM 通过预测来自网络的文本数据中的下一个 token 来深入了解世界一样，视频模型可能通过预测视频数据中的下一帧来深入了解世界。在许多方面，视频预测甚至更吸引人、更强大，因为视频包含的信息量远超文本（正如 AI 大牛 Yann LeCun PPT 中的「蛋糕」），视频数据随处可得 —— 只需要把摄像头对准繁忙的街道就行，而且视频不仅能捕捉人类的语言交流，还能展现整个物理世界的丰富细节。想象一下，一个飞往遥远星球探索的机器人，就像漂流到荒岛上的人一样，可能找不到任何文字资料，但它总能拍摄到视频数据。
然而，现实却让人失望。虽然我们现在确实有了能生成逼真视频的 AI（比如各种视频生成模型），但要论解决复杂问题、进行深度推理、做出精妙判断，语言模型仍然是唯一的选择。你不能让 Veo 3 这样的视频生成 AI 估算「夏威夷群岛的岩石总体积是否超过珠穆朗玛峰」，但 ChatGPT 可以轻松应对这类问题。
这很奇怪，不是吗？语言模型接触到的物理世界信息要少得多，看到的现实也更加有限，但它们却展现出了更强的认知能力，甚至在空间和物理推理方面也是如此。
在科学研究中，我们通常认为越简单、优雅、强大的理论越可能是正确的。就像描述弹簧运动有很多种公式，但我们选择胡克定律，因为它既简单又准确。同样的逻辑下，如果大语言模型用简单的算法就能实现类似人类心智的功能，那我们很容易认为它们的算法就是反映大脑计算过程的正确模型。
也就是说，如果 LLM 是用一种简单的算法进行训练，并获得类似于大脑的功能，那么它们的底层算法也应该类似于大脑获得其功能的算法。
但是，还有另一种完全不同的解释：也许大语言模型并不是像人类那样通过观察世界来学习，而是通过观察人类的思维过程，然后复制其功能。换句话说，它们没有采用一种学习过程来了解世界是如何运作的，而是采用了一种难以置信的间接过程来扫描人类大脑，以构建人类认知过程的粗略副本。
当然，训练大语言模型的数据中心里并没有人被绑在核磁共振机器上（我印象里没有）。大语言模型采用的是一种更巧妙的方法：它们通过分析人类思维在互联网上的投影来重建人类的思维过程。
想想看，网络上的大部分文字都是人类敲键盘打出来的，而每一次敲击都反映了背后的思维活动：解数学题、讲笑话、写新闻报道等等。通过获取文本的压缩表示，大语言模型实际上是在进行一种「逆向工程」—— 它们试图从这些文字中推出产生这些文字的思维过程，从而间接地复制相应的认知能力。
可以说，当人脑连接组计划（Human Connectome Project，一项大型脑科学研究项目）的科学家们在实验室里一个神经元一个神经元地绘制大脑图谱时，大语言模型已经找到了一条捷径：它们直接跳过了神经元层面，通过人类在互联网上投下的 「思维投影」来重建人类的心智。
这就解释了为什么视频预测模型到目前为止还没有取得语言模型那样的成功。我们原本希望 AI 通过观察真实世界的视频来获得物理世界的表示，就像人类从经验中学习一样，但大语言模型已经设法跳过了这一步：它们仅仅复制了人类心理表征的某些方面，而无需弄清楚让人类获得这些表征的学习算法。
这个发现既让人兴奋，又让人担忧。
好消息是：我们无意中创造了世界上最强大的「大脑扫描仪」，而且它真的有效！它能够模拟人类认知的一部分功能，可以回答问题、解决问题，甚至写诗。
坏消息是：这些 AI 系统其实生活在「柏拉图的洞穴」里。这个洞穴就是互联网，人类智能就像洞外的光源，在洞壁上投下现实世界的影子，而大语言模型只能看到这些影子。
只是个花哨的鹦鹉？
Levine的文章火了后，有人跳出来说：关键不在于用啥数据，而是咋把现象和概念连起来。一篇康奈尔大学5月发的论文（arXiv:2505.12540）脑洞大开，提出个不用配对数据或预定义集，就能把文本嵌入从一个向量空间甩到另一个空间的法子。
现在的路是死胡同，还是藏着新出口？你咋看？