ChatGPT核心研发科学家演讲：有些智能可能永远不会出现在数据中

12月12日，在北京中关村科金技术有限公司主办的“2024大模型技术与应用创新论坛”上，ChatGPT核心研发科学家、前OpenAI研究员肯尼斯·斯坦利（Kenneth Stanley）分享了他对大模型及AI产业发展的前瞻思考。

在演讲中，斯坦利表示，如果Scaling law真的在放缓，那么数据缺乏可能是重要原因。但如果人类只是沿着Scaling law路线，不断扩展数据、算力，可能还无法达到达到AGI的水平。

斯坦利指出，今天的大模型都是基于文本训练而来，但是有些对于智能而言很重要的东西，比如人类直觉，永远不会存在于文本之中，因此大模型可能需要架构上的创新，才能实现新的智能突破。

斯坦利坦承，今天大模型确实在放大人类能力，但是它仍然需要解决严重的幻觉问题。一旦幻觉问题解决，各种新机遇新事物将会随之涌现。

中关村科金是一家大模型技术与应用公司，在本次论坛上发布了平台＋应用＋服务的“三级引擎战略”，同时发布了升级后的得助大模型平台2.0，并已与各行业机构一起构建了200+大模型应用，覆盖智能营销、智能客服、智能运营和知识管理四大核心场景。

以下是Kenneth Stanley演讲全文，enjoy：

大家好，我是肯尼斯·斯坦利（Kenneth Stanley）。很高兴能有这个机会和大家聊聊当今人工智能的现状。我想先感谢主办方举办本次论坛，让我们借此机会探讨如此有趣的话题。

我先向大家稍作自我介绍，有些人可能还不认识我，对我的来历颇感兴趣。我从事人工智能研究已经很多年了，最初是做学术研究，但也接触过很多行业方面的知识。

我一开始的工作是在佛罗里达州做大学教授，后来创立了一家名为Geometric Intelligence的公司，在那里我担任联合首席科学官。这家公司后来被Uber收购，成了如今的Uber AI。所以，我们算是Uber AI部门的开端。我负责该部门的核心基础研究组件多年，直到我去了OpenAI，带领Open-endedness团队。最近我又创立了一家新公司Maven，专注于人工智能社交网络，但我实际上已经离开了那家公司。

因此，我在这张图里打了个问号，因为我接下来要做什么得在未来才能知道。但今天我将主要讨论人工智能领域，该领域如今正在发生什么，以及我对这个领域的看法。

缺少数据可能是scaling law撞墙原因

我认为，目前一个重大的问题是scaling law。大家可能在媒体上听说过，传言说scaling law可能会失效，注意是可能会。我们还不确定，但它们可能将会遇到瓶颈。

如图所示，这种scaling在放缓，大模型能力一直在上升。关键是要理解我们在这里所说的scaling law，就是当我们给模型提供更多的数据和更多的计算资源时，依照过往的观察，模型的性能或智能程度会有所提高。

这种趋势对行业和整个世界来说都非常重要，因为如果这是真的，就意味着我们不需要任何新想法了。只要我们能够持续有效地添加更多的数据和更多的计算资源，模型就会变得越来越智能，也许不需要任何重大突破就能达到AGI。

所以，这是非常重要的一个问题，这些事情是否开始出现效益递减？目前媒体上盛行的传言就是，效益递减的情况发生了。

那么，阻碍我们的是什么？你可能会问，为什么我们不能一直扩大规模呢？一种可能性是我们即将耗尽所有数据。世界上有巨量的数据，比如整个互联网的数据，但从某种意义上说它仍然是有限的。至少在任何特定的一天，它是有限的。所以，也许这些数据不足以让我们到达目的，比如达到AGI的水平。

如果你仔细想想，这个问题与Open-endedness相关。如果我们假设数据不够，这是一个有待探讨的问题，目前还不确定，但有可能发生。

我们可能需要生成更多的数据。那么，如何生成更多的数据？这就涉及到创造力，而我们需要理解Open-endedness才能获得那种创造力。所以，这是我们可能面临的一种情况。

（智能超参数注：在大模型领域，Open-endedness开放性，是指模型能够处理和生成无限种可能的结果或回答，而不是局限于有限的预定义响应。这意味着模型能够理解和生成新颖的内容，而不是仅仅回忆或重现训练数据中的模式。）

有些智能可能不存在文本之中

但有可能，这不仅仅是一个数据的问题。因为有可能存在一些对智能至关重要的东西，而它们根本不在数据本身之中，这就意味着我们可能需要新的架构。

这就是右边那张有点搞笑的试图描绘的，它设想了一些疯狂的新架构，可能会是下一个重大突破。

下面也是一个重要问题，我们是否需要新的架构。还是说基于当前的Transformer架构就足够了呢？它是否足以让我们达到人类水平的AGI，甚至超越AGI的超级智能？它够吗？有可能有一些属于智能组成部分，它们并不存在于数据或架构之中。

例如，人类拥有一些无法用言语表达的直觉，而这些直觉在某种程度上支撑着我们的智能。例如某些无法用言语表达的东西。

而目前的问题在于这些模型通常是用文字进行训练的，它们处理的是文本。所以如果存在一些东西，我们知道很重要，但无法用言语表达。它们可能永远不会出现在数据中，因为它们无法表达出来。

你可能会问什么样的东西是无法用言语表达的呢？就举一个虚构的例子吧。想象一下作为人类并拥有人类智能的一个重要方面。是了解自己不知道怎么或者什么时候达到了自己的极限，就像是有一种触及极限的直觉。

例如，如果我问你汽车是如何工作的？你可能会说因为有发动机和活塞等等。然后我接着问发动机和活塞是怎么运作的呢？如果我一直追问下去，最终你知道自己说不出答案了。你可能会跟我说，我不知道了。

这些大模型就做不到这一点，它们最终只会胡编乱造。如果你一直追问它们它们不会说“我不知道”。但有趣的是，很难解释你是如何知道或不知道的，你真的无法用语言来表达。我怎么知道自己已经达到极限了呢？没有语言可以解释那么模型又怎么会知道呢？因为模型所学的一切都是通过文字，所以有可能上述情况的存在。

这就需要对架构进行某种改变。

大模型没有看到时间线，不懂技术演进

另一个例子是图中第二个点。时间顺序以及它与新颖性、趣味性、创造性之间的关系。这在某种程度上与Open-endness相关。比如我们按时间顺序体验各种想法的观点，对促进我们产生新想法很重要，因为我们知道什么是新颖的。

例如，如果你回到100年前，你有个可以把你从A地送到B地的箱子的点子。无论你在哪里，这个箱子可以在四个轮子上行驶，把你从A地送到B地。这个点子在100年前可能是很有趣的，但在今天2024年这个想法就不怎么有趣了。因为这只是汽车，汽车已经不是什么新鲜事物，也没什么趣味性了。

所以我们已经了解了技术随着时间在发生变化，并且我们也明白有趣的事物发生了演变，而如今模型比较奇怪，就是它们是批量训练的。所以它们一下子就能看到我想要的所有数据，就像它们会同时看到汽车、计算机和空间站。

每看到一个事物，大模型都会说这是个好主意，都会说时机合适。但大模型没有看到时间线，大模型没有看到想法的演变，大模型不是存在于某个特定的时间点上。奇怪的是它们会同时学习算术和微积分。

我的意思是，如果人类这样做那可就太疯狂了。我们头脑中会有什么样的表征呢？关于这个问题是否重要是有争议的，但它可能是重要的。如果这个问题重要的话，我们可能需要新的架构来解决这些问题，以便能够构建人类轻易就能拥有的这类直觉。

我只想说明一点，如果有人说我们需要新的架构，这并不意味着我们需要把一切都扔掉然后重新开始。这两个概念是不同的。

新架构意味着我们可能需要修改现有的东西。问题是我们需要修改多少呢？而我们不知道是否需要全部修改或者做哪些修改。

但修改这件事是有可能的，但这并不一定意味着我们有必要重新开始。很多时候人们把这看成是二选一，要么我们把一切都扔掉重新开始，要么我们继续向前推进，实际情况并非如此。

可能我们只需利用所学，添加一些新的东西并做一些改变，但并不是完全抛弃旧的，所以有很多种可能性。目前没有人知道我们是否真的需要这样做。

大模型确实在放大人类能力

让我们思考一下，即使没有达到AGI的水平。即使只是利用现有的技术，很多事也会彻底改变。

要知道人类能力放大已经实实在在地发生了。这是一个近期能抓住的机会。就是当你让大模型与人类一起合作，你会在创意领域扩展人类想法。比如在编程、音乐、设计等方面，在任何人类现在能够进行设计的领域，大模型都能让相关工作开展得更轻松。

实际上，我觉得非常有趣的是那些没有技能的人，比如（这张里）在电脑前唱歌的人，他没有技能和能力把自己头脑中的想法转化为现实世界中的实际成果。突然之间，这样的人被赋能且能力得到了放大。

因为有了这些工具那些不会编程的人也能编写程序，音乐外行也能创作音乐。此类情况数不胜数。就好像这个人通过电脑免费得到了一整支乐队的支持，这意味着，那些在过去原本没有能力参与创意交流的人，现在也能参与其中了，这将会对各个领域产生巨大的影响。你可以想想自己内心有哪些目前无法表达出来的东西，可能有很多，大模型会改变这些情况，并因此改变各个行业。

大模型的幻觉不是创造力

现在我们正在谈论很多创意方面的尝试。我想我已经暗示过也许当今的人工智能实际上并没有那么有创意。但你会问幻觉是一种创造力的表现形式吗？

每个人都在谈论幻觉，也就是模型在产生新想法方面存在的问题。这实际上就是大模型会撒谎，它们会说出错误的内容。

但有些人认为这就类似于产生新想法，我认为这是过于乐观了。我不认为幻觉是一种创造力的表现形式。因为我觉得重要的一点是，要想具备创造力就要分清哪些是自己之前听过的和哪些是没听过的。例如如果你分不清哪些是自己之前听过的，哪些是自己之前没听过的，你最终提出的想法就会是已经存在的。

关于幻觉的这方面问题讨论较少，我称之为“创造性错觉”。也就是，我说某个东西好像是新的，但实际上我之前听过，而大模型确实会这样。比如，你让它们提供一个新菜谱，有时它们会给出一个已经存在的菜谱，即便你要求确保之前没人想过这个菜谱，还是很有可能出现这种情况。

这不是因为它在重新发明创造，而是因为它其实只是产生了错觉。因为这个菜谱其实就在训练数据里，但它仍然认为是自己想出了这个点子，我认为这很糟糕。这实际上是幻觉的一种变体，所以我觉得要想最终解决创造力的问题我们得先解决幻觉问题，这只是我的看法。

多模态并没有显著提升智能

如今多模态正在兴起，这意味着模型不再局限于文本。我之前已经分享过，有些重要的直觉可能无法用文本体现，所以我们加入新的模态比如视觉、音频等等。

这已经在发生了。比如GPT-4o能生成视频的Sora，它们是多模态模型。它们能处理不止一种模态的知识，这为各种出色的新应用打开了大门。比如回答关于图像的问题等等。

然而，目前的情况看来，多模态本身似乎并没有从根本上把智能提升到一个新高度。换句话说GPT 4o实际上并没有比GPT 4智能太多，可能多模态并非是达到人类水平智能的关键所在。

或许有其他更重要的因素，但仍有待探索。对于这个问题目前还没有定论，我们仍然不清楚，我们仍在探寻。

解决幻觉，很多新事物将涌现

现在，我们来看看当下的状况。目前大模型存在幻觉问题，缺乏基本的创造力，虽然在不断改善，但在推理方面仍存在问题。

因此，我们目前解决问题的着眼点主要是人们有实际付费意愿的那些领域，比如低风险的艺术、视频、音乐这类创意领域就很有吸引力，因为就算出错也不会有人丧命或破财。

但随着我们向更成熟的应用发展，我们希望像幻觉这样的问题得到处理。如果幻觉问题得到处理或缓解，当然，我们已经看到幻觉问题在缓解了，各种新机遇新事物会随之涌现。

那么如何做到呢？比如，扩大参数规模可能会有帮助，比如OpenAI o1的推理能力提升，或者RAG技术的运用。

据我所知，中关村科金在处理幻觉的问题上有其独特的解决办法，他们一直专注于运用领域数据和知识，打造满足特定场景需求的应用。

因为如果模型具有很强的领域专业性，就可以很好的减少幻觉问题。当我们取得这些进展后，就有可能开发更多的智能应用，比如合同撰写、法律咨询、医疗诊断、知识管理、智能客服、智能营销等。

要知道，幻觉之所以对这些领域构成阻碍，是因为它有出错的风险。在有些领域，比如医疗诊断等，不出错至关重要。在上述所有领域，犯错越多，经济损失就越多甚至会危及生命。因此，如果我们减少这类问题，就能开拓新的应用领域。

正如我刚才所说，推理能力已经在提升，这一点从OpenAI o1及其他近期新进展就能看出。随着推理能力的提升，更多的应用会不断出现，比如问题解决、自动编码、机器人技术、设计等各类应用。

那创造力呢？大模型何时才能达到与人类相当的水平呢？那可能还比较遥远，我们得理解诸如新颖性和趣味性这类概念。

但话说回来，我们得到了些新应用，完全不需要人类的参与，比如新科学理论、公司新创意、电影情节、发明创造等，巨大的价值正逐渐显现。

但有趣的是，这些开始涌现的价值，正逐步取代人类最伟大的成就。这是一个非常奇特的地方。

未来的不确定性

因此，值得停下来思考一下，这意味着什么，即当AI或AGI超越或等同于人类时，我们可以期待在健康、交通和能源等领域取得诸多突破，但同时也会带来大规模的经济动荡，因为到那时谁还会拥有什么，谁能靠工作挣钱呢？

还会有工作岗位吗？甚至上升到哲学问题的探讨比如我们这么做的目的是什么？我们人类的梦想又是什么呢？如果计算机能超越我们人类当前所做的一切。

当然，还有大模型被恶意利用的潜在危险，甚至AI本身也可能做出有害之事。例如，AI可能试图破坏社会甚至伤害人类。因此，随着AI趋近人类水平会出现诸多问题，如一些绝佳的机遇，不确定性以及一些潜在的重大弊端。

事实上，没人知道会发生什么，也不知道何时发生。我没法告诉你将会发生什么。你或许希望我告诉你，但我做不到。因为就目前的情况来看，就连专家们也意见不一。这恰恰表明专家们也不清楚情况会怎样。

我们根本不知道这种情况多快会出现。也不知道何时发生以及会出现什么结果，所以当下存在诸多不确定性，我们都面临着这些不确定性。必须开始以多种不同方式去应对。

感谢你们的宝贵时间，如果你们愿意，可以随时联系我。我很乐意和你们讨论。