要点总结 变形金刚主要学习的是相关性，而不是因果关系，这限制了它们获得真正智能的能力。 实现通用人工智能需要能够从学习相关性过渡到理解因果关系的模型。 大型语言模型通过基于概率分布预测下一个词元来生成文本。 提示中提供的上下文对语言模型的输出有显著影响。 语言模型处理的是稀疏矩阵，其中许多词元组合都是无意义的。 情境学习使语言学习者能够利用实例实时解决问题。 领域特定语言可以将复杂的数据库查询简化为自然语言。 LLM 中的上下文学习类似于贝叶斯更新，即根据新证据调整概率。 贝叶斯方法和频率学派方法之间的争论影响着人们对新型机器学习模型的看法。 贝叶斯风洞概念为测试机器学习架构提供了一个可控的环境。 了解 LLM 的运行机制对于有效利用其应用至关重要。 从相关性到因果关系的转变是人工智能发展中的一个重大障碍。 法学硕士中的情境相关性凸显了及时选拔的重要性。 语言模型中的稀疏矩阵通过过滤掉不相关的词元组合来提高效率。 贝叶斯风洞为评估机器学习模型提供了一个新颖的框架。 嘉宾介绍

　　维沙尔·米斯拉 是哥伦比亚大学工程学院计算机科学与电气工程教授，同时也是计算与人工智能副院长。他再次做客 a16z 播客，探讨其最新研究成果。该研究揭示了低层逻辑模型 中的 Transformer 如何在处理新信息时，以精确且数学上可预测的方式更新预测结果。他的研究凸显了通用人工智能 的差距，强调了持续的训练后学习和因果理解的重要性，而非仅仅依赖模式匹配。

　　 理解变压器和LLM

　　变形金刚会以一种数学上可预测的方式更新他们的预测。

　　——维沙尔·米斯拉

　　 学习逻辑逻辑的逻辑学家主要学习相关性而不是因果关系，这限制了他们的智能。

　　模式匹配并非智能；LLM学习的是相关性，而非因果关系。

　　——维沙尔·米斯拉

　　 实现通用人工智能需要能够学习因果关系的模型，而不仅仅是相关性的模型。

　　要实现通用人工智能，我们需要具备在训练后持续学习的能力。

　　——维沙尔·米斯拉

　　 LLM 通过构建下一个词元的概率分布来生成文本。

　　给定一个提示，它会给出下一个令牌的分布情况。

　　——维沙尔·米斯拉

　　 了解 LLM 的运行机制对于有效利用其应用至关重要。 语境在语言模型中的作用 语言模型的行为会受到提示中提供的先前上下文的影响。

　　根据你选择合成还是摇晃，下一行看起来会截然不同。

　　——维沙尔·米斯拉

　　 法学硕士中的情境相关性凸显了及时选拔的重要性。 语言模型在一个稀疏矩阵上运行，其中许多词元组合都是无意义的。

　　幸运的是，这个矩阵非常稀疏，因为这些标记的任意组合都是乱码。

　　——维沙尔·米斯拉

　　 稀疏矩阵通过过滤掉不相关的词元组合来提高效率。 提供的上下文可以极大地改变语言模型的输出结果。 了解语言模型如何根据输入提示生成文本至关重要。 情境学习和实时问题解决 情境式学习使LLM能够实时学习和解决问题。

　　情境学习是指向学习管理硕士展示一些它以前从未见过的东西。

　　——维沙尔·米斯拉

　　 法学硕士通过实例处理和学习新信息。 情境学习类似于贝叶斯更新，即根据新证据调整概率。

　　LLM 正在进行类似于贝叶斯更新的操作

　　——维沙尔·米斯拉

　　 该机制对于理解LLM的功能至关重要。 LLM 中的实时问题解决是通过情境学习实现的。 从例子中学习的能力体现了学习型硕士的适应能力。 领域特定语言和数据可访问性 领域特定语言将自然语言查询转换为可处理的格式。

　　我设计了一种领域特定语言，它可以转换有关板球统计数据的查询。

　　——维沙尔·米斯拉

　　 领域特定语言将复杂的数据库查询简化为自然语言。 领域特定语言的创建展现了人工智能在特定应用领域的创新应用。 了解查询复杂数据库所面临的挑战至关重要。 领域特定语言通过简化查询过程来增强用户与数据的交互。 领域特定语言的发展凸显了人工智能在数据可访问性方面的作用。 这种方法为数据访问方面的常见问题提供了一种技术解决方案。 人工智能中的贝叶斯更新和统计方法 语言模型中的上下文学习类似于贝叶斯更新。

　　你看到了什么，看到了新的证据，你更新了你对正在发生的事情的看法。

　　——维沙尔·米斯拉

　　 理解贝叶斯推断对于掌握LLM如何处理信息至关重要。 贝叶斯方法和频率学派方法之间的区别会影响人们对人工智能模型的认知。

　　在概率论和机器学习领域，存在着贝叶斯学派和频率学派两个阵营。

　　——维沙尔·米斯拉

　　 这些方法之间的争论会影响人们对新研究成果的接受程度。 贝叶斯更新为 LLM 中的上下文学习提供了一种清晰的机制。 这一统计概念将成熟的方法论与现代人工智能流程联系起来。 贝叶斯风洞和模型试验 贝叶斯风洞概念可以用于测试机器学习架构。

　　我们提出了贝叶斯风洞的概念。

　　——维沙尔·米斯拉

　　 这一概念为评估模型提供了一个可控的环境。 该框架有助于测试 Transformer、MAMBA、LSTM 和 MLP 等架构。 了解航空航天中的风洞概念有助于理解其在人工智能中的应用。 贝叶斯风洞为推进机器学习提供了一个新颖的框架。 这种方法对于评估和改进人工智能模型至关重要。 受控的测试环境提高了模型评估的可靠性。 披露：本文由编辑团队编辑。如需了解更多关于我们如何创建和审核内容的信息，请参阅我们的[链接]。编辑政策.