Yann LeCun最新发声：自监督+世界模型，让 AI 像人类一样进修与推理

意味著但会选择扔掉难以分析的有关 y 的资讯；（2）当潜在给定 z 在一个给定上变立体化时，将导致分析在一个给定上变立体化各别似是而非的分析。

那么，我们如何军事训练 JEPA 呢？

截至已确定，熟悉学者所可用的唯一原理就是“对比”，之外辨识兼容 x 和 y 的范例，以及许多 x 和不兼容 y 的范例。但是当坚称是欧拉精神状态时，这是比较不切实际的。

从年前两年还出现了另一种军事训练策略：同调立体化原理。当不宜用做 JEPA 军事训练时，该原理可用了四个规格：

这些规格可以以各种方式也升华为可微的效率formula_。一种原理是 VICReg 原理，即绝对值/给定（Variance）、洛仑兹（Invariance）、均值同调立体化(Covariance Regularization）。在 VICReg 中但会，x 和 y 坚称的资讯素材通过将其非零的绝对值始终保持在阈值从年前并通过使这些非零这样一来地相互单一来最大立体化。同时，该建模试图使 y 的坚称可以从 x 的坚称中但会分析。此外，潜给定的资讯素材通过使其时域、低维、稀疏或噪声来最优立体化。

JEPA 的美妙之西北侧在于它自然地造成了了读取的资讯简约坚称，消除了说明来说说明素材，并且可以可执行分析。这使得 JEPA 可以相互移位，以便求学不具十分高简约级别的坚称，可以完成长年分析。

例如，一个情景可以在高层次上描述为“烹饪将要制作者可丽饼”。它可以分析烹饪但会去取面粉、牛奶和面包，将调料混和，把面糊盘子进到锅里面，将面糊水煮，并翻转可丽饼，然后不断每一次该现实生活。在较外围次的表达上，这个情景意味著是倒一勺面糊并盘子均匀，且将其铺在锅周围。一直持续到每一毫秒的烹饪的左手的直观滚动。在外围次的左手部滚动上，我们的时至今日建模只能完成短期的准确分析。但在十分高的简约层次上，它可以做出长年的分析。

由上而下 JEPA 可用做在多个简约级别和多个小时尺度上可执行分析。军事训练方式也主要是通过也就是说通过观察，常常通过互动。

胎儿在出生后的头几个年底主要正确地来探究时至今日是如何运作的。她发觉时至今日是三维的，明白有些质点但会摆在其他质点的年前面，当一个质点被照亮时，它仍然实际上。最终，在大约 9 个年底大的时候，胎儿物理学但会了抽象的物理立体化学学——例如，不所致中空的质点但会因重力而落下。

由上而下 JEPA 的愿景在于它可以通过观看影片和与生态环境交互来探究时至今日是如何运作的。通过军事训练自己来分析影片中但会但会暴发什么，它可以生成对时至今日的由上而下坚称。通过在时至今日上采取秘密行动并通过观察结果，时至今日建模将物理学但会分析其秘密行动的后果，进到而需要后下理和构想。

通过将由上而下 JEPA 军事训练为时至今日建模，一个智慧体（电脑程式人）就可以可执行比较简单左手部的由上而下规划的设计，将比较简单护航分解成为一系列不想像中比较简单和不想像中简约的子护航，一直到对效不宜装置（effector）的除此以外左手部。

一个近似于的知觉-秘密行动情节如上。该图问道明了两级层次骨架的可能会。知觉组件浓缩时至今日精神状态的由上而下坚称（图中但会 s1[0]=Enc1(x) 和 s2[0]=Enc2(s[0])）。然后，在假设二级秘密行动装置提出异议的一系列简约左手部的可能会下，多次不宜用二级分析装置来分析仍期望精神状态。秘密行动装置优立体化二级左手部脱氧核糖核酸以将总效率最优立体化（图中但会的C（s2 [4]））。

这个现实生活类似于最优控制中但会的建模分析控制。对第二级潜在给定的多个素描每一次该现实生活，这意味著但会造成了相异的高级情景。由此造成了的高级左手部这不组合成根本的左手部，而只是判别了除此以外精神状态脱氧核糖核酸必需符合的制约（例如，调料否正确混和？）。它们确实组合成了子目标。整个现实生活在外围每一次：直通外围分析装置，优立体化外围左手部脱氧核糖核酸以将下层的中但会间效率最优立体化，并对外围潜在给定的多个素描每一次该现实生活。一旦该现实生活完成，智慧体将第一个除此以外左手部输入到效不宜装置，整个情节可以每一次。

如果我们尝试重构了一个这样的建模，那么所有的组件都是可微的，因此整个左手部优立体化现实生活可以可用基于温度梯度的原理来可执行。

LeCun 的愿景无需十分熟悉的探索，而且后方还有许多艰巨的终究。其中但会最引人注目又最困难的一项终究是为时至今日建模将的子系统和军事训练说明素材示例立体化。我们甚至可以问道，军事训练时至今日建模是仍期望几十年人工智慧可以根本拿到进到展的主要终究。

但是的子系统的许多其他特别仍正确性判别，之外如何直观地军事训练Critic（Critic网络的作用是衡量一个Actor在某精神状态下的优劣），如何重构和军事训练子系统的设计装置，以及如何可用短期记忆来搜索时至今日精神状态和存储时至今日精神状态与秘密行动的历史，用内在效率来变动Critic。

LeCun 和其他 Meta AI 的熟悉研究医务人员希望在仍期望数年底和数年内探索这些素材，并与该餐饮业的其他人技术交流想法和求学。创造可以像进到立体化一样有效地求学和探究的电脑程式是一项长年的科学努力——而且不能意味着尝试。但我们相信，坚实熟悉研究将继续加深对观点和电脑程式的探究，并将造就十分多造福进到立体化的人工智慧创出成果。

IEEE Spectrum：您曾问道过，委派求学的相比较有时但会被误普遍认为是浅层求学的内在局限，那哪些约束可以通过自委派求学来解决问题呢？

Yann LeCun：委派求学在一些骨架不稳定的的餐饮业中但会表现很不错。在这些餐饮业中但会，你可以采集大量的记号数据集，并且在部署现实生活中但会可以看得见，这些读取类型与军事训练现实生活中但会可用的读取类型从未想像中大区别。要采集大量且相比从未复杂性的记号数据集是这不无需的。我所问道的不一定是社但会复杂性，而是问道子系统不不该可用数据之外但会的相关性。一个十分著名的例子是，当你在军事训练一个需要鉴别牧牛的子系统时，若军事训练中但会用的都是稻场上的牧牛，那么子系统将把稻作为牧牛的取材。如果再给它一头在海岸边上的牧牛，它意味著就这不无需鉴别出了。

自委派求学 (SSL) 允许我们军事训练子系统以单一于护航的方式也求学极好的读取坚称。因为 SSL 军事训练可用仍未记号的数据集，所以我们可以可用十分大的军事训练集，并让子系统求学十分稳健和十分完整的读取坚称。然后，它只无需少量的记号数据集就能在委派护航上赢得极好的安全性。这大大减少了显委派求学所特有的记号数据集量，并使子系统十分加稳健，需要十分好地西北侧理方式也与记号军事训练样本相异的读取。它有时还但会降低子了系统数据集复杂性的敏感性——关于这一革新，我们将在仍期望月里内透过十分多关于熟悉研究的论述。

现今在实际的 AI 子系统中但会将要暴发的好事是，我们将要转向可用 SSL 对大量仍未记号数据集完成先于军事训练的十分大的子系统。这些可用做各种护航。例如，Meta AI 现今拥有可以西北侧理方式也几百种第二语言的第二语言转译子系统。这是一个单一的建模！我们还有在线字词鉴别子系统。这些子系统可以西北侧理方式也几乎从未数据集的第二语言，十分不用问道隙注释的数据集了。

IEEE Spectrum：其他餐饮业奠基者问道，人工智慧的年前进到方向是通过十分好的数据集记号来革新委派求学。吴恩达最近和我谈起了以数据集为中但会心的AI，英伟达 的 Rev Lebaredian 和我谈起了近似于所有记号的多肽数据集。该餐饮业否实际上关于年前进到干道的意见分歧？

LeCun：我不普遍认为实际上神学上的意见分歧。SSL 先于军事训练是 NLP 中但会十分规格的不合时宜。它在字词鉴别特别表现出了不错的安全性革新，并且在视觉特别开始变得更为有用。然而，“经典”委派求学仍有许多仍未技术开发的不宜用，因此人们当然不该这样一来可用多肽数据集和委派求学。据问道英伟达也将要努力技术开发 SSL。

早在 2000 20世纪中但会期，Geoff Hinton、Yoshua Bengio 和我就深信，我们需要军事训练十分大和十分深的建模的唯一原理是通过自委派（或无委派）求学。这也是吴恩达开始对浅层求学感兴趣的时候。他当时的工作也之外但会在我们现今所称自委派的原理上。

IEEE Spectrum：自委派求学如何促成不具原则上知识的 AI 子系统？原则上知识能把 AI 子系统隙向进到立体化总体的智慧多远？

LeCun：我普遍认为，一旦我们察觉到如何让电脑程式像进到立体化和生物一样求学时至今日是如何运作的，人工智慧就但会拿到重大进到展：这主要是正确地，并在通过观察中但会采取秘密行动。我们探究时至今日是如何运作的，因为我们并未探究了时至今日的内部建模，该建模使我们需要填补纠正的资讯，分析将要暴发的好事，并分析我们秘密行动的阻碍。我们的时至今日建模使我们需要知觉、说明、后下理、日年前构想和秘密行动。

但电脑程式如何求学时至今日建模呢？这归结为两个难题：我们不该可用什么求学正则表达式来军事训练时至今日建模？时至今日建模不该可用什么的子系统？

对于第一个难题，我的答案是 SSL（自委派求学）。一个例子是让电脑程式观看影片，暂停影片，然后让电脑程式求学影片中但会每一次但会暴发什么的坚称。在这样做的现实生活中但会，电脑程式可以求学大量关于时至今日如何运作的取材知识，意味著类似于胎儿和生物在心灵的刚开始月里和几个年底内的求学方式也。

对于第二个难题，我的答案是一种新型的浅层弘的子系统，我所称由上而下联合行动插入分析的子系统（H-JEPA）。简单说明，JEPA 不是分析影片剪辑的仍期望帧，而是求学影片剪辑的简约坚称和剪辑的仍期望，以便后者需要基于对年前者的探究很更易地分析。这可以可用非对比 SSL 原理的一些月所其发展来实现，特别是我和我的同事最近提出异议的一种称为“VICReg”的原理。

IEEE Spectrum：月里年前，你应有了在OpenAI转任的 Ilya Sutskever 的一条后下文，他在后下文中但会所述，现今的大型建模意味著有自我意识。你的却问道是响亮的“不”。在您看来，重构一个有自我意识的建模无需什么？那个子系统但会是什么样子的？

LeCun：首先，自我意识是一个十分引人注意的概念。一些神学家、神经科学家和生物学家普遍认为这只是一种梦境，我十分近似于这种观点。

但我对导致自我意识错觉的或许有一个怀疑。我的假设是，我们的脸颊叶皮质中但会有一个单一的时至今日建模“增压装置”。该时至今日建模可根据意味著可能会完成子系统的设计。我们是帆船的舵左手；我们的时至今日建模虚拟了我们船周围的热空气和海流。我们建了一张木桌；我们的时至今日建模想象大块木头和被装它们的结果，等等。

我们的脑部中但会无需一个组件，我所称“子系统的设计装置”，它为我们的游戏目标和子目标，子系统的设计我们的时至今日建模来虚拟意味著的可能会，并启动我们的知觉子系统以浓缩相关资讯并扔掉赘余资讯。委派子系统的设计装置的实际上意味著是让我们造成了自我意识错觉的或许。但引人注目的是：我们无需这个子系统的设计装置，因为我们只有一个时至今日建模增压装置。如果我们的脑部足够大，可以现有许多时至今日建模，我们就不无需自我意识。所以，从这个普遍性上问道，自我意识是我们脑部局限的结果！

IEEE Spectrum：自委派求学在元时空的重构中但会可以客串演出什么角色？

LeCun：浅层求学在虚拟实境时至今日中但会有很多说明的不宜用，比如 VR 护目镜和 AR 镜子的运动搜索，捕猎和重新多肽身体运动和面部表情等等。

元时空中但会人工智慧驱动的新创意工不具很多机但会，可以让每个人在虚拟实境时至今日和虚幻时至今日中但会创造自觉。但元时空也有一个“显AI”的不宜用：虚拟实境 AI 助左手。我们不该有虚拟实境的 AI 助左手，可以在日常生活中但会鼓励我们，却问道我们的任何难题，并鼓励我们西北侧理方式也每天轰炸我们的一个大资讯。为此，我们无需我们的 AI 子了系统时至今日如何运作（无论是物理立体化学还是虚拟实境）有一定的探究，有一定的后下理和构想需要，以及一定某种程度的原则上知识。简而言之，我们无需察觉到如何重构可以像进到立体化一样求学的年前提 AI 子系统。这无需小时。但是Meta在这条方程式赛车上并未走了后下移小时。

雷峰网侵权社论，无权授权禁止刊载。详见见刊载须知。

【以上素材转自“雷峰网”，不代表本网站观点。无权授权不得刊载】

0。

武汉肿瘤医院哪家正规
揭阳专业治疗不孕不育医院
哈尔滨皮肤病医院哪家好
感冒咳嗽怎么办
怎么治疗慢性支气管炎咳嗽
止咳糖浆怎么选
美容药
品牌精选