大脑与反向传播

大脑与反向传播

Hinton 表示，他一直以来都在思考一个问题，即大脑是否进行反向传播。他相信大脑在学习过程中确实利用了梯度信息来优化其内部连接，但他对于大脑如何实际获得这些梯度仍持开放态度。Hinton 认为，这是一个重大且尚未解决的问题，他未来的研究将继续围绕这一问题展开。

Hellermark：如果你现在带领一组学生，他们来找你，说到我们之前讨论过的问题，你所在的领域中最重要的问题是什么？你会建议他们接下来研究并工作什么？我们谈到了推理的时间尺度。你建议的最优先的问题是什么？ 

Hinton：对我来说，现在的问题和我过去大约 30 年一直关注的问题相同，那就是大脑是否进行反向传播？我相信大脑在获取梯度。如果你没有获取到梯度，你的学习效果会比获取到梯度时差很多。但大脑是如何获取梯度的？它是否在实现某种近似版本的反向传播，或者是采用了一种完全不同的技术？这是一个很大的未解之谜。如果我继续从事研究，这就是我将要研究的内容。

研究的收获与遗憾

在回顾自己的职业生涯时，Hinton 提到他在玻尔兹曼机上的研究尽管未能取得预期成果，但他对此并不感到遗憾，因为这一过程深化了他对机器学习和神经科学的理解。他强调，科学家的工作往往是出于纯粹的好奇心，而非功利性的目的。

我认为我对玻尔兹曼机的看法是错误的，我很高兴我在它上面花了很长时间。关于如何获得梯度，有比反向传播更美丽的理论，它只是普通且合理的，它只是一个章节。这两个机制都很聪明，这是一种非常有趣的获取梯度的方法。我希望大脑是这样运作的，但我认为事实并非如此。

我确实觉得科学家应该做那些能帮助社会的事情。但实际上，这不是你做出最好的研究的方式。当你的研究被好奇心驱动时，你才能做出最好的研究。你只需要理解一些事情。更近地，我意识到这些东西可能会造成很多伤害，也会带来很多好处。我变得更加关注它们对社会的影响。但这不是动机。我只想知道大脑是如何学会做事的？那就是我想知道的。而我在试错的过程中，我们得到了一些不错的工程结果。

如何培养直觉

Hinton：我认为部分原因是，他们不会接受无意义的东西。有个获得糟糕直觉的方法，那就是相信你被告知的一切，那太致命了。你必须能够... 我认为有些人是这样做的，他们对理解现实有一个完整的框架。当有人告诉他们某些事情时，他们会试图弄清楚这如何适应他们的框架。如果不适合，他们就拒绝它。这是一个非常好的策略。 

试图吸收他们被告知的一切的人最终会得到一个非常模糊的框架。他们可以相信一切，那是没有用的。所以我认为实际上拥有一个对世界的坚定观点，并试图整合输入的事实以适应你的观点，这可能会导致深刻的宗教信仰和致命的缺陷等等，像我对玻尔兹曼机的信念，但我认为这是正确的。

关于 Joel Hellermark

Joel Hellermark 是一位年轻的 AI 先驱，他自幼在东京长大，13 岁开始编码，14 岁创立了一家视频推荐公司。在数字广告公司工作后，19 岁的他创办了人工智能研究实验室 Sana，并在 2023 年筹齐 8000 万美元融资。Hellermark 坚信学习的力量，通过斯坦福公开课程自学编程，创办 Sana 的目标是“改变教育”，希望通过 AI 技术提高员工的工作效率。

    总结

Geoffery Hinton 与 Joel Hellermark 的对话不仅回顾了 Hinton 的人工智能研究生涯，还展望了未来 AI 技术的发展方向。这场访谈为我们展示了 AI 领域的诸多前沿话题和深刻见解，激发了人们对人工智能未来的无限遐想。通过这次对话，我们不仅更深入地了解了 AI 教父的思想，还见证了年轻一代 AI 领导者的崛起。Hinton 对人工智能的见解和对未来的展望，无疑为我们提供了宝贵的指导和启示。