Google的NeuralTangents为AI模型的行为提供了前所未有的见解
作者:访客发布时间:2023-04-25分类:科技网络浏览:137评论:0
给大家分享一篇关于互联网和手机的文章。相信很多朋友对互联网和手机还是不太了解,所以边肖也在网上搜集了一些关于手机和互联网的相关知识与大家分享。希望大家看完之后会喜欢。
谷歌今天提供了神经切线,这是一个在JAX编写的开源软件库,用于高性能机器学习研究。它旨在同时帮助建立一个可变宽度的人工智能模型。谷歌表示,它可以对模型的行为进行“前所未有的”洞察和“帮助”.打开机器学习的黑匣子”。
正如谷歌高级研究科学家塞缪尔舍恩霍尔兹(Samuel S.Schoenholz)和研究工程师罗曼诺瓦克(Roman Novak)在一篇博客文章中解释的那样,推动人工智能研究进展的主要见解之一是,增加模型的宽度将导致更有规律的行为,并使它们更容易理解。通过回顾,所有的神经网络模型都包括排列在互连层中的神经元(数学函数),它们从输入数据中传输信号,并缓慢调整每个连接的突触强度(权重)。这就是他们如何提取特征并学习做出预测。
允许无限扩展的机器学习模型倾向于收敛到另一个更简单的模型,称为高斯过程。在这个限度内,复杂的现象可以简化为简单的线性代数方程,可以作为研究AI的透镜。然而,推导有限模型的无限宽度限制需要数学专业知识,并且必须针对每个架构分别计算。一旦推导出无限宽度模型,需要几个月的时间掌握工程技术,才能实现高效、可扩展的实现。
这就是神经切线的使用——它使数据科学家能够只使用五行代码一次构建和训练无限组网络。根据Schoenholz和Novak的观点,所构建的模型可以应用于任何可以应用于常规模型的问题。
研究人员写道:“我们看到无限宽的网络模仿有限的神经网络,遵循相似的性能水平,它们的性能比卷积网络差,而反卷积网络的性能比卷积网络差。”“然而,与常规训练不同的是,这些模型的学习动态是完全封闭的,这使得[新]能够深入了解它们的行为。”
本文就为大家讲解到这里了。- 科技网络排行
- 最近发表
- 标签列表
-