当前位置:   article > 正文

总结机器学习3个时代的算力规律:大模型的出现改变了什么?_算力时代各章节总结

算力时代各章节总结

在这里插入图片描述
图 1:1950 年至 2022 年间 118 个里程碑机器学习系统的趋势。我们区分了三个时代。注意大约 2010 年的斜率变化,与深度学习的出现相匹配;2015年底出现了新的大规模趋势。

预测机器学习领域的进展是很困难,其与行业、政策和社会中的参与者有着重要的相关性。

十年后计算机视觉会好多少?机器能否写出比我们更好的小说吗?我们将能够自动化哪些工作?

这些问题回答起来是很困难,因为它们取决于许多因素。然而,随着时间的推移,所有这些因素的影响中有一个因素——算力,有着惊人地规律。

已有数据显示,2010年之前,训练算力的增长率符合摩尔定律(Moore’s law),大约每20个月翻一番。

从2010年之后深度学习开始来临,训练算力的增长率大幅度提升,大约每6个月翻一番。2015年末,随着许多公司开始开发大规模的机器学习模型,对训练算力的要求提高了10到100倍,于是,一种新的趋势又出现了。

基于上述发现,一支联合团队在其研究COMPUTE TRENDS ACROSS THREE ERAS OF MACHINE LEARNING一文中,将机器学习的算力趋势分为三个时代:前深度学习时代,深度学习时代和大规模时代,很好地

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/码创造者/article/detail/761376
推荐阅读
相关标签
  

闽ICP备14008679号