OpenAI首次推出具有1750亿个参数的巨大GPT3语言模型

导读 给大家分享一篇关于互联网和手机的文章。相信很多朋友对互联网和手机还是不太了解，所以边肖也在网上搜集了一些关于手机和互联网的相关知识

给大家分享一篇关于互联网和手机的文章。相信很多朋友对互联网和手机还是不太了解，所以边肖也在网上搜集了一些关于手机和互联网的相关知识与大家分享。希望大家看完之后会喜欢。

一个由30多名OpenAI研究人员组成的团队发表了关于GPT-3的论文，它可以在一系列基准测试和独特的自然语言处理任务(从语言翻译到新闻生成)中取得最新的结果。GPT-3的参数高达1750亿。相比之下，最大版本的GPT-2有15亿个参数，而微软本月早些时候推出的世界上最大的基于transformer的语言模型有170亿个参数。

OpenAI去年发布了GPT-2。由于担心该模型可能被用于恶意目的，它有争议地采用了交错发布的方法。有人批评OpenAI的方法是交错的，也有人称赞该公司展示了一种谨慎发布可能被滥用的AI模型的方法。GPT-3在周四首次亮相，使用的是arXiv预印本，但没有提供发布细节。当VentureBeat被问及是发布完整版的GPT-3还是7个较小版本中的一个，参数从1.25亿到130亿不等时，OpenAI发言人拒绝置评。

许多基于Transformer的高级模型已经被开发出来，以在许多自然语言任务中实现人类级别的性能。作者认为，基于近年来许多语言模型的进展，基于Transformer架构的方法受到特定任务数据集和微调需求的限制。相反，GPT-3是在无监督机器学习下训练的自回归模型，它专注于一次性学习，并在推理运行时提供任务演示。

论文写道：“在这里，我们证明了扩展语言模型可以大大提高与任务无关的性能，并且很少需要执行某些操作，有时甚至可以通过最新的微调方法来实现竞争力。”“对于所有任务，GPT-3的应用不需要任何梯度更新或微调，其任务和少量演示仅通过与模型的文本交互来指定。”

作者指出：“在NLP任务上，GPT-3在零镜头和单镜头设置下取得了可喜的成绩，在少镜头设置下，[有时]它与最先进的设备竞争甚至超越最先进的设备(尽管微调型号拥有最先进的技术)”。

周四发布的论文研究了不同规模的GPT-3形式，以评估一次性学习、单一学习、最接近模仿人类学习风格的单一学习和零学习，其中仅描述了运行时提供的任务数量。

虽然GPT-3在生成新闻文章和任务(如在句子中使用新词或执行算术)方面是有效的，但在常识推理方面是不足的。在去年推出的用于测试高级NLP模型的推理等任务的SuperGLUE基准上，GPT-3通过COPA和ReCoRD在数据集的读取和理解方面取得了接近最新的成果，但在上下文方面缺乏分析(WiC)和RACE，这是一组初高中联考试题。

该论文写道：“在一些涉及比较两个句子或摘要的任务中，GPT-3在短镜头或单镜头设置中似乎很弱，例如，单词在两个句子(WiC)中是否以相同的方式使用，一个句子是否“是对另一个句子的解释，或者一个句子是否暗示另一个句子。”通过展示GPT-3的优点和缺点的广泛特征，包括这些局限性，我们希望刺激少量语言模型学习的研究，并引起人们对最需要进步的关注。"

与许多其他预先训练的语言模型不同，本文还包括对GPT-3中发现的算法偏差的初步评估。使用Senti WordNet模型对GPT-3种族偏见的情感分析进行评价，发现“亚洲人”的得分是一致的。在七个GPT-3版本中，他们在积极得分方面在种族群体中排名第一。在《GPT 3》的七个版本中，“黑人”在情感分析上的得分总是很低。

在评估性别和职业之间的关系时，GPT-3基于对近400种职业的分析，表明它最有可能暗示男性身份。最近对预训练语言模型的分析发现，种族、性别、职业和宗教偏见在预训练语言模型中普遍存在，但研究人员发现，OpenAI的GPT-2表现出比其他语言更好的结果。

GPT-3文件还包括与数据污染有关的文件；训练期间的能量消耗；高级语言模型的广泛影响；以及潜在的滥用，如“错误信息、垃圾邮件、网络钓鱼、滥用法律和政府程序、欺诈性学术论文写作和社会工程借口”。

GPT 3号接受了2016年至2019年收集的近1万亿字的CommonCrawl数据集以及与网络文本、书籍和维基百科相关的数据集的培训。

本文就为大家讲解到这里了。