ramy  2019-02-21 22:49:19  应用程序 |   查看评论   

OpenAI

▲OpenAI 不公开发布 GPT-2,应该反对还是赞同?

 

AI科技评论按:上周四,OpenAI发布了一个非常大的语言模型GPT-2给定一两句开头之后,这个模型就可以生成新闻、小说同人等多种不同风格的文字,内容看起来非常逼真然而反常的是,OpenAI的研究人员们决定不发布训练模型的数据、也不发布最大那个模型预训练后的参数,因为他们认为如此强力的模型有遭到恶意滥用的风险。「认为可能有风险所以不发布模型」,这事引起了渲染大波,机器学习&自然语言处理界的研究人员们展开了热烈的讨论。

 

麦吉尔大学机器学习专业博士生、2017年时曾经在OpenAI实习过、同时自己做语言建模的Ryan Lowe针对此事写了一篇文章,写下了自己的观点。这篇全面、博客也得到了许多研究人员的赞同。(公众号:) AI科技评论全文编译如下。

 

关於OpenAI GPT-2 语言模型的讨论我已经看到了很多,但是目前我还没看到有哪个帖子完全说出了我想说的。面对机器学习领域研究成果潜在的被滥用的风险,有一件非常重要的事是我希望所有这个领域的研究人员们都可以明白的,我会在下文中说明。我也会谈谈这项研究在技术方面的价值、人类级别语言生成的社会影响;以及有人说OpenAI 的科研目标就是为了可以制造爆炸性新闻,我也来说说我的看法。

 

这项研究的正面价值大吗?

 

我曾经做过基於神经网络的对话系统,就是给出一段对话内容,让模型预测接下来的一句是什么。当时是2016 年年底,我还记得我们把模型生成的语句全部看了一遍,希望能找到一些符合对话语境的句子。但是一句令人满意的都没有。

 

所以当我看到GPT-2生成的「会说英文的独角兽」的故事时瞬间震惊了。这个故事讲得并不完美,里面有一些前后冲突的内容,但总的来说这篇文本十分连贯、流畅、有条理,就像是人类写的一篇新闻一样。在我看来,即便这样的结果是从许多次的尝试中挑选出来的,我觉得也是非常惊人的成果。而且这个模型在前后文里多次正确地使用了「Jorge Perez」这个人名,要知道这个模型是没有显式的记忆机制的,这也让我觉得有点钦佩。可以说这个模型已经到达了一个全新的境界了,即便最新的语言生成论文我没有全都看过,但我认为目前没有任何别的模型在连贯性条理性、语法正确性、长段文本内容的理解引用以及世界常识方面达到了这样的水平。

 

我也可以明确一点,这项研究中没有任何新的算法研究成果。他们只不过是把之前的GPT 的研究增加了规模而已。不过我觉得「具体表明了增大规模的模型有多强」这件事本身就是重要的成果了。事后我们回过头来说「更多的数据、更多的计算力会给你带来更好的模型」当然容易,但是如果在OpenAI 发布模型之前我拿那个独角兽的故事给同事看、告诉他们这是AI 生成的文本的话,我觉得他们是不会相信的。

 

有人猜测模型会不会只是简单地记住了文本模版,然后再正确地把它们重复出来就可以了。这一点在他们的论文中也进行了讨论,作者们展示了GPT-2 生成的样本和训练数据集之间的单词重复率,这个重复率实际上比测试集和训练集之间的单词重复率还要低。换句话说,GTP-2 表现出的记忆行为比随便取一段人类撰写的文字还要低。如果我们要说这个模型具有非平凡的泛化能力的话,这算是一条挺强力的证据了。

OpenAI不公开发布GPT-2,应该反对还是赞同?

OpenAI GPT-2 论文中的图5 - 与训练集对比的8 元组累积重复率。图中表明 GPT-2 生成的样本('samples')和测试集中的人类文本('real')都和训练集有一定比例的重复。生成的样本有更多都在低重复率的区域。


我们应该质疑他们展示的结果吗?提出「OpenAI的研究人员们展示模型泛化能力的方式是否准确」的这个问题是非常合理的。我个人很想看看他们选出那些展示给我们看的结果的时候一共尝试了多少种不同的输入(挑选结果的「元范围」有多大)。不过他们确实提供了一个包含了几百条原始样本的记录文件,这可以让我们对模型的能力有更好的了解。另外,对於每条选出的高质量GPT-2文本生成结果,他们也给出了得到那个结果时的尝试次数,这就不怎么常见了,包括我自己的论文都不会说明这个。结合他们发布的代码,在我看来OpenAI展示结果的方式确实达到了其它NLP论文发布的标准。

  
 

除特别注明外,本站所有文章均为 人工智能学习网 原创,转载请注明出处来自OpenAI 不公开发布 GPT-2,应该反对还是赞同?

留言与评论(共有 0 条评论)
   
验证码: