aihot  2018-01-21 16:16:09  应用程序 |   查看评论   
Google Brain
      Google大脑团队的工作目标是通过科学研究和系统工程不断推进顶级AI系统的发展,这也是整个Google的AI战略的一部分。2017年的时候Google大脑也发出过一篇  对2016年工作的总结文章  ,这之后Google大脑团队也在持续不断地向着自己「让机器更智能」的长期研究目标进发,也和Google和Alphabet内的许多团队合作,把研究结果应用到真正地改善人类的生活中去。
 
      这次Google 对2017 年成果的总结分为了上下两篇,这篇是第一篇,包含基础研究成果、开源软件和数据集更新,以及新的机器学习硬件。在稍后的下篇中会详细介绍一些具体应用领域中的研究,机器学习可以在其中带来很大影响,这些领域比如医疗保健、机器人、一些基础自然科学领域,同时也会介绍Google 大脑在创造性、公平和包容性方面的努力,以及介绍一下这个团队。
 
核心研究内容
 
      Google大脑团队的关注重点是  ,通过科学研究增进自己对机器学习领域新问题的理解以及解决它们的能力  。2017年中Google的研究主题包括以下这些:
 
自动机器学习(AutoML)
 
      自动化机器学习的目标是开发出一些技巧,让计算机自动解决新的机器学习问题,不再需要人类机器学习专家参与每一个新的问题的解决。如果人类想要打造真正智能的系统的话,这肯定会是不可或缺的基础能力之一。Google大脑开发了  自动设计神经网络架构的新方法  ,其中同时运用了强化学习和演化算法两类技术,并把这项工作拓展到了「自动化机器学习在ImageNet分类和检测中达到顶尖表现」论文中(https://arxiv.org/pdf/1707.07012.pdf)。
 
      这项研究同时也展现了如何自动学习优化算法和高效的启动函数。Google 大脑团队现在正在与Google 云端AI 团队积极协作,目标是让Google 的客户们也都可以使用这种技术,同时也把Google 对这种技术的探索拓展到更多方向上去。
神经网络搜索技术探索出的卷积神经网络架构
▲神经网络搜索技术探索出的卷积神经网络架构
 
 
自动机器学习学习到的网络进行物体检测
▲自动机器学习学习到的网络进行物体检测
 
语音理解和生成
 
      另一个研究主题是开发新的技术提高计算机系统理解和生成人类语音的能力。其中, Google大脑也和Google语音团队合作,开发出了  数种端到端语音识别技术的改善方法  ,把Google生产环境中的语音识别系统单词错误率相对降低了16%。这项研究很有意思的一点是,本来中有很多独立的研究路线在进行,而这项研究让它们汇总到了一起。
 
(包括以下这些论文:)
 
端到端Listen-Attend-Spell 语音识别模型中的组件
▲端到端Listen-Attend-Spell 语音识别模型中的组件
 
      Google大脑团队也和Google的机器理解团队的研究同事们协作,共同开发了  新的文本到语音生成方法(Tacotron 2),它大大提升了语音生成的质量。类似可听电子书那种专业水准的录制语音,平均主观分数得分MOS是4.58分,之前最好的电脑生成语音系统得分在4.34,而这个新模型的得分为4.53,已经很接近人类的水平。
Tacotron 2 的模型架构
▲Tacotron 2 的模型架构
 
新的机器学习算法和应用方法
 
      Google大脑的研究人员们持续开发着新的机器学习算法和应用手段,包括  胶囊capsules的研究(显式地寻找激活特征之间的一致性,作为执行视觉任务时评估各种不同的带噪声假设的手段)、专家们的稀疏门组合(这可以让大模型的计算效率仍然保持很高)、超越网络(用一个模型的权重生成另一个模型的权重)、  新类型的多模态模型(可以用同一个模型对语音、视觉、文本等不同输入做多任务学习)、  基于注意力机制的模型(作为卷积和循环模型的替代方案)、符号化和非符号化的学习到的优化模型(http ://proceedings.mlr.press/v70/bello17a/bello17a.pdf  ,https://arxiv.org/abs/1703.04813)、一种通过离散变量做反向传播的方法(https://arxiv.org/abs /1611.01144),以及一些强化学习算法的新的改进方案(https://arxiv.org/pdf/1702.08892.pdf)。
 
用于计算机系统的机器学习
 
      用机器学习方法取代传统计算机系统中启发式方法的想法也让Google大脑成员们觉得非常有意思。Google大脑已经展示了在把计算图映射到一组计算设备上的任务中,强化学习模型选择的放置方法要比人类专家的选择更好(https://arxiv.org/abs/1706.04972)。
 
      和其它Google研究院的同事一起, Google大脑这项研究  「聊一聊学习得到的索引架构」中展现了神经网络可以比B树、哈希表、Bloom filters等传统数据结构更快、更节省空间地建立完成索引任务。
 
      Google 大脑相信,这仅仅是探索机器学习在核心计算机系统中应用的开始,Jeff Dean 在NIPS workshop 上进行的「Machine Learning for Systems and Systems for Machine Learning」演讲中也描绘了他们的设想。
学习到的模型可以作为索引结构
▲学习到的模型可以作为索引结构
 
隐私和安全
 
      机器学习和安全、隐私之间的互动也一直是Google大脑的研究重点。在获得ICLR 2017最佳论文奖的论文中,他们展示了  应用机器学习时可以带有差分隐私保障  。Google大脑也继续对对抗性样本做了更多的探索,包括真实世界中的对抗性样本(https://arxiv.org/abs/1607.02533),以及如何在训练过程中生成大规模的对抗性样本以便让模型对它们更加具备强健控制的能力(https://arxiv.org/abs/1611.01236)。
 
理解机器学习系统
 
      在深度学习展现出惊人成果的同时,理解它为什么能奏效、什么时候不能奏效也是很重要的一件事。在另一篇ICLR 2017获奖论文中, Google大脑的研究人员们展现出目前的机器学习理论框架无法解释深度学习方法的喜人成果  。
 
      他们也发现,优化方法找到的局部极小值点的「平坦性」和泛化能力的优秀程度之间的关系并不如人们一开始认为的那么紧密(https://arxiv.org/abs/1703.04933) 。为了更好地理解深度神经网络架构的训练是如何进行的, Google大脑发布了一系列论文分析随机矩阵,因为这也是多数训练方法的起始点(https://arxiv.org/abs/1710.06570) 。
 
      另一个理解深度学习的重要途径是更好地测量模型的表现,在近期一篇比较各种GANs方法的论文中, Google大脑展现了好的实验设计、统计严谨性的重要性,并且发现许多对生成式模型的热门增强方法都没能真的改进模型表现(https://arxiv.org/abs/1711.10337)。Google大脑希望这项研究能在鲁棒实验研究方面作为其它研究者可以参考的样例。
 
      Google大脑也在研究可以让机器学习系统具备更好的可解释性的方法(https://arxiv.org/abs/1711.00867)。2017年三月, Google大脑和OepnAI、DeepMind、YC Research等机构一起联合创立上线了Distill部落格  http://distill.pub/  ,这是一个新的开放的在线科技文献展示平台,专注于帮助人类理解机器学习。
 
      它对机器学习概念的清晰解释、文章中精彩且具备互动性的可视化工具都已经让它获得了不少赞誉,比如下面这篇  CNN启动特征可视化  。在上线后的第一年中,Distill上就已经发表了许多尝试理解各种机器学习方法的内在运行原理的文章,很给人带来启迪, Google大脑也非常期待2018年可预计的更多、更好的文章。
CNN 特征可视化
▲CNN 特征可视化
 
如何高效使用t-SNE
▲如何高效使用t-SNE
 
 
用于机器学习研究的开放数据集
 
MNIST、CIFAR-10、ImageNet、SVHN、WMT 这样的开放数据集极大地推动了整个机器学习领域的发展。Google 大脑和Google 研究院也在过去的一年中共同积极开源了许多用于机器学习研究的有意思的新数据集,提供了更大的有标注数据集供开放访问,包括:
 
  
 

除特别注明外,本站所有文章均为 人工智能学习网 原创,转载请注明出处来自总结2017年Google Brain成果上篇:机器学习、开放资源遍地开花

留言与评论(共有 0 条评论)
   
验证码: