内容来自互联网博客
深度学习框架的一年
如果我不得不一句话总结2017年,那将是框架的一年。Facebook使用PyTorch做了一个大飞溅。由于类似于其动态图构建Chainer提供,PyTorch得到很多的爱从研究人员在自然语言处理,谁经常要处理动态和周期性的结构是很难在诸如Tensorflow静态图形框架申报。
Tensorflow在2017年已经相当成功.Tensorflow 1.0在二月份发布了一个稳定且向后兼容的API。目前,Tensorflow的版本是1.4.1。除主框架之外,还发布了几个Tensorflow伴随库,包括用于动态计算图的Tensorflow折叠,用于数据输入流水线的Tensorflow变换以及DeepMind的更高级别的Sonnet库。Tensorflow团队还宣布了一个新的热切执行模式,其工作方式类似于PyTorch的动态计算图。
除Google和Facebook之外,许多其他公司也加入了机器学习框架的潮流:
- 苹果公司发布了CoreML移动机器学习库。
- Uber的一个团队发布了Pyro,一种深度概率编程语言(Deep Probabilistic Programming Language)。
- 亚马逊宣布胶子,在MXNet提供了更高级别的API。
- Uber发布了其内部米开朗基罗机器学习基础设施平台的详细信息。
而且由于框架的数量已经失控,Facebook和微软宣布了ONNX开放格式,以便跨框架共享深度学习模式。例如,您可以在一个框架中训练您的模型,然后在另一个框架中投入生产。
除了通用的深度学习框架外,我们还看到大量的强化学习框架正在发布中,其中包括:
- OpenAI Roboschool是一款用于机器人仿真的开源软件。
- OpenAI Baselines是一套强化学习算法的高质量实现。
- Tensorflow代理包含优化的基础设施,用于使用Tensorflow来培训RL代理。
- Unity ML Agents允许研究人员和开发人员使用Unity Editor创建游戏和模拟,并使用强化学习进行训练。
- Nervana Coach允许使用最先进的强化学习算法进行实验。
- Facebook的游戏研究ELF平台。
- DeepMind Pycolab是一个可定制的gridworld游戏引擎。
- Geek.ai MAgent是一个多代理强化学习的研究平台。
为了让深度学习更容易获得,我们也为Web提供了一些框架,比如Google的deeplearn.js和MIL WebDNN的执行框架。但至少有一个非常流行的框架死亡。那是Theano。在Theano邮件列表中的一个公告中,开发者决定1.0将是它的最后一个版本。
学习资源
随着深度学习和强化学习越来越受欢迎,越来越多的讲座,训练营和活动已经在2017年在线录制和发布。以下是我最喜欢的一些:
- 由OpenAI和加州大学伯克利分校联合主办的Deep RL Bootcamp讲授了关于强化学习基础知识以及最新研究成果的讲座。
- 斯坦福大学2017年春季版视觉识别卷积神经网络课程。也请查看课程网站。
- 斯坦福大学自然语言处理与深度学习课程2017年冬季版。也请查看课程网站。
- 斯坦福的深度学习理论课程。
- 新的Coursera深度学习专业
- 蒙特利尔的深度学习和加强暑期学校
- 加州大学伯克利分校2017年秋季深度强化学习课程。
- 该Tensorflow开发峰会上深入学习的基础知识和相关的API Tensorflow会谈。
几个学术会议继续在网上发布会议的新传统。如果您想赶上尖端的研究,您可以观看NIPS 2017,ICLR 2017或EMNLP 2017的一些录音。
研究人员也开始在arXiv上发布容易获取的教程和调查报告。这是今年的一些我的最爱:
原文链接:http://www.wildml.com/2017/12/ai-and-deep-learning-in-2017-a-year-in-review/
整理的很棒啊~