【NIPS 2017】英伟达、谷歌研究盘点，谷歌45篇论文、28个Workshop抢先看（论文下载）

本周，NIPS 2017 在加利福尼亚州长滩市举行，这是一个机器学习和计算神经科学的大会，包含有关最新的机器学习研究的邀请报告、展示和演讲。谷歌有450多名员工参与NIPS 2017，通过技术讲座、海报、研讨会、比赛和教程等方式向更广泛的学术研究社区贡献和学习。

谷歌处于机器学习研究的前沿，一直积极探索从经典算法到深度学习等领域的几乎所有方面。他们同时关注理论和应用，在语言理解，对话，翻译，视觉处理和预测方面的大部分工作都基于最先进的技术，这些技术突破了可能的界限。

新智元近日盘点了NIPS 2017概况和亮点，重点汇总了DeepMind和Facebook在NIPS 2017的参与，包括邀请演讲、接收论文等。本文将介绍谷歌和英伟达在NIPS 2017的表现，它们分别是今年NIPS的铂金赞助商和钻石赞助商。

Semi-Supervised Learning for Optical Flow with Generative Adversarial Networks

《基于生成对抗网络的光流半监督学习》

作者：Wei-Sheng Lai, Jia-Bin Huang, and Ming-Hsuan Yang

摘要：

卷积神经网络（CNN）近来被应用于光流估计（optical flow estimation）问题。由于训练CNN需要足够多的地面实况训练数据，而现有的方法采用合成的，不真实的数据集。另一方面，无监督的方法能够利用现实世界的视频进行训练，其中地面真实流场不可用。然而，这些方法依赖亮度恒定性的基本假设和不保持在运动边界附近的空间平滑先验。我们在本文中提出一种用GAN处理光流数据的方法，以半监督学习的方式处理没有标签的视频。我们的主要见解是对抗性损失可以捕捉流动扭曲错误的结构模式，而不需要做出明确的假设。基准数据集的大量实验表明，本研究所提出的半监督算法相对纯粹的监督和半监督学习方案有更好的效果。

Universal Style Transfer via Feature Transforms

《通过特征转换的通用风格迁移》

作者：Yijun Li, Chen Fang, Jimei Yang, Zhaowen Wang, Xin Lu, and Ming-Hsuan Yang

摘要：

通用风格迁移（style transfer）的目的是将任意视觉风格转移给图像。现有的基于前馈的方法在具有高推理效率的同时，主要受限于无法推广到没见过的风格或影响视觉质量。在本文中，我们提出了一个简单而有效的方法，可以解决这些限制，而无需对任何预定义的风格进行训练。我们的方法的关键要素是一个特征变换对，即刷白和着色（whitening and coloring），它们被嵌入到图像重建网络。刷白和着色的变换反映了内容图像的特征协方差与给定风格图像的直接匹配，与神经风格转移中基于格拉姆矩阵的成本优化想法相似。我们证明了所提出的算法的有效性，与最近的一些方法比较显示，我们的方法生成了高质量的风格图像。我们还通过可视化刷白特征和通过简单特征着色来合成纹理来分析我们的方法。

Learning Affinity via Spatial Propagation Networks

《通过空间传播网络学习Affinity》

作者：Sifei Liu, Shalini De Mello, Jinwei Gu, Guangyu Zhong, Ming-Hsuan Yang, Jan Kautz

摘要：

这篇文章提出了一个学习affinity矩阵的空间传播网络。这一研究表明，通过构造一个行/列线性传播模型，空间上的变换矩阵构成了一个affinity矩阵，它可以对图像上密集、全局的相似性进行建模。HELEN人脸解析和PASCAL VOC-2012语义分割任务的实验表明，空间传播网络为产生高质量的分割结果提供了通用而且高效的解决方案。

Unsupervised Image-To-Image Translation Networks

《无监督图到图像翻译网络》

作者：Ming-Yu Liu, Thomas Breuel, Jan Kautz

摘要：

无监督的图像到图像的翻译旨在通过使用来自单个领域的边缘分布图像来学习不同领域中的图像的联合分布。我们将所提出的框架与现有方法进行比较，在各种具有挑战性的无监督图像翻译任务（包括街景图像翻译，动物图像翻译和人脸图像翻译）得到高质量的图像翻译结果，并在基准数据集上实现了state-of-the-art的性能。

（谷歌员工用黑色字体凸显）

组织委员会

程序主席：Samy Bengio

高级领域主席： Corinna Cortes, Dale Schuurmans, Hugo Larochelle

领域主席：Afshin Rostamizadeh, Amir Globerson, Been Kim, D. Sculley, Dumitru Erhan, Gal Chechik, Hartmut Neven, Honglak Lee, Ian Goodfellow, Jasper Snoek, John Wright, Jon Shlens, Kun Zhang, Lihong Li, Maya Gupta, Moritz Hardt, Navdeep Jaitly, Ryan Adams, Sally Goldman, Sanjiv Kumar, Surya Ganguli, Tara Sainath, Umar Syed, Viren Jain, Vitaly Kuznetsov

Invited Talk

Powering the next 100 years

《助力未来100年》

演讲者：John Platt

接收论文

A Meta-Learning Perspective on Cold-Start Recommendations for Items

《关于项目冷启动推荐的元学习视角》

作者：Manasi Vartak, Hugo Larochelle, Arvind Thiagarajan

AdaGAN: Boosting Generative Models

《AdaGAN：提升生成模型》

作者：Ilya Tolstikhin, Sylvain Gelly, Olivier Bousquet, Carl-Johann Simon-Gabriel, Bernhard Schölkopf

Deep Lattice Networks and Partial Monotonic Functions

《深度Lattice网络和部分单调函数》

作者：Seungil You, David Ding, Kevin Canini, Jan Pfeifer, Maya Gupta

From which world is your graph

《你的图表来自哪个世界》

作者：Cheng Li, Varun Kanade, Felix MF Wong, Zhenming Liu

Hiding Images in Plain Sight: Deep Steganography

《在眼皮底下隐藏图像：深度隐写术》

作者：Shumeet Baluja

Improved Graph Laplacian via Geometric Self-Consistency

《通过几何自一致性改进图拉普拉斯算子》

作者：Dominique Joncas, Marina Meila, James McQueen

Model-Powered Conditional Independence Test

《模型驱动的条件独立性测试》

作者：Rajat Sen, Ananda Theertha Suresh, Karthikeyan Shanmugam, Alexandros Dimakis, Sanjay Shakkottai

Nonlinear random matrix theory for deep learning

《深度学习的非线性随机矩阵理论》

作者：Jeffrey Pennington, Pratik Worah

Resurrecting the sigmoid in deep learning through dynamical isometry: theory and practice

《通过动态等距复活深度学习中的sigmoid：理论与实践》

作者：Jeffrey Pennington, Samuel Schoenholz, Surya Ganguli

SGD Learns the Conjugate Kernel Class of the Network

《SGD学习网络的共轭内核类》

作者：Amit Daniely

SVCCA: Singular Vector Canonical Correlation Analysis for Deep Learning Dynamics and Interpretability

《SVCCA：深度学习动力学的奇异向量典型相关分析与可解释性》

作者：Maithra Raghu, Justin Gilmer, Jason Yosinski, Jascha Sohl-Dickstein

Learning Hierarchical Information Flow with Recurrent Neural Modules

《用递归神经模块学习分层信息流》

作者：Danijar Hafner, Alexander Irpan, James Davidson, Nicolas Heess

Online Learning with Transductive Regret

《在线学习与Transductive Regret》

作者：Scott Yang, Mehryar Mohri

Acceleration and Averaging in Stochastic Descent Dynamics

《随机下降动力学中的加速和平均》

作者：Walid Krichene, Peter Bartlett

Parameter-Free Online Learning via Model Selection

《通过模型选择的无参数在线学习》

作者：Dylan J Foster, Satyen Kale, Mehryar Mohri, Karthik Sridharan

Dynamic Routing Between Capsules

《胶囊之间的动态路由》

作者：Sara Sabour, Nicholas Frosst, Geoffrey E Hinton

Modulating early visual processing by language

《通过语言调整早期视觉处理》

作者：Harm de Vries, Florian Strub, Jeremie Mary, Hugo Larochelle, Olivier Pietquin, Aaron C Courville

MarrNet: 3D Shape Reconstruction via 2.5D Sketches

《MarrNet：通过2.5D草图的3D形状重建》

作者：Jiajun Wu, Yifan Wang, Tianfan Xue, Xingyuan Sun, Bill Freeman, Josh Tenenbaum

Affinity Clustering: Hierarchical Clustering at Scale

《Affinity Clustering：按比例分级聚类》

作者：Mahsa Derakhshan, Soheil Behnezhad, Mohammadhossein Bateni, Vahab Mirrokni, MohammadTaghi Hajiaghayi, Silvio Lattanzi, Raimondas Kiveris

Asynchronous Parallel Coordinate Minimization for MAP Inference

《MAP推理的异步并行坐标最小化》

作者：Ofer Meshi, Alexander Schwing

Cold-Start Reinforcement Learning with Softmax Policy Gradient

《用Softmax策略梯度进行冷启动强化学习》

作者：Nan Ding, Radu Soricut

Filtering Variational Objectives

《过滤变分目标》

作者：Chris J Maddison, Dieterich Lawson, George Tucker, Mohammad Norouzi, Nicolas Heess, Andriy Mnih, Yee Whye Teh, Arnaud Doucet

Multi-Armed Bandits with Metric Movement Costs

作者：Tomer Koren, Roi Livni, Yishay Mansour

Multiscale Quantization for Fast Similarity Search

《多尺度量化快速相似搜索》

作者：Xiang Wu, Ruiqi Guo, Ananda Theertha Suresh, Sanjiv Kumar, Daniel Holtmann-Rice, David Simcha, Felix Yu

Reducing Reparameterization Gradient Variance

《减少重新参数化梯度变化》

作者：Andrew Miller, Nicholas Foti, Alexander D'Amour, Ryan Adams

Statistical Cost Sharing

《统计成本分摊》

作者：Eric Balkanski, Umar Syed, Sergei Vassilvitskii

The Unreasonable Effectiveness of Structured Random Orthogonal Embeddings

《结构随机正交嵌入的不合理有效性》

作者：Krzysztof Choromanski, Mark Rowland, Adrian Weller

Value Prediction Network

《价值预测网络》

作者：Junhyuk Oh, Satinder Singh, Honglak Lee

REBAR: Low-variance, unbiased gradient estimates for discrete latent variable models

《REBAR：离散潜变量模型的低方差、无偏差梯度估计》

作者：George Tucker, Andriy Mnih, Chris J Maddison, Dieterich Lawson, Jascha Sohl-Dickstein

Approximation and Convergence Properties of Generative Adversarial Learning

《生成对抗学习的近似与收敛性》

作者：Shuang Liu, Olivier Bousquet, Kamalika Chaudhuri

Attention is All you Need

《你只需要注意力机制》

作者：Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, Illia Polosukhin

PASS-GLM: polynomial approximate sufficient statistics for scalable Bayesian GLM inference

作者：Jonathan Huggins, Ryan Adams, Tamara Broderick

Repeated Inverse Reinforcement Learning

《重复逆强化学习》

作者：Kareem Amin, Nan Jiang, Satinder Singh

Fair Clustering Through Fairlets

作者：Flavio Chierichetti, Ravi Kumar, Silvio Lattanzi, Sergei Vassilvitskii

Affine-Invariant Online Optimization and the Low-rank Experts Problem

《仿射不变在线优化和低阶专家问题》

作者：Tomer Koren, Roi Livni

Batch Renormalization: Towards Reducing Minibatch Dependence in Batch-Normalized Models

《批重整化：在批归一化模型中降低小批量相关性》

作者：Sergey Ioffe

Bridging the Gap Between Value and Policy Based Reinforcement Learning

《弥合价值与政策强化学习的差距》

作者：Ofir Nachum, Mohammad Norouzi, Kelvin Xu, Dale Schuurmans

Discriminative State Space Models

《判别式状态空间模型》

作者：Vitaly Kuznetsov, Mehryar Mohri

Dynamic Revenue Sharing

《动态收入分享》

作者：Santiago Balseiro, Max Lin, Vahab Mirrokni, Renato Leme, Song Zuo

Multi-view Matrix Factorization for Linear Dynamical System Estimation

《线性动态系统估计的多视图矩阵分解》

作者：Mahdi Karami, Martha White, Dale Schuurmans, Csaba Szepesvari

On Blackbox Backpropagation and Jacobian Sensing

《黑箱反向传播和Jacobian感应》

作者：Krzysztof Choromanski, Vikas Sindhwani

On the Consistency of Quick Shift

《论快速转换的一致性》

作者：Heinrich Jiang

Revenue Optimization with Approximate Bid Predictions

《用近似出价预测进行收益优化》

作者：Andres Munoz, Sergei Vassilvitskii

Shape and Material from Sound

《声音的形状和材质》

作者：Zhoutong Zhang, Qiujia Li, Zhengjia Huang, Jiajun Wu, Josh Tenenbaum, Bill Freeman

Learning to See Physics via Visual De-animation

《学习通过视觉去动画看物理》

作者：Jiajun Wu, Erika Lu, Pushmeet Kohli, Bill Freeman, Josh Tenenbaum

大会展示（Conference Demos）

Electronic Screen Protector with Efficient and Robust Mobile Vision

《具有高效强大的移动视觉效果的电子屏幕保护器》

作者：Hee Jung Ryu, Florian Schroff

Magenta and deeplearn.js: Real-time Control of DeepGenerative Music Models in the Browser

《Magenta和deeplearn.js：在浏览器中实时控制的深度音乐模型》

作者：Curtis Hawthorne, Ian Simon, Adam Roberts, Jesse Engel, Daniel Smilkov, Nikhil Thorat, Douglas Eck

Workshops

6th Workshop on Automated Knowledge Base Construction (AKBC) 2017

《2017年第六届AKBC研讨会》

程序委员： Arvind Neelakanta

作者： Jiazhong Nie, Ni Lao

Acting and Interacting in the Real World: Challenges in Robot Learning

《现实世界中的行为与互动：机器人学习的挑战》

邀请演讲： Pierre Sermanet

Advances in Approximate Bayesian Inference

《近似贝叶斯推理的进展》

Panel主持： Matthew D. Hoffman

Conversational AI - Today's Practice and Tomorrow's Potential

《会话AI：当前的实践和未来的潜力》

邀请演讲：Matthew Henderson, Dilek Hakkani-Tur

组织者： Larry Heck

Extreme Classification: Multi-class and Multi-label Learning in Extremely Large Label Spaces

《极端分类：极大标签空间中的多类和多标签学习》

邀请演讲： Ed Chi, Mehryar Mohri

Learning in the Presence of Strategic Behavior

邀请演讲：Mehryar Mohri

Presenters：Andres Munoz Medina, Sebastien Lahaie, Sergei Vassilvitskii, Balasubramanian Sivan

Learning on Distributions, Functions, Graphs and Groups

《学习分布，函数，图形和组》

邀请演讲：Corinna Cortes

Machine Deception

《机器欺骗》

组织者：Ian Goodfellow

邀请演讲：Jacob Buckman, Aurko Roy, Colin Raffel, Ian Goodfellow

Machine Learning and Computer Security

《机器学习和计算机安全》

邀请演讲：Ian Goodfellow

组织者：Nicolas Papernot

作者包括：Jacob Buckman, Aurko Roy, Colin Raffel, Ian Goodfellow

Machine Learning for Creativity and Design

《机器学习的创意和设计》

Keynote 演讲：Ian Goodfellow

组织者：Doug Eck, David Ha

Machine Learning for Audio Signal Processing (ML4Audio)

《音频信号处理中的机器学习（ML4Audio）》

作者包括： Aren Jansen, Manoj Plakal, Dan Ellis, Shawn Hershey, Channing Moore, Rif A. Saurous, Yuxuan Wang, RJ Skerry-Ryan, Ying Xiao, Daisy Stanton, Joel Shor, Eric Batternberg, Rob Clark

Machine Learning for Health (ML4H)

《医疗领域机器学习（ML4H）》

组织者：Jasper Snoek, Alex Wiltschko

Keynote演讲：Fei-Fei Li

NIPS Time Series Workshop 2017

《NIPS时间系列研讨会》

组织者：Vitaly Kuznetsov

作者包括：Brendan Jou

OPT 2017: Optimization for Machine Learning

《OPT 2017：机器学习优化》

组织者：Sashank Reddi

ML Systems Workshop

《ML系统研讨会》

邀请演讲：Rajat Monga, Alexander Mordvintsev, Chris Olah, Jeff Dean

作者包括：Alex Beutel, Tim Kraska, Ed H. Chi, D. Scully, Michael Terry

Aligned Artificial Intelligence

邀请演讲：Ian Goodfellow

Bayesian Deep Learning

《贝叶斯深度学习》

组织者：Kevin Murphy

邀请演讲：Nal Kalchbrenner, Matthew D. Hoffman

BigNeuro 2017

邀请演讲：Viren Jain

Cognitively Informed Artificial Intelligence: Insights From Natural Intelligence

《认知知情人工智能：来自自然智能的见解》

作者包括：Jiazhong Nie, Ni Lao

Deep Learning At Supercomputer Scale

《超级计算机的深度学习》

组织者：Erich Elsen, Zak Stone, Brennan Saeta, Danijar Haffner

Deep Learning: Bridging Theory and Practice

《深度学习：桥接理论与实践》

邀请演讲：Ian Goodfellow

Interpreting, Explaining and Visualizing Deep Learning

《深度学习的译码，解释和可视化》

邀请演讲：Been Kim, Honglak Lee

作者包括：Pieter Kinderman, Sara Hooker, Dumitru Erhan, Been Kim

Learning Disentangled Features: from Perception to Control

《学习解构特征：从感知到控制》

组织者：Honglak Lee

作者包括：Jasmine Hsu, Arkanath Pathak, Abhinav Gupta, James Davidson, Honglak Lee

Learning with Limited Labeled Data: Weak Supervision and Beyond

《学习有限的标记数据：弱监督及其他》

邀请演讲：Ian Goodfellow

Machine Learning on the Phone and other Consumer Devices

《手机及其他消费者设备上的机器学习》

邀请演讲：Rajat Monga

组织者：Hrishikesh Aradhye

作者包括：Suyog Gupta, Sujith Ravi

Optimal Transport and Machine Learning

《最优传输和深度学习》

组织者：Olivier Bousquet

The future of gradient-based machine learning software & techniques

《基于梯度的机器学习软件和技术的未来》

组织者：Alex Wiltschko, Bart van Merriënboer

Workshop on Meta-Learning

《元学习研讨会》

组织者：Hugo Larochelle

Panel成员：Samy Bengio

作者包括：Aliaksei Severyn, Sascha Rothe

论坛：

Deep Reinforcement Learning Symposium

《深度强化学习研讨会》

作者包括：Benjamin Eysenbach, Shane Gu, Julian Ibarz, Sergey Levine

Interpretable Machine Learning

《可解释的机器学习》

作者包括：Minmin Chen

Metalearning

《元学习》

组织者：Quoc V Le

竞赛：

Adversarial Attacks and Defences

《对抗攻击和防御》

组织者：Alexey Kurakin, Ian Goodfellow, Samy Bengio

Competition IV: Classifying Clinically Actionable Genetic Mutations

《竞争IV：临床可操作的基因突变分类》

组织者：Wendy Kan

Tutorial：

Fairness in Machine Learning

《机器学习的公平性》

作者：Solon Barocas, Moritz Hardt

NIPS 2017，新智元智库专家、CMU计算机学院副教授马坚老师将在美国长滩带来现场直播，关注新智元小程序或扫描下方二维码加入直播群，参与直播互动，第一时间了解NIPS前沿资讯。