投稿/爆料
厂商入驻

ICLR 2018亮点关注:23篇口头报告

论智|2018-01-30 15:06

ICLR 2018亮点关注:23篇口头报告

2018年的深度学习顶级会议ICLR将于4月30日—5月3日在加拿大温哥华正式举办。自去年11月27日论文评选结束后,ICLR 2018收到了981篇有效论文,较上一届的491篇增长了99.8%。近日,ICLR官网公布了2018年会议论文的入选情况:23篇(2.3%)oral paper,314篇(32%)post paper,90篇workshop paper。

编号 Oral Paper 机构
1 AmbientGAN: Generative models from lossy measurements UT-Austin
2 Beyond Word Importance: Contextual Decomposition to Extract Interactions from LSTMs UC Berkeley、Google
3 Zero-Shot Visual Imitation UC Berkeley
4 Variance Reduction for Policy Gradient with Action-Dependent Factorized Baselines UC Berkeley、UW
5 Progressive Growing of GANs for Improved Quality, Stability, and Variation NVIDIA
6 Neural Sketch Learning for Conditional Program Generation Rice
7 Boosting Dilated Convolutional Networks with Mixed Tensor Decompositions -
8 Continuous Adaptation via Meta-Learning in Nonstationary and Competitive Environments CMU、UMASS、OpenAI、UC Berkeley
9 Breaking the Softmax Bottleneck: A High-Rank RNN Language Model CMU
10 Characterizing Adversarial Subspaces Using Local Intrinsic Dimensionality The University of Melbourne
11 Learning to Represent Programs with Graphs Microsoft、SFU
12 Spectral Normalization for Generative Adversarial Networks 日本京都大学、NICT
13 Wasserstein Auto-Encoders -
14 Deep Mean Field Games for Learning Optimal Behavior Policy of Large Populations -
15 Certifiable Distributional Robustness with Principled Adversarial Training Stanford
16 On the insufficiency of existing momentum schemes for Stochastic Optimization -
17 Ask the Right Questions: Active Question Reformulation with Reinforcement Learning Google
18 Spherical CNNs -
19 Emergence of Linguistic Communication from Referential Games with Symbolic and Pixel Input -
20 Training and Inference with Integers in Deep Neural Networks 清华大学
21 Multi-Scale Dense Networks for Resource Efficient Image Classification Cornell University、清华大学
22 Synthetic and Natural Noise Both Break Neural Machine Translation -
23 On the Convergence of Adam and Beyond Google

以下是论智(公众号:jqr_ai)概括整理的23篇oral paper。

AmbientGAN: Generative models from lossy measurements

译名:AmbientGAN:基于有损测量的生成模型

作者:Yi Wu, Yuxin Wu, Georgia Gkioxari, Yuandong Tian

地址:openreview.net/pdf?id=Hy7fDog0b

简介:生成模型提供了一种在复杂分布中对结构进行建模的方法,并在一些实际任务中已经显示出了实用性。然而,目前训练生成模型仍需要完整的观察样本,这在许多情况下代价比较高,甚至是不可能实现的。相比之下,用有噪声的数据会经济实惠的多。

因此我们希望能实现一个隐含的生成模型,它只从有利分布的样本中进行有损测量。即不同于区分真实图像和生成图像的GAN,我们的模型区分的是真实图像的真实测量和生成图像的模拟测量。实验表明,即使在每类样本都有信息丢失的情况下,真实的基本分布也是可以被恢复的。在这个基础上,我们提出这种名为AmbientGAN的生成对抗网络(GANs)。

ICLR 2018亮点关注:23篇口头报告

AmbientGAN,fΘ是模拟随机测量函数

ICLR 2018亮点关注:23篇口头报告

MNIST实验:有损测量样本—生成样本1—生成样本2—AmbientGAN输出

Beyond Word Importance: Contextual Decomposition to Extract Interactions from LSTMs

译名:超越单词重要性:在LSTM中用语境分解推断单词之间的相互作用

作者:W. James Murdoch, Peter J. Liu, Bin Yu

地址:openreview.net/pdf?id=rkRwGg-0Z

简介:近年来LSTM在NLP中取得了长足进展,这主要源于它在学习复杂关系和非线性关系上的优势。但是,我们无法描述它是怎么做到的,因此LSTM也被看作是黑盒子。为了解决这个问题,我们引入语境分解(Contextual Decomposition,CD),这是一种解释算法,通过对循环网络中的更新进行线性化,我们能在不改变基础模型的基础上分析LSTM的单个词语预测,也就是直接从门控动态中提取单词重要性信息并推断单词与单词之间的相互作用。

在Yelp和SST数据集的情感分析任务上,我们发现CD可以准确识别对比不同情绪下词汇和短语重要性的异同,以及它们是如何组合以产生LSTM最终预测的。

ICLR 2018亮点关注:23篇口头报告

只有CD捕捉到了favorite是最积极的

Zero-Shot Visual Imitation

译名:Zero-Shot视觉模仿

作者:Deepak Pathak, Parsa Mahmoudieh× , Michael Luo, Pulkit Agrawal, Dian Chen, Fred Shentu, Evan Shelhamer, Jitendra Malik, Alexei A. Efros, Trevor Darrell

地址:openreview.net/pdf?id=BkisuzWRW

简介:这是一个关于强化学习和机器人模仿学习的研究。现有的模仿学习方法能从专家(演示者)示范动作中提取“做什么”(目标)、“如何做”(技能)等信息,这些知识是有效的,同时也是代价不菲的,因为收集足够多的详细示范并不总是实际可行。为此,我们提出一种名为“Zero-Shot视觉模仿”的方法,能让智能体(机器人)在没有专家、示范数据的情况下从自己的经验中学习技能,并依靠专业知识完成任务。

这个方法的核心是使用了一个学习参数技能函数(PSF),该参数技能函数将初始状态、目标状态、技能参数的描述作为输入,并输出一系列从初始状态到目标状态的动作(可以具有不同的长度)。这些随机的智能体是通过探索策略空间来学习通用技能的,它们能在没有任何特定预训练的情况下完成新任务。

ICLR 2018亮点关注:23篇口头报告

机器人打绳结实验

Variance Reduction for Policy Gradient with Action-Dependent Factorized Baselines

译名:用动作依赖型因子化基线降低策略梯度的方差

作者:Cathy Wu, Aravind Rajeswaran, Yan Duan, Vikash Kumar, Alexandre M Bayen, Sham Kakade, Igor Mordatch, Pieter Abbeel

地址:openreview.net/pdf?id=H1tSsb-AW

简介:策略梯度在深度强化学习中取得了巨大成功,但在梯度估计上仍存在高方差的问题。如果任务的动作空间非常大,或者是高维的,高方差会使它变得很棘手。为了缓解这个问题,我们提出了一种无bias的、依赖于动作的基线来降低方差,它充分利用了随机策略本身的结构形式,且没有对MDP做任何额外的假设。实验结果表明,与策略梯度常用的状态依赖型基线相比,动作依赖型基线可以没有bias,而且能更有效地降低方差。

ICLR 2018亮点关注:23篇口头报告

维度越高,动作依赖型基线(绿)比状态依赖型基线(蓝)减少的方差越多

Progressive Growing of GANs for Improved Quality, Stability, and Variation

译名:性能更强、稳定性更好、多样性更丰富的渐进式GAN

作者:Tero Karras, Timo Aila, Samuli Laine, Jaakko Lehtinen

地址:openreview.net/pdf?id=Hk99zCeAb

简介:本文介绍了一种用于训练GAN的新技术,它的关键思想是循序渐进、层层发展。渐进式GAN要求生成器和鉴别器先从低分辨率的图像开始,随着训练的进行逐步增加生成器中的层数和鉴别器输出图像的分辨率,以此模拟日益精细的细节。实验证明,这种方法既加快了训练速度,又大大稳定了训练过程,且生成图像的质量非常高。

ICLR 2018亮点关注:23篇口头报告

从4×4的图片开始训练,逐步增加层数和图像像素,最后到1024 × 1024(N × N)

ICLR 2018亮点关注:23篇口头报告

CELEBA-HQ数据集:左(6图)为渐进式GAN生成的图像;右(2图)为Marchesi等人用GAN生成的图像

Neural Sketch Learning for Conditional Program Generation

译名:用于条件程序生成的神经草图学习

作者:Vijayaraghavan Murali, Letao Qi, Swarat Chaudhuri, Chris Jermaine

地址:openreview.net/pdf?id=HkfXMz-Ab

简介:本文探讨的是如何基于草图方法让神经网络生成条件程序代码,即实现编程自动化。和其他领域的一些创新思路相同,本文的创新之处在于用程序抽象捕捉结构从不完整描述(草图)中提取关键特征,如类型说明和方法,丢弃不可概括的特定信息,如变量名称,来生成/推理JAVA类语言代码。

ICLR 2018亮点关注:23篇口头报告

BAYOU的应用场景

Boosting Dilated Convolutional Networks with Mixed Tensor Decompositions

译名:用混合张量分解推进空洞卷积网络

作者:Nadav Cohen, Ronen Tamari, Amnon Shashua

地址:openreview.net/pdf?id=S1JHhv6TW

简介:迄今为止,深度学习的理论优势已经集中在“表现概率”的概念上,也就是一个神经网络如果要复制另一个高效神经网络的性能,它必须变得更大。本文提出了一种不同的思路,即研究神经网络之间的连通性。以WaveNet为例,实验表明如果卷积神经网络在不同阶段(通过混和张量分解来形式化)把两个空洞卷积网络A和B联通在一起,它们会比彼此独立更有效率。

ICLR 2018亮点关注:23篇口头报告

(a)两棵独立的树及其可用于混合分解的混合节点;(b)混合空洞卷积网络中这些节点的组合

Continuous Adaptation via Meta-Learning in Nonstationary and Competitive Environments

译名:在非平稳和竞争环境中通过元学习实现连续适应

作者:Maruan Al-Shedivat, Trapit Bansal, Yura Burda, Ilya Sutskever, Igor Mordatch, Pieter Abbeel

地址:openreview.net/pdf?id=Sk2u1g-0-

简介:本文提出了一种基于梯度的元学习方法,能用于非平稳和竞争环境下的连续适应。它的主要想法是把一个非平稳任务看作是一系列固定任务,训练智能体利用这些连续任务之间的依赖关系,在测试期间处理非平稳状态。

我们把这个方法应用于非平稳运动中,并设置了多个智能体。对于后者,我们设计了一个多智能体竞争环境RoboSumo,让智能体逐渐适应与实现已经经过大量训练、实力越来越强的对手进行竞争,测试各种适应策略。实验证明,元学习比策略基线效果更好,用了元学习的智能体在竞争迭代中性能更佳。

ICLR 2018亮点关注:23篇口头报告

各智能体评分,元学习(-meta)智能体总体水平更高

Breaking the Softmax Bottleneck: A High-Rank RNN Language Model

译名:打破Softmax瓶颈:一个高等级的RNN语言模型

作者:Zhilin Yang, Zihang Dai, Ruslan Salakhutdinov, William W. Cohen

地址:openreview.net/pdf?id=HkwZSG-CZ

简介:语言模型是许多NLP任务的重要组成部分。我们将语言建模作为一个矩阵分解问题,发现基于Softmax的模型(包括大多数神经语言模型)的表达存在瓶颈限制,即受到词嵌入的维数限制,因此无法灵活、完整描述语言的复杂性。鉴于自然语言是高度依赖于上下文的,这也意味着在实践中,Softmax与分布式词嵌入并没有足够的能力来建模自然语言。

因此,我们建议混合softmax的输出层,获得一个可以体现线性复杂度的全秩逻辑矩阵,将语言模型转化为矩阵分解。实验证明,我们的MoS模型大大提升了语言模型在PTB和wikitext2数据集的word-level perplexity,还提高了它的BLEU评分。

ICLR 2018亮点关注:23篇口头报告

在Switchboard上的评分

Characterizing Adversarial Subspaces Using Local Intrinsic Dimensionality

译名:利用LID表征对抗子空间

作者:Xingjun Ma, Bo Li, Yisen Wang, Sarah M. Erfani, Sudanthi Wijewickrema, Grant Schoenebeck, Michael E. Houle, Dawn Song, James Bailey

地址:openreview.net/pdf?id=B1gJ1L2aW

简介:近期DNN被证明会受对抗样本干扰,从而出现预测错误的问题。为了更好地理解其中的原理,我们提出了一个猜想——内在维度可以被作为区分对抗样本和正常样本的一个指标,因为前者的维度比后者的要高得多。

这也是我们提出的一种特殊的对抗方式——局部内在维度(LID),通过在MNIST、CIFAR10和SVHN进行的实验,我们证实了猜想的正确性,并发现用这种方法生成的对抗样本训练后,模型能获得更高的预测准确率。

ICLR 2018亮点关注:23篇口头报告

不同方法的AUC评分,评分越高,结果越好

Learning to Represent Programs with Graphs

译名:学习用图形来表示程序

作者:Miltiadis Allamanis, Marc Brockschmidt, Mahmoud Khademi

地址:openreview.net/pdf?id=BJOFETxR-

简介:目前已经有一些项目开始注意到用神经网络生成源代码,但它们中的大多数还在沿用自然语言那一套,并没有基于编程语言本身做过探索。我们在论文中提出了一种用图形来表示代码句法和语义结构的方法,用图像深度学习方法来学习对程序结构的做inference。

它的核心思想是将一个程序表示为一个图形神经网络(GGNN),以图形形式作为输入,并训练GGNN做出依赖于语义上下文的标记级预测。文章中列了两个实验任务,一是识别变量的使用,即判断变量是否被正确使用;二是通过其上下文语义预测变量的名称。

ICLR 2018亮点关注:23篇口头报告

Spectral Normalization for Generative Adversarial Networks

译名:生成对抗网络的谱归一化

作者:Takeru Miyato, Toshiki Kataoka, Masanori Koyama, Yuichi Yoshida

地址:openreview.net/pdf?id=B1QRgziT-

简介:训练不稳定至今仍是GANs的一个重大挑战。本文提出了一种新型权值归一化(weight normalization)技术——谱归一化(spectral normalization),能让判定器训练更加稳定。这是一种轻量化、易实现的方法,团队用CIFAR10、STL-10以及ILSVRC2012的数据集对它进行了测试,实验证明,谱归一化生成对抗网络(SN-GANs)能比以往提出的稳定方法生成质量更高,或者至少是质量相当的图像。

ICLR 2018亮点关注:23篇口头报告

测试情况汇总

Wasserstein Auto-Encoders

译名:Wasserstein自动编码器

作者:Ilya Tolstikhin, Olivier Bousquet, Sylvain Gelly, Bernhard Schoelkopf

地址:openreview.net/pdf?id=HkL7n1-0b

简介:本文提出了一种为生成模型构建数据分布(压缩数据)的新算法——Wasserstein Auto-Encoder(WAE)。不同于只遵循一个标准正态分布的变分自动编码器(VAE),WAE将模型分布与目标分布之间的Wasserstein距离的惩罚最小化,从而产生多个不同的正态分布,并以此鼓励编码器的训练分布向以前的分布靠拢。我们将我们的算法与其他几种方法进行了比较,发现WAE具有许多VAE的优秀特性,同时能产生质量更高的样本。

ICLR 2018亮点关注:23篇口头报告

Deep Mean Field Games for Learning Optimal Behavior Policy of Large Populations

译名:用于学习大群体最优行为策略的深度平均场博弈

作者:Jiachen Yang, Xiaojing Ye, Rakshit Trivedi, Huan Xu, Hongyuan Zha

地址:openreview.net/pdf?id=HktK4BeCZ

简介:本文将马尔可夫决策过程的经典语境下的平均场博弈与强化学习理论相结合。该方法建议使用反向RL从数据中学习MFG的回报函数和前向动态,其效果在社交媒体数据上得到证明。

ICLR 2018亮点关注:23篇口头报告

Certifiable Distributional Robustness with Principled Adversarial Training

译名:用原则对抗训练证明分布鲁棒性

作者:Aman Sinha, Hongseok Namkoong, John Duchi

地址:openreview.net/pdf?id=Hk6kPgZA-

简介:神经网络容易受对抗样本影响,因此研究人员提出了许多启发式的攻击和防御机制。本文的贡献是提出了一种采用分布式鲁棒优化原则的观点,它能稳定模型在输入对抗样本后的性能。通过在Wasserstein ball中的潜在数据分布上添加一个拉格朗日惩罚项,我们用训练数据中扰动最强烈的数据训练网络,并更新模型参数。而为了使loss更加平滑,我们用了一个可以实现中等鲁棒性的程序,并把统计成本和计算风险降到最低。我们的实验证明,这种方法优于现行的分布式方法。

ICLR 2018亮点关注:23篇口头报告

On the insufficiency of existing momentum schemes for Stochastic Optimization

译名:分布式优化中现有动量scheme的不足

作者:Rahul Kidambi, Praneeth Netrapalli, Prateek Jain, Sham M. Kakade

地址:openreview.net/pdf?id=rJTutzbA-

简介:在实践中,基于动量的随机梯度方法,如重球(HB)和Nesterov的加速梯度下降(NAG)被广泛应用于深层神经网络和监督学习模型,因为它们相较于随机梯度下降(SGD)效果更好。从理论上来说,使用这些动量随机梯度法的一个前提是梯度是精确已知的,但如果把它们用于随机环境时,因为事先模拟了已知的梯度,它们应该也能完成预测。但本文的结果表明,当没有精确梯度数据时,无论参数设置地多好,HB和NAG都无法媲美SGD。

ICLR 2018亮点关注:23篇口头报告

HB、NAG、SGD的loss表现

Ask the Right Questions: Active Question Reformulation with Reinforcement Learning

译名:正确提问:用强化学习重建问题描述

作者:Christian Buck, Jannis Bulian, Massimiliano Ciaramita, Wojciech Gajewski, Andrea Gesmundo, Neil Houlsby, Wei Wang.

地址:openreview.net/pdf?id=S1CChZ-CZ

简介:时至今日,虽然自动问答系统已不鲜见,如用户可以选择或输入问题向智能机器人询问套餐服务,但很多时候输入的内容会因表意不清、语法混乱、句式过于丰富等情况无法被机器人理解,这就导致系统效率十分低下。在这篇文章中,我们把问答作为一个强化学习任务,希望实现一个主动问答系统。我们通过训练一个介于用户和问答黑盒之间的智能体,让它接收用户的提问,并重新组织问题的形式以获得更好地回答。

ICLR 2018亮点关注:23篇口头报告

Spherical CNNs

译名:球形CNN

作者:Taco S. Cohen, Mario Geiger, Jonas Köhler, Max Welling

地址:openreview.net/pdf?id=Hkbd5xZRb

简介:本文提出了一种基于几种现有概念的新颖综合构造球形卷积网络框架,它的目标是无论图像如何旋转,它都能检测到其中的完整信息。也就是说,它的重点是如何扩展卷积神经网络,使之具有内置的球形旋转不变性特征。

ICLR 2018亮点关注:23篇口头报告

Emergence of Linguistic Communication from Referential Games with Symbolic and Pixel Input

译名:从象征和像素输入参照博弈看语言交际的生成

作者:Angeliki Lazaridou, Karl Moritz Hermann, Karl Tuyls, Stephen Clark

地址:openreview.net/pdf?id=HJGv1Z-AW

简介:本文分析了基于神经网络的智能体进行简单参照博弈的通信系统。博弈双方是说话者和听众,两人都能看到一组指示物(符号、简单图像),其中说话者需要产生一条由数字构成的消息,听众则要根据数字消息判断对方意图指向那个选择。这类实验已经被许多人用过,但本文的主要创新之处在于博弈双方的选择是基于LSTM和卷积神经网络的。

ICLR 2018亮点关注:23篇口头报告

Training and Inference with Integers in Deep Neural Networks

译名:在深层神经网络中进行整数的训练和推理

作者:Shuang Wu, Guoqi Li, Luping Shi, Feng Chen

地址:openreview.net/pdf?id=HJGXzmspb

简介:在这篇文章中,我们开发了一种名为“WAGE”的新方法来对训练和推理进行离散化处理。其中,层间的权重(W)、激活(A)、梯度(G)和误差(E)被移位被移位和线性约束
到低位整数。为了实现对定点设备的纯粹的离散数据流,我们进一步用一个常数标度层代替了批量标准化,并且简化了其他一些整数实现繁琐的元件。实验证明,这种做法可以使模型在多个数据集上获得更高的精度。

ICLR 2018亮点关注:23篇口头报告

Multi-Scale Dense Networks for Resource Efficient Image Classification

译名:用于高效分类图像的多尺度密集网络

作者:Gao Huang, Danlu Chen, Tianhong Li, Felix Wu, Laurens van der Maaten, Kilian Weinberger

地址:openreview.net/pdf?id=Hk2aImxAb

简介:本文介绍了一种新的模型,能在规定时间内用有限的计算资源进行图像分类。该模型基于一个类似神经网络的多尺度卷积神经网络,但增加了DenseNet的密集连接,通过沟通网络降低计算量。同时,它训练了多个具有不同资源需求的分类器,能最大限度地重用分类器之间的计算。

ICLR 2018亮点关注:23篇口头报告

Synthetic and Natural Noise Both Break Neural Machine Translation

译名:用合成和自然噪声破解神经机器翻译

作者:Yonatan Belinkov, Yonatan Bisk

地址:openreview.net/pdf?id=BJ8vJebC-

简介:基于字符的神经机器翻译(NMT)模型缓解了词汇量不足的问题,让我们离真正的端到端机器翻译系统更近一步,但不幸的是,它也很容易出现噪声数据。为了缓解这个问题,本文提出了一种用合成的和自然的噪音源对抗NMT模型的方法,提高了模型的鲁棒性。

ICLR 2018亮点关注:23篇口头报告

On the Convergence of Adam and Beyond

译名:论Adam与外在的融合

作者:Sashank J. Reddi, Satyen Kale, Sanjiv Kumar

地址:openreview.net/pdf?id=ryQu7f-RZ

简介:RMSProp、Adam、Adadelta和Nadam等都是如今流行的随机优化方法,本文围绕Adam展开,并给出了三个贡献:一是它发现了Adam证明收敛的证明是错误的;二是它提出了Adam收敛到最差解的一些例子,从反面证明Adam有时无法收敛到最优解;三是它提出了一个名为AMSGrad的Adam变体,它修正了以上这些问题,在实验中表现良好。

ICLR 2018亮点关注:23篇口头报告

原文地址:openreview.net/group?id=ICLR.cc/2018/Conference

机器人网原创文章,未经授权禁止转载。详情见转载须知

本文来自机器人之家,如若转载,请注明出处:https://www.jqr.com/article/000029
爆料投稿,欢迎投递至邮箱:service@jqr.com
机器学习深度学习
推荐阅读

最新评论(0

暂无回帖,快来抢沙发吧

评论

游客
robot
发布需求
联系客服联系客服
robot
联系客服