干货合辑丨《ai open》年度最受欢迎文章 Top 24

“ 编者按：

本研究综述详细总结了构建图神经网络(GNN)模型的“四步”框架并作理论分析，展示了GNN在各学科中常见的应用，并最后提出四个开放性问题，表明了图神经网络的主要挑战和未来研究方向。

本文提出基于人工智能的工具可以直接从受感染病人的序列中预测出药物/肽，有助于针对COVID-19的疫苗设计。

近年来，端到端神经机器翻译(NMT)取得了巨大的成功，成为实用MT系统中新的主流方法。本文首先对NMT的方法进行了广泛的回顾，并重点关注与架构、解码和数据增强有关的方法。另外总结了对研究人员有用的资源和工具并提出未来可能的研究方向。

事件是一种常见但不可忽略的知识类型。如何从文本中识别事件，提取它们的论据，甚至分析不同事件之间的关系，对许多应用都很重要。本文总结了一些构建的以事件为中心的知识图谱，以及近期用于事件和事件关系提取的典型方法，此外还有任务描述、广泛使用的评估数据集和挑战。

本文研究了几乎所有最新的知识图谱表示学习和实体对齐方法，并从不同方面总结了其核心技术和特点，以及对未来工作的几个有希望的研究方向进行了全面的展望。本文还提供了一个高效的实体对齐工具包，希望能够帮助研究人员快速启动他们自己的实体对齐模型。

本文介绍了一个超大规模的中文语料库“悟道“(WuDaoCorpora)，包含约3TB的训练数据和1.08万亿汉字。还发布了“悟道“的基础版本，包含约200GB的训练数据和720亿个汉字。文中实验显示，在这个语料库上训练的模型可以在中文中取得优异的表现。

知识图谱以结构化的方式描述客观世界中的概念、实体及其键的关系，将互联网信息表达成更接近于人类认知世界的形式。其中，知识图谱推理 (knowledge graph reasoning) 则成为支持机器学习应用的基本组件，如信息提取、信息检索和推荐。本综述深入研究了符号推理、神经推理以及混合推理，并对知识图谱推理的未来方向进行探讨。

本文深入研究了预训练(PTMs)的历史，特别是它与迁移学习和自监督学习的特殊关系，以揭示PTMs在人工智能发展谱系中的关键地位。此外还全面回顾了PTMs的最新突破。并探讨了PTMs的一系列开放性问题和研究方向。

本文对网络表示算法(NRL) 进行了详细综述，深入探究和对比了 NRL 每个类别下最先进的算法，并系统地研究了这些算法背后的理论基础，最后还提出了该领域可能的发展方向。

法律人工智能（LegalAI）旨在利用人工智能的技术，特别是自然语言处理（NLP），使法律系统受益。本文发布了基于Longformer的预训练语言模型，命名为Lawformer，用于理解中文法律长文档。本文实验结果表明，该模型能够在以长文档为输入的任务中取得可喜的改进。

本综述全面回顾了用于网络搜索评价的用户行为建模的发展以及不同的基于模型的评价指标的相关工作。从这些指标的概述中，可以看到用户行为的假设和建模方法是如何随着时间的推移而发展的。还展示了比较基于模型的评价指标在建模用户行为和测量用户满意度方面的表现的方法。

本文提出了一种方法，称为Single-Shot Meta-Pruning，用于在微调之前压缩深度预训练的转换器。与现有的预训练模型的压缩方法相比，文中的方法可以减少微调和推断的开销。实验结果表明，我们的方法对下游任务的性能影响不大，甚至可以提供更好的文本表征。

本文调查并总结了现有的研究针对对抗性攻击或图上噪音的鲁棒性深度学习模型的工作且全面地提供了一个分类法，将图上的鲁棒模型分为五类：异常检测、对抗性训练、预处理、关注机制和可认证的鲁棒性。此外本文还强调了在图上学习鲁棒模型的一些有前途的未来方向。

本文发布了中文预训练语言模型（CPM），并在大规模中文训练数据上进行了生成性预训练。CPM拥有26亿个参数和100GB的中文训练数据，是最大的中文预训练语言模型，它可以促进一些下游的中文NLP任务，如对话、文章生成、cloze测试和语言理解。大量的实验表明，CPM在少数次（甚至是零次）学习的设置下，在许多NLP任务上取得了强大的性能。

本文关注的是基于金融文本的股市预测任务，并在文中建议从金融文本中构建一个具有不同粒度信息节点的异质图来完成这一任务。本文提出了一个新的异质神经网络来聚合多粒度的信息。实验结果表明，本文的方法达到了比基准更高的性能。

本文提出了结合离散和连续的表征及其处理对于建立表现出一般形式的智能的系统是至关重要的，提出并讨论了几个途径，这些途径可以通过加入离散元素来改进目前的神经网络，以结合两种类型的表征的优势。

本综述分析了一些现有的研究工作，并对各种消歧工具进行详细的回顾。

本文提出了一个名为 "Coke "的新框架，根据文本上下文动态选择上下文知识并嵌入PLMs的知识上下文，这可以避免KGs中冗余和模糊的知识无法与输入文本匹配的影响。文中实验结果表明，Coke在典型的知识驱动的NLP任务上优于各种基准，表明利用动态知识背景进行语言理解的有效性。除了性能上的提高，Coke中动态选择的知识能够以比传统PLM更容易解释的形式描述文本相关知识的语义。

推荐系统旨在从用户的交互历史识别出用户的偏好，目前已经在工业界得到广泛应用。但是传统静态推荐模型难以解决两个重要的问题。一是用户到底喜欢什么，二是为什么用户喜欢一个物品？因为静态的推荐模型缺乏用户的实时反馈和显式指导。近年来，对话推荐系统正在逐渐解决这两个问题。该文介绍了对话推荐系统(CRS)，总结了CRS中5个关键挑战并对未来有前景的方向进行了展望。

本文探讨了基于度量的元学习在解决少数图分类方面的潜力，强调了在解决方案中考虑结构特征的重要性，并提出了一个新的框架，明确地考虑了输入图的全局结构和局部结构。在GIN基础上的一个实施方案，即SMF-GIN，在两个数据集Chembl和TRIANGLES上进行了测试，其中大量的实验验证了所提方法的有效性。

本文提出了一个简单而直观的SNP变体，即DWIP-SNP，用于微博的用户行为分析。微博中信息传播的基本对象由一个类似的SNP形式化表示。微博网络中的转发、评论、删除和其他用户的行为可以被更直观地观察和进行。然后，DWIP-SNP系统与时间延迟相结合，从生物计算系统的角度表示动态信息扩散。最后，利用微博数据集的信息传播的实际例子来验证该模型的有效性和可行性。本研究中获得的基于DWIP-SNP的传播模型的见解可能对用户行为的理解和其他复杂网络中的信息传播有帮助。

本文用新的增强三元组的到来逐步训练知识图谱(KG)的嵌入，并利用嵌入来验证这些新的三元组。为了保证增强数据的质量，在验证过程中基于传播机制过滤掉了有噪声的三元组。挖掘出来的规则和规则基础是人类可以理解的，并且可以使增强程序可靠。本文的KG增强框架适用于任何KG嵌入模型，不需要修改其嵌入技术。实验表明，本文所提出的框架可以在大多数基准数据集上为现有的KG嵌入模型带来显著的改善。

本文提出了一个新的统一的联合提取模型，应用Bi-LSTM来捕获顺序信息，并在编码部分使用图卷积网络来捕获重要的区域信息。在解码部分，采用多层结构以融合命名实体识别和关系提取之间的双向交互信息。实验结果表明，与其他基准模型相比，我们的模型在这个任务中表现得更好，我们在两个公共数据集上取得了最先进的性能。

变分自编码器(VAE)是当下最流行的生成模型系列之一，它可以被用来刻画数据的分布。经典的期望最大化(EM)算法旨在学习具有隐变量的模型。本质上，VAE 和 EM 都会迭代式地优化证据下界(ELBO)，从而最大化观测数据的似然。本文旨在为  VAE 和 EM 提供一种统一的视角，让具有机器学习应用经验但缺乏统计学背景的读者最快地理解 EM 和 VAE。