《RAPL: A Relation-Aware Prototype Learning Approach for Few-Shot Document-Level Relation Extraction》阅读笔记

1. 为了构建目标关系类型的原型，它们将所有具有该关系的实体对的表示聚合在一起，但这些实体对可能同时具有其他关系，导致原型的混淆。
2. 它们在所有任务中使用同一组通用的非上述(none-of-the-above，NOTA)原型，忽视了不同任务中目标关系类型对NOTA语义的影响。

1. 一个实体对在一个文档中可能有多个关系，如果用支持集中的实体对表示来聚合生成关系原型，那么原型就会混杂了其他无关的关系信息，导致度量空间中的关系难以区分，如图2(a)所示。
2. 由于大部分查询实体对并不涉及任何目标关系，因此 NOTA也被当作一个类别。考虑到不同任务的目标关系类型有所差异，如果只是用一组可学习的向量作为 NOTA 原型，并且在所有任务中通用，这种“一刀切”的策略可能会使 NOTA 原型偏离理想的 NOTA 语义，从而导致分类的混淆。如图 2(a) 所示，一组通用的 NOTA 原型在任务 1 中看起来还可以，但是在任务 2 中就不太合适。

1. 首先，以前的方法很难与对比目标相结合，因为它们只能得到成对的支持向量。实体对的多标签性质使得合理地定义正负对很困难。
2. 其次，通过引入关系间的相似性，这种对比损失更加注重将语义上接近的关系的实例向量分开，从而有助于更好地区分相应的关系原型。

3.3 Relation-Aware NOTA Prototype Learning

由于大多数查询实体对没有任何目标关系，所以NOTA也被视为一个类别。现有的方法通常学习一组通用的NOTA原型，用于所有的任务，但这在某些任务中可能不是最优的，因为NOTA的语义在不同的目标关系类型的任务中是不同的。为此，本文提出了一种任务特定的NOTA原型生成策略，以更好地捕捉每个任务中的NOTA语义。具体来说，本文首先引入一组可学习的向量

 ，其中

是一个超参数。与之前的工作不同，本文不直接将这组向量作为NOTA原型，而是将它们视为需要在每个任务中进一步修正的基础NOTA原型。由于支持文档的标注是完整的，可以得到一个支持NOTA分布，它隐含地表达了NOTA的语义。因此，可以利用支持NOTA实例来捕捉每个特定任务中的NOTA语义。对于一个支持NOTA实例

，使用等式2作为实例级别的注意力，并根据等式6~8得到实例表示 

。将所有的支持NOTA实例的集合记为

，为每个基础NOTA原型

自适应地选择一个NOTA实例：

这个等式找到了一个与基础NOTA原型最接近，而与关系原型最远的NOTA实例。然后，将它与

融合，得到最终的NOTA原型

：

其中

是一个超参数。通过这种方式，可以获得一组特定于任务的NOTA原型，这些原型不仅包含了元学习的一般知识，而且隐含地捕获了每个特定任务中的NOTA语义。

3.4 Training Objective

给定查询文档中的一个实体对

，使用等式2作为实体对级别的注意力，并采用类似于等式6~8的方法得到实体对的表示

。对于每个目标关系类型

，计算

的概率为：

其中

。然后，将查询文档中的所有实体对的集合记为

，计算分类损失为：

如果

之间存在关系

，则

；否则

。总的损失定义为：

其中

是一个超参数。在推理过程中，如果

，就提取查询文档中的关系实例

。

4.1 Benchmarks and Evaluation Metric

使用的数据集：

与 Popovic 和 Färber (2022) 一致，使用宏 F1 来评估整体性能。

4.2 Baselines

本文的方法与四种基于FREDo的基线方法进行比较：

此外，本文还评估了有监督的 DocRE 模型，它通过在整个训练语料上学习并在支持集上微调。在这里，选择 KDDocRE 作为最先进的公开可用的有监督的 DocRE 方法。为了公平的比较，遵循 Popovic and Färber (2022) 的方法，使用 BERT-base作为本文方法的编码器。

 

 

4.3 Main Results

表 2 显示了RAPL在 FREDo 和 ReFREDo 上的主要结果。

从实验结果可知：

4.4 Ablation Study

本文在ReFREDo上进行了消融实验，以探究RAPL每个模块的影响。具体来说，

平均结果如表 3 所示。可以观察到，与 RAPL 相比，“−RCL”和“−TNPG”模型的性能有不同程度的下降，“−IBPC−RCL”模型的性能甚至比“−RCL”还要差，这证明了每个模块的有效性。此外，在对级上整合对比目标并没有带来显著的改进，这表明了学习实例级支持嵌入的重要性。

4.5 Analyses and Discussions

Effect of Hyperparameters.

本文研究了不同超参数对RAPL性能的影响。本文在 ReFREDo 数据集上的 3-Doc 任务中进行了实验。如图 4 所示，可以观察到：

Support Embeddings Visualization.

为了直观地展示RAPL的优势，本文从ReFREDo数据集的领域内3-Doc测试语料中选择了三种语义相近的关系类型，并为每种关系类型采样了十个支持实例，然后使用

进行可视化 (Van der Maaten和Hinton, 2008)，如图 5 所示。除了消融实验中的两种模型变体，本文还尝试了

，它用有监督的对比损失 (Khosla等人, 2020; Gunel等人, 2021) 替换了实例级的关系加权对比损失。由于一些实体对同时表达了“部分”和“成员”关系，或者“部分”和“子类”关系，本文只在图 5(a) 中可视化了

的“部分”关系。可以观察到，由 RAPL−RCL 学习的支持实例嵌入改善了

学习的支持对嵌入，证明了实例级嵌入对于关系原型构建的有效性。此外，尽管引入实例级的有监督对比目标形成了更紧凑的聚类，但三种关系类型之间的区分度仍然不足。如图 5(d) 所示，本文提出的关系加权对比学习方法更好地区分了三种关系类型。

Performance vs. NOTA Rate of Episodes.

本文进一步探索了任务特定的 NOTA 原型生成策略对性能提升的影响。根据每个测试样本的 NOTA 比率，即查询文档中 NOTA 实体对与总实体对数的比例，将 ReFREDo 数据集的领域内 3-Doc 测试样本划分为不相交的子集。建立了四个子集，分别对应 NOTA 比率在 [0%,95%)，[95%, 97%)，[97%, 99%) 和 [99%, 100%] 区间内的情况。然后在每个子集上评估了使用或不使用任务特定的 NOTA 原型生成策略训练的模型。实验结果如表 4 所示。可以观察到，任务特定的 NOTA 原型生成策略在每个子集上都带来了改进。更重要的是，随着 NOTA 比率的增加，性能提升也越大。这表明，任务特定的 NOTA 原型生成策略有助于捕捉 NOTA 语义，从而生成更好的 NOTA 表示，尤其是在那些涉及更多 NOTA 查询对的测试样本中。

 

 

Performance vs. Number of Support Relation Instances.

本文还分析了支持关系实例数对总体性能的影响。在 ReFREDo 基准数据集的领域内 3-Doc 任务上进行了实验。对于每个测试样本中的每种关系类型，计算了该样本中该关系类型的支持实例数。这里将支持实例数划分为 10 个类别，其中前 9 个类别对应于 1 到 9，最后一个类别对应于支持实例数大于或等于 10 的情况。然后在这些类别上评估了 RAPL 方法的性能，如图 6 所示。可以观察到，RAPL 的性能随着支持关系实例数的增加而呈现出上升趋势，但在某些点也出现了波动。这表明，所提出的方法具有一定的可扩展性，但性能可能不是完全正相关于支持关系实例数。

Preliminary Exploration of LLM for FSDLRE.

近期，大型语言模型（LLM）通过在上下文学习的方式，在许多少样本任务上取得了令人鼓舞的结果。也有一些工作专注于利用 LLM 解决少样本信息抽取问题。然而，大多数研究主要针对句子级任务。因此，本文使用 gpt-3.5-turbo3 进行了一个初步实验，探索 LLM 在 FSDLRE 任务上的性能。由于输入长度的限制，本文只在1-Doc 设置下进行实验。本文从 ReFREDo 的领域内测试样本中随机选择了 1000 个样本，并设计了一个包含任务描述、示例和查询的在上下文学习提示模板（详见附录 C）。实验结果显示，gpt-3.5-turbo 只达到了 12.98% 的宏 F1，甚至低于一些基线方法。虽然这个测试可能无法充分反映 LLM 的能力，但本文认为 FSDLRE 仍然是一个具有挑战性的问题，即使在 LLM 的时代。

Sentence-Level Relation Extraction.

......

Document-Level Relation Extraction.

大多数现有的 DocRE 研究都基于数据驱动的监督学习场景，通常可以分为基于图的方法和基于序列的方法。基于图的方法通常通过图结构来抽象文档，并用图神经网络进行推理。基于序列的方法用纯粹的Transformer架构来编码长距离的上下文依赖。这两类方法在 DocRE 任务上都取得了令人印象深刻的结果。然而，这些方法都依赖于大规模的标注文档，这使得它们难以适应低资源的场景。

Few-Shot Document-Level Relation Extraction.

为了解决现实中 DocRE 场景中普遍存在的数据稀缺问题，Popovic 和 Färber（2022）将 DocRE 任务转化为少样本学习任务。为了完成这个任务，他们提出了多种基于度量的模型，这些模型都是基于最先进的监督式 DocRE 方法和少样本句子级关系抽取方法构建的，目的是适应不同的任务设置。而对于一个有效的基于度量的 FSDLRE 方法，每个类别的原型应该准确地捕捉相应的关系语义。然而，这对于现有的方法来说是具有挑战性的，因为他们的关系原型学习策略是粗粒度的，而且他们的“一刀切”的 NOTA 原型学习策略也不合理。在这项工作中，本文提出了一种关系感知的原型学习方法，以更好地捕捉原型表示中的关系语义。

本文提出了RAPL，这是一种 用于FSDLRE的新颖的关系感知原型学习方法。本文将关系原型的构建重新定义为实例级别，并进一步提出了一种关系加权对比学习方法，来共同优化关系原型。此外，本文设计了一种任务特定的NOTA原型生成策略，以更好地捕捉每个任务中的NOTA语义。实验结果和进一步的分析证明了本文方法的优越性和每个组件的有效性。在未来的工作中，本文想要将该方法迁移到其他少样本文档级信息抽取任务，例如少样本文档级事件论元抽取，它与FSDLRE具有相似的任务结构。

首先，引入关系编码器和寻找支持NOTA实例的过程增加了内存和时间的开销。其次，假设实体信息应该被指定可能影响方法的鲁棒性（Liu等人，2022b）。在有监督的场景中，一些最近的DocRE研究探索了联合实体和关系抽取，以避免这个假设（Eberts和Ulges，2021；Xu和Choi，2022；Zhang等人，2023）。本文认为，在少样本场景中，研究端到端的DocRE是有益的，RAPL方法可能为未来的工作提供一些启示。最后，RAPL在跨领域任务上的性能提升低于在领域内任务上的性能提升。一个未来的研究方向是探索提高跨领域任务性能的技术，例如数据增强（Hu等人，2023c）和结构化知识引导（Liu等人，2022a；Ma等人，2023a）。