jackfromeast's blog

Tags · 自然语言处理
自然语言处理

系列解读共指消解(一): 基于神经网络的表征学习引入

简介: 本文是作者对近年来基于深度学习的实体指代消解工作的梳理与总结,共包含4个阶段以及若干篇本领域优秀的论文。第一阶段为2015年之后,由Wiseman等人开启的基于神经网络的共指消解特征表征学习的解决方案。其中包括对现工作影响非常大的由Lee等人发表的端到端共指消解模型、高阶推理以及由粗到细的筛选。

Read more
自然语言处理

系列解读共指消解(二): BERT系列模型入场

随着2018年大规模预训练模型BERT席卷各项NLP任务成为最佳模型,2019年Joshi et al. 使用BERT代替原有词嵌入以及基于BiLSTM的上下文提取方法生成文本跨度的表征向量,并在基线数据集上的表现有了大幅度的提高。由于文本跨度表示在共指消解任务中的重要地位,Joshi于同年发布更适用于共指消解等跨度边界敏感任务的SpanBERT,该模型相比于原BERT模型达到了更好的效果。此外,来自清华大学的团队于2020年发布的以共指消解作为BERT模型训练任务的corefBERT也有着优异的表现。

Read more