Pelhans Blog

道阻且长,行则将至

命名实体识别

[笔记] 综述 A Survey on Deep Learning for Named Entity Recognition

* TOC {:toc} # 摘要 **命名实体识别(NER)的任务是识别 mention 命名实体的文本范围,并将其分类为预定义的类别,例如人,位置,组织等**。NER 是各种自然语言应用(例如问题解答,文本摘要和机器翻译) 的基础。尽管早期的NER系统有着较好的识别精度,但是却严重依赖精心设计规则,需要大量的人力取整理和设计。近年来, 随着深度学习的使用, 使得 NER 系统的精度获...

实体链接(一)

翻译 Entity Linking with a Knowledge Base: Issues, Techniques, and Solutions

> 多读书, 多看报,多吃零食, 多睡觉. * TOC {:toc} # 摘要 将Web数据与知识库连接起来的大量潜在应用程序导致了实体链接研究的增加。实体链接是将文本中提到的实体与其知识库中相应的实体链接起来的任务。潜在的应用包括信息提取、信息检索和知识库填充。但是,由于名称的变化和实体的模糊性,此任务具有挑战性。在本次调查中,我们对实体链接的主要方法进行了全面的概述和分析,并讨论了...

关系抽取(二)

Enriching Pre-trained Language Model with Entity Information for Relation Classification

> 多读书, 多看报,多吃零食, 多睡觉. * TOC {:toc} # 论文概览 论文链接: [Enriching Pre-trained Language Model with Entity Information for Relation Classification](https://arxiv.org/abs/1905.08284?context=cs) ## 论文要解决的...

关系抽取(一)

Neural Relation Extraction with Selective Attention over Instances

> 多读书, 多看报,多吃零食, 多睡觉. * TOC {:toc} # 论文概览 论文链接: [Neural Relation Extraction with Selective Attention over Instances](https://www.aclweb.org/anthology/P16-1200) ## 论文要解决的问题是什么 远程监督生成的关系抽取数据集噪声比...

深度学习笔记(十四)

Normalization 总结

* TOC {:toc} # 什么是 Normalization 在将数据送入下一层神经网络之前,先对其做平移和伸缩变换,将x的分布规范化成再固定区间范围得标准分布. 通用公式为: $$ h = f(g*\frac{x-\mu}{\sigma} + b) $$ 1) 其中 $\mu$ 是均值,表示平移参数, $\sigma$ 为方差,表示缩放参数. 通过这两个参数进行缩放和平移后,...

深度学习笔记(十三)

BERT

> 眼睛看过只是别人的,整理出来并反复学习才是自己的。 * TOC {:toc} # 概述 最近开始做关系抽取相关的任务,因为BERT 现在势头很猛所以一直想试一下,同时还可以学学 Transformer 的用法细节。这篇主要记录 BERT 的原理等,下一篇介绍下用 BERT + CNN 做关系抽取。如有错误,还请大佬指出。 BERT 是 Bidirectional Encoder ...

关系抽取笔记

综述翻译 Relation Extraction: A Survey

> 论文 [Relation Extraction: A Survey](https://www.jianguoyun.com/p/DYDkXgAQq_6CBxib4boB) 的中文翻译,并对其中提到的模型进行补充。 # 摘要 随着互联网的出现,每天都会以新闻文章,研究出版物,博客,问答论坛和社交媒体的形式产生大量的文本。开发从这些文档中自动提取信息的技术是非常重要的,因为许多重要信息都...

深度学习笔记(十二)

Glove

* TOC {:toc} # 概述 Glove 是 Global Vectors 的缩写,是一种词向量训练方法。作者认为传统基于 SVD 的 word-word 共现计数模型的优点是利用了全局统计信息,训练速度快,但缺点是对高频词汇较为偏向,并且仅能概括词对间的相关性,对语义信息表示的并不好。同时我们常用的 word2vec 虽然对语义信息表示的更好,但是没有包含更多的统计信息。因此就想...

深度学习笔记(十一)

Word2Vec

* TOC {:toc} # 概述 Word2Vec 是谷歌的分布式词向量工具。使用它可以很方便的得到词向量。Word2Vec 分别使用两个模型来学习词向量,一个是 CBOW(Continuous bag-of-word),另一个是 Skip-gram模型。 CBOW 模型是指根据上下文来预测当前单词。而Skip-gram 是根据给定的词去预测上下文。所以这两个模型的本质是让模型去学习...

深度学习笔记(十)

Attention 基础

* TOC {:toc} # 什么是 Attention 在传统的 encoder-decoder 模型中,encoder 读取输入的句子将其转换为一个定长的向量,然后decoder 再将这个向量解码为对应的输出。然而,此时信息被压缩到一个定长的向量中,内容比较复杂,同时对于较长的输入句子,转换成定长向量可能带来一定的损失,因此随着输入序列长度的上升,这种结构的效果面临着挑战。 Atte...