Pelhans 的博客

命名实体识别论文笔记

* TOC {:toc} # 概览命名实体识别（NER）的任务是识别 mention 命名实体的文本范围，并将其分类为预定义的类别，例如人，位置，组织等。NER 是各种自然语言应用（例如问题解答，文本摘要和机器翻译) 的基础。早起 NER 的研究是基于规则的，大家根据一些实体字典和词形等规则进行实体识别，比如 "199x-xx-xx"的大概率是时间。后来开始采用机器学习的方法，比如...

Posted by Pelhans on September 28, 2019

命名实体识别

[笔记] 综述 A Survey on Deep Learning for Named Entity Recognition

* TOC {:toc} # 摘要 **命名实体识别（NER）的任务是识别 mention 命名实体的文本范围，并将其分类为预定义的类别，例如人，位置，组织等**。NER 是各种自然语言应用（例如问题解答，文本摘要和机器翻译) 的基础。尽管早期的NER系统有着较好的识别精度，但是却严重依赖精心设计规则，需要大量的人力取整理和设计。近年来, 随着深度学习的使用, 使得 NER 系统的精度获...

Posted by Pelhans on September 23, 2019

实体链接（一）

翻译 Entity Linking with a Knowledge Base: Issues, Techniques, and Solutions

> 多读书, 多看报,多吃零食, 多睡觉. * TOC {:toc} # 摘要将Web数据与知识库连接起来的大量潜在应用程序导致了实体链接研究的增加。实体链接是将文本中提到的实体与其知识库中相应的实体链接起来的任务。潜在的应用包括信息提取、信息检索和知识库填充。但是，由于名称的变化和实体的模糊性，此任务具有挑战性。在本次调查中，我们对实体链接的主要方法进行了全面的概述和分析，并讨论了...

Posted by Pelhans on August 16, 2019

关系抽取（二）

Enriching Pre-trained Language Model with Entity Information for Relation Classification

> 多读书, 多看报,多吃零食, 多睡觉. * TOC {:toc} # 论文概览论文链接: [Enriching Pre-trained Language Model with Entity Information for Relation Classification](https://arxiv.org/abs/1905.08284?context=cs) ## 论文要解决的...

Posted by Pelhans on August 14, 2019

关系抽取（一）

Neural Relation Extraction with Selective Attention over Instances

> 多读书, 多看报,多吃零食, 多睡觉. * TOC {:toc} # 论文概览论文链接: [Neural Relation Extraction with Selective Attention over Instances](https://www.aclweb.org/anthology/P16-1200) ## 论文要解决的问题是什么远程监督生成的关系抽取数据集噪声比...

Posted by Pelhans on August 14, 2019

深度学习笔记（十四）

Normalization 总结

* TOC {:toc} # 什么是 Normalization 在将数据送入下一层神经网络之前,先对其做平移和伸缩变换,将x的分布规范化成再固定区间范围得标准分布. 通用公式为: $$ h = f(g*\frac{x-\mu}{\sigma} + b) $$ 1) 其中 $\mu$ 是均值,表示平移参数, $\sigma$ 为方差,表示缩放参数. 通过这两个参数进行缩放和平移后,...

Posted by Pelhans on August 12, 2019

深度学习笔记（十三）

BERT

> 眼睛看过只是别人的，整理出来并反复学习才是自己的。 * TOC {:toc} # 概述最近开始做关系抽取相关的任务，因为BERT 现在势头很猛所以一直想试一下，同时还可以学学 Transformer 的用法细节。这篇主要记录 BERT 的原理等，下一篇介绍下用 BERT + CNN 做关系抽取。如有错误，还请大佬指出。 BERT 是 Bidirectional Encoder ...

Posted by Pelhans on May 16, 2019

关系抽取笔记

综述翻译 Relation Extraction: A Survey

> 论文 [Relation Extraction: A Survey](https://www.jianguoyun.com/p/DYDkXgAQq_6CBxib4boB) 的中文翻译，并对其中提到的模型进行补充。 # 摘要随着互联网的出现，每天都会以新闻文章，研究出版物，博客，问答论坛和社交媒体的形式产生大量的文本。开发从这些文档中自动提取信息的技术是非常重要的，因为许多重要信息都...

Posted by Pelhans on May 5, 2019

深度学习笔记（十二）

Glove

* TOC {:toc} # 概述 Glove 是 Global Vectors 的缩写，是一种词向量训练方法。作者认为传统基于 SVD 的 word-word 共现计数模型的优点是利用了全局统计信息，训练速度快，但缺点是对高频词汇较为偏向，并且仅能概括词对间的相关性，对语义信息表示的并不好。同时我们常用的 word2vec 虽然对语义信息表示的更好，但是没有包含更多的统计信息。因此就想...

Posted by Pelhans on April 30, 2019

深度学习笔记（十一）

Word2Vec

* TOC {:toc} # 概述 Word2Vec 是谷歌的分布式词向量工具。使用它可以很方便的得到词向量。Word2Vec 分别使用两个模型来学习词向量，一个是 CBOW(Continuous bag-of-word)，另一个是 Skip-gram模型。 CBOW 模型是指根据上下文来预测当前单词。而Skip-gram 是根据给定的词去预测上下文。所以这两个模型的本质是让模型去学习...

Posted by Pelhans on April 29, 2019

Pelhans Blog