Pelhans Blog

道阻且长,行则将至

模型压缩总结

模型压缩 模型蒸馏 Distilling the Knowledge in a Neural Network FITNETS: HINTS FOR THIN DEEP NETS Rocket Launching: A Universal and Efficient Framework for Training Well-performin...

预训练模型总结

概览 模型概览 ELMO - Deep contextualized word representations GPT - Improving Language Understanding by Generative Pre-Training GPT2.0 - Language Models are Unsupervised Multit...

文本匹配论文笔记

文本匹配任务概览 传统匹配模型 TF-IDF TF-IDF 定义 TF-IDF 为什么对逆文档频率取对数? TF-IDF 为什么长这个样子?除了感性的解释外,有什么理论依据么? ...

实体链接(二)

LIMES 中的大规模数据链接方法

LIMES — A Time-Efficient Approach for Large-Scale Link Discovery on theWeb of Data 数学框架 核心流程 Exemplar computation Matching Based on Exemplars ...

命名实体识别论文笔记

概览 分类标准 编码层改进 End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF CAN-NER Convolutional Attention Network for Chinese Named Entity Recognition Chinese NER Usi...

命名实体识别

[笔记] 综述 A Survey on Deep Learning for Named Entity Recognition

摘要 NER 技术概览 NER 数据资源和流行工具 资源 NER 工具 NER 的性能评估指标 NER 中的深度学习技术 DL 为什么那么有效 模型分层标准 输入的分布式表示 Word-level 表示 ...

实体链接(一)

翻译 Entity Linking with a Knowledge Base: Issues, Techniques, and Solutions

多读书, 多看报,多吃零食, 多睡觉. 摘要 概览 动机 任务描述 应用 信息抽取 信息检索 内容分析 问答 知识库扩充 现有知识库 提纲 ...

关系抽取(二)

Enriching Pre-trained Language Model with Entity Information for Relation Classification

多读书, 多看报,多吃零食, 多睡觉. 论文概览 论文要解决的问题是什么 这篇文章得主要贡献是什么 论文详解 输入 BERT 效果 个人启发 参考 论文概览 论文链接: Enriching Pre-trained Language Model with Ent...

关系抽取(一)

Neural Relation Extraction with Selective Attention over Instances

多读书, 多看报,多吃零食, 多睡觉. 论文概览 论文要解决的问题是什么 这篇文章得主要贡献是什么 论文详解 输入 CNN Attention 效果 个人启发 参考 论文概览 论文链接: Neural Relation Extraction wit...

深度学习笔记(十四)

Normalization 总结

什么是 Normalization 为什么要做 Normalization 常见的 Normalization 方法 Batch Normalization Layer Normalization Instance Normalization Group Normalization 问题 ...