Pelhans Blog

道阻且长,行则将至

[源码解读] Tensorflow 中的 linear-chain CRF

概览 crf_log_likelihood viterbi_decode crf_decode 概览 这里主要对 Tensorflow 中的 CRF 源码和相关原理进行整理。这里的 CRF 模块指的是 线性链 CRF(当然一般情况NLP 里用的都是这个),同时一般都是接在像 LSTM 或者线性层后,用于处理序列类任务的。 源代码路径 https://github.c...

[杂谈] 记录一次百度云服务器中毒事件

简单杀毒 修改密码 简单杀毒 我之前在百度云上部署了一个开放领域图谱的 Neo4j 演示版,但总是莫名其妙的挂掉。用 top 命令查询,发现是 kswapd0 进程占用很高的内存和 CPU。上网一查说 kswapd0 占用过高是因为 物理内存不足,使用swap分区与内存换页操作交换数据,导致CPU占用过高。也就没多想,手动 kill 掉。 但这几天为了练习 C ++,就把服...

Attention 及 Transformer 变体总结

概览 标准 Transformer 改进 Transformer TransformerXL: Attentive Language Models Beyond a Fixed-Length Context Universal Transformer Star-Transformer Generating Long Seq...

模型压缩总结

模型压缩 模型蒸馏 Distilling the Knowledge in a Neural Network FITNETS: HINTS FOR THIN DEEP NETS Rocket Launching: A Universal and Efficient Framework for Training Well-performin...

预训练模型总结

概览 模型概览 ELMO - Deep contextualized word representations GPT - Improving Language Understanding by Generative Pre-Training GPT2.0 - Language Models are Unsupervised Multit...

文本匹配论文笔记

文本匹配任务概览 传统匹配模型 TF-IDF TF-IDF 定义 TF-IDF 为什么对逆文档频率取对数? TF-IDF 为什么长这个样子?除了感性的解释外,有什么理论依据么? ...

实体链接(二)

LIMES 中的大规模数据链接方法

LIMES — A Time-Efficient Approach for Large-Scale Link Discovery on theWeb of Data 数学框架 核心流程 Exemplar computation Matching Based on Exemplars ...

命名实体识别论文笔记

概览 分类标准 编码层改进 End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF CAN-NER Convolutional Attention Network for Chinese Named Entity Recognition Chinese NER Usi...

命名实体识别

[笔记] 综述 A Survey on Deep Learning for Named Entity Recognition

摘要 NER 技术概览 NER 数据资源和流行工具 资源 NER 工具 NER 的性能评估指标 NER 中的深度学习技术 DL 为什么那么有效 模型分层标准 输入的分布式表示 Word-level 表示 ...

实体链接(一)

翻译 Entity Linking with a Knowledge Base: Issues, Techniques, and Solutions

多读书, 多看报,多吃零食, 多睡觉. 摘要 概览 动机 任务描述 应用 信息抽取 信息检索 内容分析 问答 知识库扩充 现有知识库 提纲 ...