Pelhans Blog

Practice makes perfect
本站总访问量次

深度学习笔记（十三）

Normalization 总结

眼睛看过只是别人的，整理出来并反复学习才是自己的。 什么是 Normalization 为什么要做 Normalization 常见的 Normalization 方法 Batch Normalization Layer Normalization Instance Normalization Group Nor...

Posted by Pelhans on August 12, 2019

NLP 手册

逻辑回归

Logistic 回归 问题的定义 参数的求解 梯度下降法 问题汇总 LR 的归一化问题 为什么逻辑回归要用极大似然法来进行参数估计而不是最小二乘法？ 逻辑回归是线性模型还是非线性模型...

Posted by Pelhans on July 23, 2019

NLP 手册

线性回归

面试和自己学着玩有很大差别，学着玩你可以嘴上说的溜，手上推个大概就行了(就是学的水)。但面试要求推得准确，同时在推得过程中有自己的思考，面对面试官提出的问题能根据自己的所学进行相应的推导。部分重要的算法还要能手写代码。当然面试还有一些 “必备” 问题列表，都是需要准备的。 线性回归 问题的定义 最小二乘法 正则化 为什么...

Posted by Pelhans on July 5, 2019

手写代码 习题集

剑指 Offer 篇

春天出去找工作不知道外面要手写代码和手推ML公式，简直 SB 到了极致，慢慢补吧。下面是自己近期刷几遍剑指后的个人分类总结。其中动态规划、数组、字符串、分治、贪心这几类剑指包含的不多，需要在 leetcode 上专门训练。 数组 剑指 3. 数组中重复的数字 剑指 4. 二维数组中的查找 剑指 11. 旋转数组的最小数字 重要 ...

Posted by Pelhans on July 4, 2019

深度学习笔记（十二）

BERT

眼睛看过只是别人的，整理出来并反复学习才是自己的。 概述 模型结构 预训练任务 MLM NSP Fine-tuning Procedure 总结 概述 最近开始做关系抽取相关的任务，因为BERT 现在势头很猛所以一直想试一下，同时还可以学学 Transformer 的用法细节。这篇主要记录 BERT 的原理...

Posted by Pelhans on May 16, 2019

关系抽取笔记

综述（一）

论文 Relation Extraction: A Survey 的中文翻译，并对其中提到的模型进行补充。 摘要 随着互联网的出现，每天都会以新闻文章，研究出版物，博客，问答论坛和社交媒体的形式产生大量的文本。开发从这些文档中自动提取信息的技术是非常重要的，因为许多重要信息都隐藏在其中。提取的信息可用于改进对大文本语料库中隐藏的知识的访问和管理。诸如问答，信息检索等几个项目将受益...

Posted by Pelhans on May 5, 2019

深度学习笔记（十一）

Word2Vec

眼睛看过只是别人的，整理出来并反复学习才是自己的。 概述 CBOW 正向传播 反向传播 Skip-Gram 优化 分层 softmax 负采样 word2vec 问题 参考 概述 Word2Vec 是谷歌的分布式词向量工具。使用它可以很方便的得到词向量。W...

Posted by Pelhans on April 29, 2019

深度学习笔记（十）

Attention 基础

眼睛看过只是别人的，整理出来并反复学习才是自己的。 什么是 Attention Attention 的原理 Attention 机制的本质思想 Attention 机制的分类 Soft attention 与 Hard attention Global attention 与 Local attention Self-a...

Posted by Pelhans on April 26, 2019

深度学习笔记（九）

循环神经网络基础

眼睛看过只是别人的，整理出来并反复学习才是自己的。 概览 展开计算图 循环神经网络 循环网络的反向传播 双向 RNN 长期依赖问题 长期依赖的处理 RNN 的变种 LSTM Cell 状态 遗忘门 输入门 输出门 ...

Posted by Pelhans on April 24, 2019

深度学习笔记（八）

卷积神经网络基础

眼睛看过只是别人的，整理出来并反复学习才是自己的。 概览 什么是卷积 为什么要用卷积 稀疏权重 参数共享 等变表示 卷积之外的组件-池化 CNN 的反向传播 概览 卷积神经网络 是一种专门用来处理具有类似网格结构的数据的神经网络。CNN 近年来在很多领域都表现优异。卷积神经网络依次的来源是因为该网...

Posted by Pelhans on April 19, 2019

FEATURED TAGS
NLP ASR Reinforment Learning Kaldi Knowledge Graph Linux speech process python knowledge graph PRML Python Deep Learning
ABOUT ME

强大而持久的意志力