Pelhans Blog

Practice makes perfect
本站总访问量 本站访客数人次

为面试准备的机器学习

线性回归

面试和自己学着玩有很大差别,学着玩你可以嘴上说的溜,手上推个大概就行了(就是学的水)。但面试要求推得准确,同时在推得过程中有自己的思考,面对面试官提出的问题能根据自己的所学进行相应的推导。部分重要的算法还要能手写代码。当然面试还有一些 “必备” 问题列表,都是需要准备的。 线性回归 问题的定义 最小二乘法 正则化 为什么...

手写代码 习题集

剑指 Offer 篇

春天出去找工作不知道外面要手写代码和手推ML公式,简直 SB 到了极致,慢慢补吧。下面是自己近期刷几遍剑指后的个人分类总结。其中动态规划、数组、字符串、分治、贪心这几类剑指包含的不多,需要在 leetcode 上专门训练。 数组 剑指 3. 数组中重复的数字 剑指 4. 二维数组中的查找 剑指 11. 旋转数组的最小数字 重要 ...

深度学习笔记(十二)

BERT

眼睛看过只是别人的,整理出来并反复学习才是自己的。 概述 模型结构 预训练任务 MLM NSP Fine-tuning Procedure 总结 概述 最近开始做关系抽取相关的任务,因为BERT 现在势头很猛所以一直想试一下,同时还可以学学 Transformer 的用法细节。这篇主要记录 BERT 的原理...

关系抽取笔记

综述(一)

论文 Relation Extraction: A Survey 的中文翻译,并对其中提到的模型进行补充。 摘要 随着互联网的出现,每天都会以新闻文章,研究出版物,博客,问答论坛和社交媒体的形式产生大量的文本。开发从这些文档中自动提取信息的技术是非常重要的,因为许多重要信息都隐藏在其中。提取的信息可用于改进对大文本语料库中隐藏的知识的访问和管理。诸如问答,信息检索等几个项目将受益...

深度学习笔记(十一)

Word2Vec

眼睛看过只是别人的,整理出来并反复学习才是自己的。 概述 CBOW 正向传播 反向传播 Skip-Gram 优化 分层 softmax 负采样 word2vec 问题 参考 概述 Word2Vec 是谷歌的分布式词向量工具。使用它可以很方便的得到词向量。W...

深度学习笔记(十)

Attention 基础

眼睛看过只是别人的,整理出来并反复学习才是自己的。 什么是 Attention Attention 的原理 Attention 机制的本质思想 Attention 机制的分类 Soft attention 与 Hard attention Global attention 与 Local attention Self-a...

深度学习笔记(九)

循环神经网络基础

眼睛看过只是别人的,整理出来并反复学习才是自己的。 概览 展开计算图 循环神经网络 循环网络的反向传播 双向 RNN 长期依赖问题 长期依赖的处理 RNN 的变种 LSTM Cell 状态 遗忘门 输入门 输出门 ...

深度学习笔记(八)

卷积神经网络基础

眼睛看过只是别人的,整理出来并反复学习才是自己的。 概览 什么是卷积 为什么要用卷积 稀疏权重 参数共享 等变表示 卷积之外的组件-池化 CNN 的反向传播 概览 卷积神经网络 是一种专门用来处理具有类似网格结构的数据的神经网络。CNN 近年来在很多领域都表现优异。卷积神经网络依次的来源是因为该网...

深度学习笔记(七)

激活函数

眼睛看过只是别人的,整理出来并反复学习才是自己的。 概览 Sigmoid tanh 函数 ReLU 整流线性单元 ReLU 的改进 什么样的函数能用来做激活函数 参考 概览 激活函数是神经网络的一个重要组成部分,它可以将线性分类器转换为非线性分类器,这已被证明是近年来在各种任务重所见到的高性能的关键。不同的激活函数在实践中经常表现出非常多样的行为...

深度学习笔记(六)

正则化项

眼睛看过只是别人的,整理出来并反复学习才是自己的。 概览 L2 正则化 L1 正则化 Dropout 提前终止 数据增强 参数绑定和参数共享 Bagging 和其他集成方法 概览 正则化的本质就是对参数的先验假设。通过对参数的正则化,以偏差的增加换取方差的减少,从而使得机器学习算法的泛化性增加。偏差度量着偏离真实函数或者参数的误差期望,而方差...