张涵沛的博客 | Pelhans Blog

深度学习笔记（十）

Attention 基础

眼睛看过只是别人的，整理出来并反复学习才是自己的。什么是 Attention Attention 的原理 Attention 机制的本质思想 Attention 机制的分类 Soft attention 与 Hard attention Global attention 与 Local attention Self-a...

Posted by Pelhans on April 26, 2019

深度学习笔记（九）

循环神经网络基础

眼睛看过只是别人的，整理出来并反复学习才是自己的。概览展开计算图循环神经网络循环网络的反向传播双向 RNN 长期依赖问题长期依赖的处理 RNN 的变种 LSTM Cell 状态遗忘门输入门输出门 ...

Posted by Pelhans on April 24, 2019

深度学习笔记（八）

卷积神经网络基础

眼睛看过只是别人的，整理出来并反复学习才是自己的。概览什么是卷积为什么要用卷积稀疏权重参数共享等变表示卷积之外的组件-池化 CNN 的反向传播概览卷积神经网络是一种专门用来处理具有类似网格结构的数据的神经网络。CNN 近年来在很多领域都表现优异。卷积神经网络依次的来源是因为该网...

Posted by Pelhans on April 19, 2019

深度学习笔记（七）

激活函数

眼睛看过只是别人的，整理出来并反复学习才是自己的。概览 Sigmoid tanh 函数 ReLU 整流线性单元 ReLU 的改进 Gaussian Error Linerar Units(GELUS) 什么样的函数能用来做激活函数参考概览激活函数是神经网络的一个重要组成部分，它可以将线性分类器转换为非线性分类器，这已被证明是近年来在各...

Posted by Pelhans on April 17, 2019

深度学习笔记（六）

正则化项

眼睛看过只是别人的，整理出来并反复学习才是自己的。概览 L2 正则化 L1 正则化 Dropout 提前终止数据增强参数绑定和参数共享 Bagging 和其他集成方法概览正则化的本质就是对参数的先验假设。通过对参数的正则化，以偏差的增加换取方差的减少，从而使得机器学习算法的泛化性增加。偏差度量着偏离真实函数或者参数的误差期望，而方差...

Posted by Pelhans on April 16, 2019

深度学习笔记（五）

常见损失函数

眼睛看过只是别人的，整理出来并反复学习才是自己的。概览分类 0-1 损失交叉熵损失函数 Softmax 损失函数 Softmax 损失函数的改进 Focal loss Large-Margin Softmax Loss ...

Posted by Pelhans on April 15, 2019

深度学习笔记（四）

神经网络中的权值初始化

眼睛看过只是别人的，整理出来并反复学习才是自己的。概览随机初始化 Xavier 初始化 He 初始化参考概览那么为什么会有这么多初始化策略呢？深度学习算法的训练通常是迭代的，因此要求使用者给一些开始迭代的初始点，而有些深度模型会受到初始点的影响，使得算法遭遇数值困难，并完全失败。此外初始点可以决定学习收敛的多快，以及是否收敛到一个代价高或低的点...

Posted by Pelhans on April 12, 2019

深度学习笔记（三）

牛顿法与BFGS

眼睛看过只是别人的，整理出来并反复学习才是自己的。概览牛顿法拟牛顿法 BFGS 参考概览与一阶的相比，二阶梯度方法使用二阶导数改进了优化。最广泛使用的二阶方法是牛顿法。牛顿法牛顿法是给予二阶泰勒级数展开在某点 $\theta_{0}$附近来近似 $J(\theta)$的方法，它忽略了高于二阶的导数：对上式两侧同时求梯度，得到函数...

Posted by Pelhans on April 11, 2019

深度学习笔记（二）

拉格朗日乘数法与KKT条件

眼睛看过只是别人的，整理出来并反复学习才是自己的。概览无约束条件等式约束条件一道练习题不等式约束例子参考概览通常情况下，最优化问题会答题可分为三种情况：无约束条件、等式约束条件、不等式约束条件，对应的算法为费马定理、拉格朗日乘数法、KKT条件。无约束条件最简...