Pelhans 的博客

深度学习笔记（七）

激活函数

* TOC {:toc} # 概览激活函数是神经网络的一个重要组成部分，它可以**将线性分类器转换为非线性分类器**，这已被证明是近年来在各种任务重所见到的高性能的关键。不同的激活函数在实践中经常表现出非常多样的行为。例如 **Sigmoid 函数，在过去非常流行。它可以将任意范围的输入转化为0-1之间的输出，逻辑回归中就用它来做二分类问题。在早起网络不深的时候用它效果很好，但随着网络...

Posted by Pelhans on April 17, 2019

深度学习笔记（六）

正则化项

* TOC {:toc} # 概览 **正则化的本质就是对参数的先验假设**。通过对参数的正则化，以偏差的增加换取方差的减少，从而使得机器学习算法的泛化性增加。**偏差度量着偏离真实函数或者参数的误差期望，而方差度量着数据上任意特定采样可能导致的估计期望的偏差**。因此高偏差相当于模型欠拟合，而高方差是过拟合，导致泛化能力弱。大多数机器学习算法则是在偏差-方差，经验风险-结构风险之间做权...

Posted by Pelhans on April 16, 2019

深度学习笔记（五）

常见损失函数

* TOC {:toc} # 概览损失函数用来估计模型的预测值与真实值之间的不一致程度。模型通过预定的损失函数进行学习并更新参数，同时它也是一种评估模型好坏的方法。根据机器学习任务的不同，损失函数可分为分类和回归两大类，下面我们对常见的损失函数做一个总结。该文章将保持更新。 # 分类 ## 0-1 损失 0-1 损失函数的形式是最简单的，它的公式为： $$ l(y_{i}, \h...

Posted by Pelhans on April 15, 2019

深度学习笔记（四）

神经网络中的权值初始化

* TOC {:toc} # 概览那么为什么会有这么多初始化策略呢？深度学习算法的训练通常是迭代的，因此要求使用者给一些开始迭代的初始点，而有些深度模型会受到初始点的影响，使得算法遭遇数值困难，并完全失败。此外初始点可以决定学习收敛的多快，以及是否收敛到一个代价高或低的点，更何况代价相近的点也可能有极大的泛化差别。不同的网络结构和激活函数需要适配不同的初始化方法。目前常用的初始化方法包...

Posted by Pelhans on April 12, 2019

深度学习笔记（三）

牛顿法与BFGS

* TOC {:toc} # 概览与一阶的相比，二阶梯度方法使用二阶导数改进了优化。最广泛使用的二阶方法是牛顿法。 # 牛顿法牛顿法是给予二阶泰勒级数展开在某点 $\theta_{0}$附近来近似 $J(\theta)$的方法，它忽略了高于二阶的导数： $$ f(x) = f(x_{0}) + \nabla f(x_{0})^{T}(x-x_{0}) + \frac{1}{2}...

Posted by Pelhans on April 11, 2019

深度学习笔记（二）

拉格朗日乘数法与KKT条件

* TOC {:toc} # 概览通常情况下，最优化问题会答题可分为三种情况：无约束条件、等式约束条件、不等式约束条件，对应的算法为费马定理、拉格朗日乘数法、KKT条件。 # 无约束条件最简单的情况，根据费马定理，解决方法通常是函数对变量求导，零导数函数等于0的点可能是极值点。将结果待会原函数进行验证即可。 # 等式约束条件设目标函数为$f(x)$，约束条件为$h_{k}(...

Posted by Pelhans on April 11, 2019

深度学习笔记（一）

深度学习中的常见优化算法

* TOC {:toc} # 概览下面列出深度学习中常用的一些优化方法： * SGD: tf.train.GradientDescentOptimizer() * Adam: tf.train.AdamOptimizer() * Adagrad: tf.train.AdagradOptimizer() * Adadetla: tf.train.Adadelta...

Posted by Pelhans on April 9, 2019

深度学习笔记（零）

常见任务的评价指标

* TOC {:toc} # 概览本文总结以下评价指标： * Acc * F1、精准度 P、召回率 R，P@10、R@10 * AUC、ROC * NDCG@3 * MAP、MRR 首先给出一个表格： ![](/img/in-post/ml_mianshi/metric_table.png) 其中上面行表示预测结果，列表示 ground trut...

Posted by Pelhans on April 8, 2019

Numpy 笔记

Numpy 常用操作

> 本笔记来自于[菜鸟教程](http://www.runoob.com/numpy/numpy-tutorial.html)，整理自己用到的部分，并更新一些例子。 * TOC {:toc} # Numpy 基本知识 NumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库，主要用于数组...

Posted by Pelhans on April 2, 2019

实体对齐论文总结

* TOC {:toc} # 学习中... # 概览实体对齐(Entity alignment) 就是找到两个知识图谱中相同的等价实体。它们可能有不同的表面形式或者不同的属性，因此单纯的基于表面形式匹配是不够用的。用公式定义实体对齐任务的话。首先我们用 $$ G = (E, R, A, T_{R}, T_{A}) $$表示知识图谱，其中$$ E, R, A$$ 表示其中的实体、...

Posted by Pelhans on March 18, 2019

Pelhans Blog