Pelhans Blog

Practice makes perfect
本站总访问量 本站访客数人次

集成学习

集成学习 Boosting AdaBoost 算法 AdaBoost 多分类 AdaBoost 回归 提升树 算法流程 梯度提升树 GBT xgboost Li...

决策树

决策树 特征选择 信息增益 信息增益比 生成算法 剪枝算法 CART 树 CART 生成算法 CART 回归树 CART 分类树 ...

K-means

K-means 算法 k-means 算法 k-means 优缺点 k-means 与 EM 的等价性 k-means++ k-modes KNN 与 k-means 的区别与联系 K-means 算法 k-means 算法 k-means 算法是一种无监督聚类方法.给定数据集, 假设我们要分为 k 个类别 ...

KNN

KNN 算法 k 值的选择 距离度量 决策规则 kd 树 kd 树构建算法 搜索 kd 树 KNN 算法 K 近邻法(K-Nearest Neighbor: KNN) 是一种基本的分类与回归方法. 它是一种监督学习算法, 不具有显示的学习过程, 可以直接进行预测. 当用...

主成分分析 PCA

主成分分析 最大方差形式 最小误差形式 低空间维数的选取 证明两种方法的等价性 LDA 与 PCA 的关系 概率PCA 因子分析 核PCA 主成分分析 主成分分析,或者称为PCA,是一种被广泛使用的技术,应用领域包括维度降低。有损数据压缩、特征抽取、数据...

NLP 手册

支持向量机 SVM

支持向量机 基本概念 线性可分支持向量机 对偶算法 对偶问题的求解 SMO 算法 选择变量的启发式方法 外层循环 内层循环 ...

NLP 手册

朴素贝叶斯分类器

朴素贝叶斯法 优化目标 求解 算法流程 贝叶斯估计 模型优缺点 朴素贝叶斯法 朴素贝叶斯法是基于贝叶斯定理与条件特征独立假设的分类方法. 它首先基于特征条件独立假设学习输入, 输出的联合概率分布. 而后基于此模型, 对给定输入 x, 利用贝叶斯定理求出后验概率最大的输出 y.因此可以看出它是一个生成式模型. 具...

NLP 手册

隐马尔可夫模型 HMM

隐马尔可夫模型 HMM 的基本概念和定义 HMM 的基本问题 似然性计算 前向算法 后向算法 综合形式 学习算法 Baum-Welch 算法流程 ...

NLP 手册

EM 算法

一般形式的 EM 算法 算法原理 一般形式的 EM 算法 算法原理 期望最大化算法或者叫 EM 算法,是寻找具有潜在变量的概率模型的最大似然解的一种通用的方法.每次迭代由两步组成, 分别是E步骤计算期望, M步骤优化期望求极大. 我们假设直接优化 $p(X|\theta)$ 比较困难, 但是最优化完整数据(完整数据是同时给定观测变量 X ...

NLP 手册

条件随机场 CRF

条件随机场 马尔科夫随机场 条件独立性质 分解性质 例子: 图像去噪 条件随机场 CRF 的其他表示形式 简化形式 CRF 矩阵形式 概率计算问题 参数学习 似...