机器学习高阶攻略，Ai新手莫入!

如果现在一个面试官让你从零推导SVM的Dual、从零实现CRF、推导LDA、设计一个QP问题、从零编写XLNet、编写GCN/GNN、改造SkipGram模型、用一天时间复现一篇顶级会议....

这些要求一点都不过分。相反，连这些基本内容都有些吃力，就需要重新审视一下自己的核心技术壁垒了。

贪心学院（国内唯一体系化AI学院）目前推出了两门高端的AI训练营，分别是《机器学习高阶训练营》和《自然语言处理高阶训练营》。

训练营全程直播授课模式，近距离接触顶级讲师，下面像大家介绍一下《机器学习高阶训练营》：

《机器学习高阶训练营》

全球前沿AI科研成果教学

👇👇👇

添加课程顾问小姐姐，备注【机器学习】

领取课程优惠名额

课程大纲

第一阶段机器学习基础与凸优化

本阶段主要目的是讲解必要的算法理论以及凸优化技术，为后续的课程打下基础。凸优化的重要性不言而喻，如果想具备改造模型的能力，对于凸优化的理解是必不可少的！

【核心知识点】

- KNN，Weighted KNN、近似KNN

- KD树，近似KD树、哈希算法、LSH

- 岭回归、LASSO、ElasticNet

- 正则：L1, L2, L-inifity Norm

- LR、GD、SGD、小批量SGD

- 凸集，凸函数、判定凸函数

- LP、QP、ILP、SDP问题

- Duality，Strong Duality、KKT条件

- 带条件/无条件优化问题、Projected GD

- 平滑函数、Convergence Analysis

【部分案例讲解】

- 基于QP的股票投资组合策略设计

- 基于LP的短文本相似度计算

- 基于KNN的图像识别

第二阶段 SVM与集成模型

本阶段主要目的是深入理解SVM以及核函数部分的知识点。为了理解清楚SVM的Dual转换，需要掌握第一部分里的Duality理论。另外，重点介绍Bagging和Boosting模型，以及所涉及到的几项有趣的理论。

【核心知识点】

- Max-Margin与线性SVM构建

- Slack Variable以及条件的松弛

- SVM的Dual、Kernelized SVM

- Kernel Functions, Mercer'定理

- Kernelized LR/KNN/K-Means/PCA

- Bagging, Boosting, Stacking

- 信息论与决策树

- 随机森林，完全随机森林

- 基于残差的提升树训练思想

- GBDT与XGBoost

- 集成不同类型的模型

- VC理论， PAC Learning

【部分案例讲解】

- 基于XGBoost的金融风控模型

- 基于PCA和Kernel SVM的人脸识别.

- 基于Kernal PCA和Linear SVM的人脸识别

第三阶段无监督学习与序列模型

本阶段主要目的是学习无监督算法和经典的序列模型。重点讲解EM算法以及GMM，K-means的关系，同时花几次课程时间来仔细讲解CRF的细节：从无向图模型、Potential函数、Log-Linear Model、逻辑回归、HMM、MEMM、Label Bias、Linear CRF、Inference，最后到Non-Linear CRF。

【核心知识点】

- K-means、GMM以及EM

- 层次聚类，DCSCAN，Spectral聚类算法

- 隐变量与隐变量模型、Partition函数

- 条件独立、D-Separation、Markov性质

- HMM以及基于Viterbi的Decoding

- Forward/Backward算法

- 基于EM算法的参数估计

- 有向图与无向图模型区别

- Log-Linear Model，逻辑回归，特征函数

- MEMM与Label Bias问题

- Linear CRF以及参数估计

【部分案例讲解】

- 基于HMM和GMM的语音识别

- 基于聚类分析的用户群体分析

- 基于CRF的命名实体识别

第四阶段深度学习

本阶段主要讲解深度学习理论以及常见的模型。这里包括BP算法、卷积神经网络、RNN/LSTM、BERT、XLNet、ALBERT以及各类深度学习图模型。另外，也会涉及到深度相关的优化以及调参技术。

【核心知识点】

- 神经网络与激活函数

- BP算法、卷积层、Pooling层、全连接层

- 卷积神经网络、常用的CNN结构

- Dropout与Batch Normalization

- SGD、Adam、Adagrad算法

- RNN与梯度消失、LSTM与GRU

- Seq2Seq模型与注意力机制

- Word2Vec, Elmo, Bert, XLNet

- 深度学习中的调参技术

- 深度学习与图嵌入（Graph Embedding）

- Translating Embedding (TransE)

- Node2Vec- Graph Convolutional Network

- Graph Neural Network

- Dynamic Graph Embedding

【部分案例讲解】

- 基于Seq2Seq和注意力机制的机器翻译

- 基于TransE和GCN的知识图谱推理

- 基于CNN的人脸关键点检测

第五阶段推荐系统与在线学习

推荐系统一直是机器学习领域的核心，所以在本阶段重点来学习推荐系统领域主流的算法以及在线学习的技术、包括如何使用增强学习来做推荐系统。在线学习算法很深具有很漂亮的理论基础，在本阶段你都会一一体会到！

【核心知识点】

- 基于内容和协同过滤的推荐算法

- 矩阵分解，带条件的矩阵分解

- 基于内容的Gradient Tree

- 基于深度学习的推荐算法

- 冷启动问题的处理

- Exploration vs Exploitation

- Multi-armed Bandit

- UCB1 algorithm，EXP3 algorithm

- Adversarial Bandit model

- Contexulalized Bandit、LinUCB

【部分案例讲解】

- 使用GB Tree做基于 interaction 与 content的广告推荐

- 使用深度神经网络做基于interaction 与 content的推荐

- LinUCB做新闻推荐, 最大化rewards

第六阶段贝叶斯模型

本阶段重点讲解贝叶斯模型。贝叶斯派区别于频率派，主要的任务是估计后验概率的方式来做预测。我们重点讲解主题模型以及不同的算法包括吉布采样、变分法、SGLD等，以及如何把贝叶斯的框架结合在深度学习模型里使用，这就会衍生出Bayesian LSTM的模型。贝叶斯部分的学习需要一定的门槛，但我们会让每个人听懂所有细节！

【核心知识点】

- 主题模型（LDA) 以及生成过程

- Dirichlet/Multinomial Distribution

- 蒙特卡洛与MCMC

- Metropolis Hasting与Gibbs Sampling

- 使用Collapsed Gibbs Sampler求解LDA

- Mean-field variational Inference

- 使用VI求解LDA

- Stochastic Optimization与贝叶斯估计

- 利用SLGD和SVI求解LDA

- 基于分布式计算的贝叶斯模型求解

- 随机过程与无参模型（non-parametric)