Week1
>>花书第一章——第四章(掌握数学基础)
【视频课】矩阵的对角化分解，以及一般矩阵的svd分解，以及应用
【视频课】PCA算法推导
【视频课】逆矩阵以及伪逆举证，线性回归，最小二乘估计，最小范数估计
【视频课】极大似然估计，误差的高斯分布与最小二乘估计的等价性
【视频课】最优化，无约束，有约束，拉格朗日乘子的意义，kkt松弛条件
作业：
【代码】参考Notebook，温习线性代数
【总结】列出花书前四章必须要掌握的十个知识点，附带上自己的学习心得【思考题】一元线性回归的基本假设有哪些？
Week2
>>花书5.1-5.4，花书5.5-5.7.1
【视频课】机器学习算法基本概念，
【视频课】回归与分类任务，欠拟合过拟合，模型选取交叉验证
【视频课】极大似然估计，贝叶斯估计
作业：
【拓展】了解bias-variance tradeoff
【习题】根据图示判断算法建模情况
【推导】通过梯度下降算法最小化负对数似然求解逻辑回归
【思考题】交叉验证的基本流程是什么？最大似然估计与贝叶斯估计的区别有哪些？
Week3
>>花书5.7.2-5.7.3章
【视频课】监督学习:逻辑回归，SVM,LDA，决策树
【视频课】非监督学习:PCA,kmeans
【视频课】梯度下降，随机梯度下降
作业：
【推导】硬间隔支持向量机推导
【思考题】举几个例子说明不同聚类方法的应用场景。
【习题】比较随机梯度下降与批梯度下降
Week4
>>花书第6章
【视频课】前馈神经网络的基本概念，XOR
【视频课】基于梯度的学习，代价函数(MSE,CE)，以及输出单元，求导
【视频课】神经网络的隐层，各种非线性变换，以及求导
【视频课】前向传播与反向传播算法，以及参数更新
作业：
【思考题】为什么在神经网络中加入非线性是必须的？
【推导】完成softmax输出单元cross-entropy损失函数的梯度推导。
【习题】写出下列每个激活函数的表达式及其导数
【实战】完成⼀个反向传播实例
Week5
>>花书第7、8章
视频课(第七章)：
1.参数正则化
2.数据集增强，噪声鲁棒性
3.半监督，多任务
4.提前终止，参数共享，稀疏矩阵
5.dropout
6.数据增强，simu
7.bagging
视频课(第八章)：
1.局部极小，病态，梯度悬崖，梯度爆炸与消失
2.moment & NAG
3.自适应学习率，adagrad,adam
4.二阶方法，牛顿，拟牛顿，共轭梯度
5.batch norm
6.监督预训练
作业：
【习题】⽤公式说明为何L2正则化⼜常被称作“weight decay”
【思考题】为什么在神经⽹络中，dropout可以起到正则化的作⽤？
【思考题】什么时候适合⽤Adam？RMSProp？SGD?
Week6
>>花书第9章
【视频课】卷积神经网络
【视频课】局部感知权值共享
经典论文带读
【视频课】CNN用于句分类--第一篇真正意义上的神经网络用于文本分类之作 《Convolutional Neural Networks for Sentence Classification》论文讲解
【视频课】ResNet网络结构《Deep Residual Learning for Image Recognition》论文讲解
作业：
【思考题】卷积操作的本质特性包括稀疏交互和参数共享，具体解释这两种特性及其作用。
【思考题】关于最大池化层，选出给出的选择正确项。
【习题】完成卷积神经网络的经典习题
Week7- Week8
>>花书第10章
【视频课】具有时序性的任务,时间依赖性
【视频课】RNN与双向RNN的结构，前向与反向算法,梯度爆炸与梯度消失
【视频课】LSTM与biLSTM的结构，前向与反向算法
【视频课】GRU与biGRU的结构，前向与反向算法
【视频课】讲解和分享实际案例
作业：
【作图】画出图10.13c的展开图
【作图】可以完成给定任务的RNN计算图
【推导】参考博客，了解随时间反向传播在LSTM中的推导
Week9
实际工作中的一些经验以及前沿技术介绍与分享
【视频课】多GPU并行计算
【视频课】
模型的压缩与加速
【视频课】知识蒸馏
作业：
【总结】观看深度学习最新进展视频，总结几条你认为深度学习最有潜力的发展方向
【期末复盘】复盘所学到的知识，构建自己的机器学习和深度学习知识框架
