好书推荐 -《深度学习》（“花书”）

第一部分 应用数学与机器学习基础

第1章 引言

• 本书主要面向对深度学习感兴趣的读者，介绍了深度学习的历史趋势，包括神经网络的多次更名、数据量和模型规模的持续增长，以及深度学习对现实世界的深远影响。

第2章 线性代数

• 介绍了标量、向量、矩阵和张量的基本概念，以及它们之间的运算关系。还讨论了线性相关、生成子空间、范数、特征分解、奇异值分解等线性代数的重要概念，并通过主成分分析（PCA）的实例展示了线性代数在机器学习中的应用。

第3章 概率与信息论

• 解释了为什么要在机器学习中使用概率，并介绍了随机变量、概率分布、条件概率、独立性等基本概念。还讨论了期望、方差、协方差等统计量，以及常用的概率分布类型。此外，还介绍了信息论的基本概念和结构化概率模型。

第4章 数值计算

• 讨论了上溢和下溢、病态条件等数值计算中的常见问题，并介绍了基于梯度的优化方法和约束优化技术。通过线性最小二乘的实例，展示了数值计算在机器学习中的应用。

第5章 机器学习基础

• 介绍了学习算法的基本概念，包括任务T、性能度量P和经验E 。还讨论了容量、过拟合和欠拟合的问题，以及正则化技术。此外，还介绍了超参数和验证集的选择方法，以及最大似然估计和贝叶斯统计等监督学习算法。同时，还简要介绍了无监督学习算法，如主成分分析和K-均值聚类。

第二部分 深度网络（现代实践）

第6章 深度前馈网络

• 通过学习XOR的实例，介绍了深度前馈网络的基本概念和基于梯度的学习方法。还讨论了隐藏单元的设计，包括整流线性单元、Logistic sigmoid和双曲正切函数等。此外，还介绍了架构设计的考虑因素，以及反向传播算法的实现原理。

第7章 深度学习中的正则化

• 介绍了参数范数惩罚、数据集增强、噪声鲁棒性、半监督学习、多任务学习等正则化技术。还讨论了提前终止、参数绑定和参数共享等策略，以及Dropout和对抗训练等高级正则化方法。

第8章 深度模型中的优化

• 讨论了学习和纯优化的区别，以及神经网络优化中的挑战。还介绍了随机梯度下降、动量、Nesterov动量等基本算法，以及参数初始化策略和自适应学习率算法。此外，还讨论了二级近似算法和优化策略，如批标准化、坐标下降等。

第9章 卷积网络

• 介绍了卷积运算的基本原理和动机，以及池化技术。还讨论了卷积与池化作为无限强先验的作用，以及基本卷积函数的变体。此外，还介绍了结构化输出、数据类型和高效的卷积算法，以及卷积网络的神经科学基础和深度学习历史。

第10章 序列建模：循环和递归网络

• 介绍了循环神经网络（RNN）的基本原理和展开计算图的方法 。还讨论了双向RNN、基于编码-解码的序列到序列架构和深度循环网络等高级技术。此外，还介绍了递归神经网络、长期依赖的挑战和回声状态网络等概念，以及渗漏单元和其他多时间尺度的策略。最后，还讨论了长短期记忆（LSTM）和其他门控RNN的优化方法。

第11章 实践方法论

• 介绍了性能度量的方法和默认的基准模型选择。还讨论了决定是否收集更多数据的因素以及选择超参数的方法，包括手动调整超参数、自动超参数优化算法和网格搜索等。