引子
机器学习是指，从数据出发来学习数据中蕴含的某种模式，对数据进行抽象。
其大概分为三类，有监督的学习，无监督的学习和强化学习。
1. 监督学习
将被标记的数据结合一定算法，得到映射模型的过程，就是监督学习。常应用于分类、回归、识别、推荐等需求上。
其过程大致如下：将所有标记好的数据分为训练集和测试集，在训练集上进行训练，得到模型，在测试集上对训练得到的模型进行测试。
我们常用损失函数(Loss Function)作为测试的度量，应用损失函数，在训练集中计算得到的数据损失称作经验风险(empirical risk)；在测试集中计算得到的，称作期望风险(expected risk)。我们最终想要的结果，便是让经验风险、期望风险都尽可能最小化。如果经验风险小，期望风险也小，这表明我们得到的模型泛化能力较好；如果经验风险小，而期望风险大，表明模型发生了过拟合现象；如果两个风险都很大，表明模型发生了欠拟合；如果经验风险大，而期望风险小——这代表数据集的设置出现了一些问题。损失函数包括：均方误差、交叉熵等函数。
监督学习常用两种模型：判别模型(discriminative model)和生成模型(generative model)。前者关心一个输入对应的输出应该是什么；后者关心一个输入对应的所有输出的分布概率。
线性回归、K近邻算法等都属于监督学习的范畴。
2. 无监督学习
无监督学习不需要对数据进行标记，而是通过对数据的分析和处理来发现数据中的规律、关系和内在结构。主要任务为聚类、降维和关联规则挖掘。
K均值聚类算法属于该范畴。
3. 强化学习
强化学习模拟智能体与环境的交互。
马尔可夫决策过程属于该范畴。
4. 深度学习
模拟大脑处理信息的方式，对各类数据进行处理。
前馈神经网络
神经元接收输入，处理之后再输出。McCulloch和Pitts俩大神基于这种工作方式提出了MCP模型。
MCP模型结构很简单：一个神经元对来自多个前面的神经元的输入，进行线性的加权求和，将和通过某种函数(激活函数)映射到0/1，接着输出到后面的神经元。Sigmoid函数、ReLU函数都常用作激活函数。通过对多个激活函数的组合，可以对输入信息进行更为复杂的非线性变换。
单层感知机和MCP结构类似，感知机的输入层负责接收实数值为输入，通过线性加权求和、非线性变换，最终输出，输出的值要么为1，要么为-1。
后来，将多个单层感知机按层拼起来，就得到了多层感知机，其由输入层、输出层和至少一层的隐藏层构成，隐藏层中的神经元接收前层信息，处理后将信息发给后续隐藏层中的所有神经元。通过梯度下降、误差反向传播等算法，可以使得损失函数最小化，优化网络的参数。网络的参数常为线性加权求和的参数。