多层感知器

人工智能的目标是尽可能有效地模仿人类智慧。人工神经网络 （ANN） 是计算系统的一部分，旨在模拟人脑分析和处理信息的方式。在讨论 ANN 之前，我们先复习以下感知器。

感知器 Perceptron

美国心理学家弗兰克·罗森布拉特 （Frank Rosenblatt） 于 1958 年提出了经典感知器模型。Minsky 和 Papert （1969） 进一步完善和仔细分析了 — 他们的模型被称为感知器模型。Perceptron 通常用于二元分类问题。感知器由各种输入组成，每个输入都有一个权重和偏差。

根据输出 y，我们可以产生二值分类器，并且可以调整权重和偏差以获得所需的结果。

感知器和逻辑门的功能相似，比如与门，或门，非门。我们知道通过基本的门电路就可以构建整个计算机系统，所以感知器也可以模拟整个计算机系统。

人工神经网络(Artificial Neural Networks,ANN)

ANN 是人工智能 （AI） 的基础。当我们把多个感知器组合在一起以创建一个复杂感知器层时，其中前一层的每个输出都充当下一层的输入，它称为多层感知器。

ANN 与 感知器模型略有不同。我们不仅简单地使用感知器的输出，还对感知器的输出应用激活函数。当激活函数应用于感知器时，它称为 神经元。相互连接的不同神经元层的组合称为神经网络。激活函数决定是否必须触发某个神经元。一些常见的激活函数是 sigmoid 函数和修正线性单元 （ReLU）。

神经网络中的术语

输入层

ANN 的第一层称为输入层。该层接收我们的数据输入，然后将其与权重相乘，添加的偏差被转发到下一层。

输出层

神经网络的最后一层称为输出层。在回归问题的情况下，输出层仅由一个神经元组成。在分类问题的情况下，输出层可能由基于损失函数的不同神经元组成。

隐藏层

输入和输出层之间的层称为隐藏层。根据我们正在解决的数据和问题的复杂程度，可能有数百个隐藏层。

损失函数(loss function or cost function)

神经网络是使用优化过程进行训练的，该过程需要损失函数来计算模型误差。在回归问题的情况下，最常用的损失函数是 Mean Squared Error。

反向传播

反向传播是神经网络中用于查找误差相对于权重和偏差的梯度的有效方法。名称的“向后”部分源于这样一个事实，即梯度的计算是通过网络向后进行的，首先计算最后一层权重的梯度，最后计算第一层权重的梯度。在计算前一层的梯度时，将重复使用一层的梯度部分计算。这种误差信息的反向流动允许有效地计算每一层的梯度，而不是单独计算每层梯度的朴素方法。