深度学习算法完整简介
最后更新：2020-04-09 12:21:34 手机定位技术交流文章
本文的主要目的是让您全面了解深度学习领域，并帮助您理解在每种特定情况下应该使用的算法。
神经网络:基础
神经网络是一个节点相互连接的计算系统。它的节点更像人脑中的神经元。这些神经元在它们之间处理和传递信息。每个神经网络都是一系列算法，试图通过模拟人脑运作的过程来识别一组数据中的潜在关系。
深度学习算法和经典神经网络有什么区别？最明显的区别是用于深度学习的神经网络有更多的隐含层。这些层位于神经元的第一层(即输入层)和最后一层(即输出层)之间。此外，没有必要连接不同层中的所有神经元。
你应该知道的九种深度学习算法
# 1反向传播
反向传播算法是一种非常流行的训练前馈神经网络的监督学习算法。实质上，反向传播是用于计算成本函数的导数的表达式，其是每层之间从左到右的导数积，而每层之间的权重梯度是部分积的简单修改(“反向传播误差”)。
我们向网络提供数据，网络产生输出。我们将输出与预期输出进行比较(使用损失函数)，然后根据差异重新调整权重。然后重复这个过程。权重的调整是通过一种称为随机梯度下降的非线性优化技术来实现的。
假设出于某种原因，我们想要识别图像中的树。我们向网络提供任何种类的图像并产生输出。因为我们知道图像是否真的有树，所以我们可以将输出与实际情况进行比较，并调整网络。随着我们传递越来越多的图像，网络错误会越来越少。现在我们可以给它提供一个未知的图像，这将告诉我们图像是否包含树。
# 2前馈神经网络(FNN)
前馈神经网络通常是完全连接的，这意味着一层中的每个神经元都连接到下一层中的所有其他神经元。所描述的结构被称为“多层感知器”，起源于1958年。单层感知器只能学习线性可分模式，而多层感知器可以学习数据之间的非线性关系。
前馈网络的目标是逼近某个函数。例如，对于分类，=(x)将输入x映射到类别y。前馈网络定义了映射y = f(x；θ)，并学习了导致最佳函数逼近的参数θ的值。
这些模型被称为前馈，因为从x到定义f的中间计算，最后到输出y，没有反馈连接。没有反馈连接将模型的输出反馈给它自己。当前馈神经网络扩展到包括反馈连接时，它们被称为循环神经网络。
# 3卷积神经网络
卷积神经网络不仅为机器人和自主车辆的视觉提供帮助，而且已经成功应用于人脸识别、目标监控、交通标志识别等领域。
在数学中，卷积是一个函数与另一个函数相交时，两个函数重叠程度的积分度量。
绿色曲线代表蓝色和红色曲线的卷积，它是T的函数，位置由垂直绿线表示。灰色区域表示乘积g(τ)f(t-τ)作为t的函数，因此它的面积作为t的函数是卷积。
这两个函数在x轴上每一点上的重叠积就是它们的卷积。
在某种程度上，他们试图规范前馈网络，以避免过度拟合(当模型只学习预先看到的数据，不能被推广)，这使他们能够识别数据空之间的关系。
# 4循环神经网络(RNN)
循环神经网络在许多自然语言处理任务中非常成功。在传统的神经网络中，可以理解所有的输入和输出都是独立的。然而，这对于许多任务来说是不合适的。如果你想预测一个句子中的下一个单词，你最好考虑它前面的单词。
RNN被称为循环，因为它们对序列的每个元素执行相同的任务，并且输出取决于先前的计算。对RNN的另一种解释是:这些网络有“记忆”，并考虑到以前的信息。
例如，如果序列是一个5个单词的句子，它由5层组成，每个单词一层。
RNN定义的计算公式如下:
例如，x1可以是对应于句子的第二个单词的一个热向量。S_t是步骤t中的隐藏状态。这是网络的“内存”。S_t函数取决于先前的状态和当前输入x _ t: s _ t = f (ux _ t+ws _ {t-1})。函数f通常是非线性的，如tanh或ReLU。计算第一个隐藏状态所需的S _ {-1}通常初始化为零(零向量)。例如，如果我们想要预测句子中的单词，输出可能是字典中的概率向量。O_t = softmax(Vs_t)图像描述生成
与卷积神经网络一起，RNN被用作模型的一部分来生成未标记图像的描述。组合模型将生成的单词与图像中的特征相结合:
最常见的RNN类型是LSTM，它比RNN更能捕捉(存储)长期依赖。LSTM和RNN本质上是一样的，但他们计算隐藏状态的方式不同。
在LSTM，记忆被称为细胞，可以被视为一个黑盒，接受先前的状态h_ {t-1}和当前的输入参数x_t作为输入。在内部，这些细胞决定保存和删除哪些记忆。然后，它们将以前的状态、当前内存和输入参数组合在一起。
这些类型的单元在捕获(存储)长期依赖性方面非常有效。
# 5递归神经网络
递归神经网络是循环网络的另一种形式，区别在于它们是树形结构。因此，他们可以对训练数据集中的层次结构进行建模。
由于它们与二叉树、上下文和基于自然语言的解析器的关系，它们通常被用于自然语言处理应用，例如音频到文本的转录和情感分析。然而，它们往往比递归网络慢得多
# 6自编码器
自编码器可以在输出端恢复输入信号。它们里面有一个隐藏层。自编码器被设计成不能精确地将输入复制到输出，但是为了最小化误差，网络被迫学习选择最重要的特征。
例如，当存在分类任务和太少的标签对时，自编码器可以用于预训练。或者减少数据的维数，以便以后可视化。或者，当你只需要学习有用的属性来区分输入信号。
# 7深层信念网络和受限玻尔兹曼机
受限玻尔兹曼机是一种随机神经网络(neuronal network，这意味着我们有神经元样的单元，其二进制激活依赖于它们所连接的相邻单元；随机意味着这些激活具有概率元素)，包括:
可见单元格层隐藏单元格层偏差单元格此外，每个可见单元格都连接到所有隐藏单元格(这种连接是无向的，因此每个隐藏单元格也连接到所有可见单元格)，而偏差单元格连接到所有可见单元格和所有隐藏单元格。
为了使学习更容易，我们限制了网络，使任何可见单元都不连接到任何其他可见单元，任何隐藏单元都不连接到任何其他隐藏单元。
多个径向基元可以叠加形成一个深层次的信念网络。它们看起来都像全连接层，但是它们的训练方法不同。
第八代对抗网络
GAN正在成为一种流行的在线零售机器学习模型，因为它们能够以越来越高的准确度理解和重构视觉内容。用例包括:
从轮廓填充图像。从文本生成逼真的图像。对产品原型进行逼真的描述。将黑白图像转换为彩色图像。在视频制作中，GAN可用于:
在框架内模拟人类行为和运动模式。预测后续视频帧。创建深层次的发电对策网络有两个部分:
生成器学习生成可信的数据。生成的实例成为鉴别器的负训练实例。鉴别器学会从数据中辨别发生器的错误数据。鉴别器惩罚产生不可信结果的生成器。建立GAN的第一步是确定所需的最终输出，并根据这些参数收集初始训练数据集。这些数据随后被随机化并输入到发生器中，直到获得生成输出的基本精度。
然后，生成的图像和原始概念的实际数据点被馈送到鉴别器中。鉴别器过滤信息并返回0到1之间的概率来指示每个图像的真实性(1与真相关，0与假相关)。然后检查这些值是否成功，并重复它们，直到达到预期的结果。
# 9变压器
变形金刚也很新。它们主要用于语言应用。它基于一个叫做注意力的概念，用来迫使网络关注特定的数据点。
因为LSTM单位太复杂，注意力机制可以用来根据它们的重要性来衡量输入的不同部分。注意力机制只是另一层有重量的东西。它的唯一目的是调整权重以区分输入部分的优先级，同时排除其他部分。
事实上，变压器由多个堆叠的编码器(形成编码器层)、多个堆叠的解码器(解码器层)以及一堆自编码器和编码器解码器组成
转换器设计用于处理各种任务的有序数据序列，如机器翻译和文本摘要，如自然语言。今天，BERT和GPT-2是在各种自然语言处理任务中使用的两个最著名的预先训练的自然语言系统。它们都基于变形金刚。
图10神经网络
一般来说，非结构化数据不适合深入学习。在许多实际应用中，数据是非结构化的，例如社交网络、复合、知识地图、空数据等。
图形神经网络的目的是对图形数据进行建模，这意味着它们识别图形中节点之间的关系并以数字形式表示它们。它们可以在以后的任何其他机器学习模型中用于各种任务，如聚类、分类等。
本文由 在线网速测试 整理编辑，转载请注明出处。
