深度学习并非是某个人凭空创造出来的，而是在数十年人工智能研究工作的基础上，经过几代人的努力逐渐发展并趋向成熟的。例如，加拿大的杰弗里·辛顿（）（图7-1），他发明的反向传播算法（BP算法）是深度学习的基础算法，同时他也是深度学习的积极推动者；扬·勒丘恩是卷积神经网络的领军人物，他对卷积神经网络（CNN）使用反向传播算法并使其达到了能够真正实用的水平；约书亚·本吉奥推动了递归神经网络（RNN）的研究并将其应用于语言模型、机器翻译等；伊恩·古德费洛发明了生成对抗网络（GAN），使得两个神经网络可以通过互相博弈的方式进行学习。直接为深度学习做出重要贡献的学者名单还可以列出一大串，经过他们的不懈努力，短短十多年的时间，深度学习已经成为当前人工智能的主要方法。
图7-1 深度学习之父、加拿大多伦多大学辛顿教授
现在深度学习在人工智能的各个领域都有应用，并且在几乎所有数据庞大、结构复杂的问题中，都颠覆性地超越了以往方法，被称为新一代人工智能。深度学习可以分为监督学习和无（半）监督学习。无监督学习与人类的学习方式更接近，吸引了很多研究者的目光，并且在不断取得突破，但还不是非常成熟的方法。监督学习已取得巨大的成功，是现在已投入使用的主流方法，本教材介绍的内容将以监督学习方法为主。
一个成功的人工智能系统，可以准确地提取数据中的特征。例如，分类问题，可以看作是从数据到类别的映射，分类的过程就是寻找恰当的映射机制的过程。以图像识别为例，一个线性分类器或者其他能识别浅层特征的分类器也许能够分辨出猫和狗的照片不是同一类，但如果金毛犬和拉布拉多犬以相同的姿态出现在两张照片的同一个位置，浅层分类器很可能就不能给出良好的映射机制。为了加强分类能力，传统的方法是人工设计更好的特征提取器，这就需要大量的工程技术和专业领域知识，此外还可以使用核方法这类技术来泛化非线性特性，但这些做法的效果并不是很好。
深度学习同样是学习原始数据的内在特征，但是它是通过对简单的网络结构进行组合，实现对复杂的数据特征进行分层次的、抽象的表达。更重要的是，这个学习表达的过程是通过通用的方式自动实现的，并不需要人工干涉和专业知识。这是深度学习的关键优势。
此外，深度学习与传统的人工智能方法还有如下主要区别。
（1）深度学习所面对的问题一般更加复杂
深度学习所处理的数据包括图片、声音，甚至视频（当然也包括通过表格存储的经典数据）。这样的数据叫作非结构化数据，通常具有非常高的维度，或者说数据的属性非常多。
（2）深度学习处理的分类问题通常类别较多
例如，在识别图片中的物体这样的任务中，需要一个能识别庞大类别的分类器。这是因为在图片中可能出现的物体千差万别，只要有可能出现在图片中，就需要能够把它识别出来。
（3）深度学习的训练数据规模庞大
从当前深度学习的工程经验看，识别一个类别至少需要数千个样本，由此推断，能识别1000个类别的深度学习分类器，大概需要百万级别的样本数据。
深度学习使用的网络结构有很多种，接下来将选取其中具有代表性也是取得了巨大成功的两种网络结构——卷积神经网络（CNN）和递归神经网络（RNN）应用于具体案例。本章使用卷积神经网络实现手写数字识别，接下来的两章中，将使用它们分别实现人脸识别和文本情绪识别。
