关键词：神经网络、深度学习、机器学习、回归、分类、权重、DNN、CNN、感知机、误差反向传播、梯度消失
说明：原文图片较多，本文以文字总结为主，可直接复制到 CSDN 使用。
本章概览
本章通过绫乃和美绪的对话，从零开始介绍神经网络。主要内容包括：神经网络在 AI 和机器学习中的位置、神经网络的基本结构、权重和训练的含义、神经网络能解决的回归/分类/生成任务，以及学习神经网络所需的数学与编程基础。最后通过专栏回顾了神经网络经历两次“寒冬期”的历史。
一句话总结：神经网络是机器学习的一种算法，由单元和层连接而成，通过数据学习权重；深层神经网络的学习就是深度学习。它整体可以看作一个函数 f(x)=y，既能做回归、分类，也能做图像生成等任务。
1.1 对神经网络的兴趣
核心内容：
绫乃对深度学习产生兴趣，来找擅长数学的美绪请教。美绪学过深度学习基础，做过计算机视觉研究，也创建过深度学习模型。绫乃几乎零基础，只知道神经网络“模仿人脑”，但不清楚神经网络和深度学习是不是一回事。
要点总结：
- 深度学习 / 神经网络是当前热门方向，常和 AI、人工智能一起出现。
- 美绪强调：学习之前最好先思考“自己想做什么、目的是什么”。
- 绫乃目前只是被 AI 的未来感吸引，还没有明确目标。
- 两人决定先了解：什么是神经网络，以及它和深度学习有什么区别。
本节启发：
学习神经网络之前，先建立整体认知比直接陷入数学公式更重要。明确目标，会让后续学习更有方向。
1.2 神经网络所处的位置
核心内容：
神经网络并不是凭空出现的新技术，而是机器学习的一个领域。它和线性回归、感知机、逻辑回归一样，都是机器学习算法，可以解决回归和分类问题。
要点总结：
- AI 是更大的概念，机器学习是 AI 的一部分，神经网络又是机器学习的一种算法。
- 神经网络历史相当古老，并不是最近才出现的技术。
- 回归：处理连续值，例如根据过去股价预测未来股价。
- 分类：处理离散类别，例如判断邮件是否为垃圾邮件。
- 神经网络虽然能解决回归和分类，但有其他算法没有的特点，需要从结构入手理解。
| 问题类型 | 处理对象 | 例子 |
|---|---|---|
| 回归 | 连续值 | 根据历史股价预测未来股价 |
| 分类 | 离散类别 | 垃圾邮件 / 非垃圾邮件 |
本节启发：
不要把神经网络神秘化。它首先是一种机器学习算法，只是结构和学习方式有自身特点。
1.3 关于神经网络
核心内容：
神经网络模仿人脑功能，人脑由神经元组成。神经网络中常用圆形表示神经元，也叫单元；箭头表示连接。输入值向右经过层，被赋予权重，最终输出结果。
要点总结：
- 神经网络图中，圆形代表神经元 / 单元，箭头代表连接。
- 输入值经过由单元组成的层，并在连接上被赋予权重，最后得到输出值。
- 权重表示信息的重要性或相关性。
- 示例：根据身高、体重、年龄判断是否健康。权重类似医生诊断时对各项信息重要性的综合判断。
- 一开始不知道合适权重，需要通过机器学习来学习权重。
- 输入值数量可以增加；隐藏层单元数量可以调整；层数也可以增加。
- 层数不断增加，网络越来越深，形成深度神经网络，简称 DNN。
- 学习深层神经网络的权重，就叫深度学习 / 深层学习，也可以理解为训练深层神经网络。
- 结构不是越复杂越好：越复杂，越需要大量数据和时间，很多方面需要另辟蹊径。
- 神经网络结构如何确定，需要不断试错。
- 单元之间的连接方式也可以改变，卷积神经网络 CNN 就是典型例子。
- 当前阶段目标：大概理解神经网络即可。
| 可调整项 | 说明 |
|---|---|
| 输入值数量 | 可以随特征增加 |
| 隐藏层单元数 | 可以自由设置 |
| 层数 | 层数越多，网络越深 |
| 连接方式 | 例如 CNN 改变了连接方式 |
本节启发：
神经网络的核心是“单元 + 层 + 连接 + 权重”。训练神经网络，本质上就是通过数据找到合适的权重。
1.4 神经网络能做的事情
核心内容：
神经网络整体可以看作一个大函数 f(x)=y。输入 x 经过网络处理后，得到输出 y。它不仅可以做回归和分类，还可以用于图像相关任务甚至生成任务。
要点总结：
- 神经网络实际上是一个函数 f(x)，输入值经过网络得到输出值。
- 回归问题：输出连续实数，例如输出“健康指数”。
- 二分类问题：可以通过设置输出值阈值来判断类别。
- 多分类问题：输出层单元数量与类别数一致，输出概率，且概率之和为 1，取概率最大的类别作为结果。
- 多分类时，输出值可以看作向量。
- 图像任务：输入层大小通常与图像像素数一致。
- 96×96 灰度图有 9216 个亮度值，因此输入有 9216 个。
- 如果是彩色图像，输入为各像素 RGB 值，输入层规模约为 3 倍，接近 30000 个输入。
- 大规模神经网络在实际中很常见。
- 神经网络还可以用于生成性任务，例如给一个种子 / 随机数，输出一张图像。
- 神经网络不仅能解决回归和分类，还能完成生成性任务，应用场景很多。
| 任务 | 输出形式 | 例子 |
|---|---|---|
| 回归 | 连续值 | 健康指数、股价预测 |
| 二分类 | 概率 / 阈值 | 健康 / 不健康 |
| 多分类 | 概率向量 | 健康 / 不健康 / 需进一步检查 |
| 图像分类 | 类别 | 输入像素，输出类别 |
| 生成任务 | 图像等 | 种子生成图像 |
本节启发：
“神经网络是一个函数”这个视角非常关键。它帮助我们把神经网络理解为一种输入到输出的映射，而不是一堆神秘的圆圈和线。
1.5 数学与编程
核心内容：
学习神经网络需要一些数学基础，但不需要一上来就掌握非常高深的内容。编程方面，Python 很适合机器学习开发，其他语言也可以实现。
要点总结：
- 最好对概率、微分、线性代数有初步了解。
- 不需要多么难的数学知识，碰到不懂的地方查一查也能跟上。
- Python 适合机器学习开发，库很丰富。
- C、Ruby、PHP、JavaScript 等语言也能实现神经网络。
- 对有编程经验的人来说，语言之间大同小异。
- 绫乃擅长编程，美绪擅长数学，两人可以互补。
- 本次聊天结束，约定下次聊更具体的内容。
本节启发：
数学和编程不是入门神经网络的前置门槛，而是可以边学边补的工具。先建立整体框架，再逐步深入更有效。
专栏 神经网络的历史
核心内容：
神经网络现在很流行，但发展历史并不顺利，经历过两次“寒冬期”。
第1次寒冬期
- 神经网络的原型是感知机，最早出现在 20 世纪 50 年代。
- 当时感知机很流行，有很多相关研究。
- 但感知机只能解决简单问题，实际应用效果不好，人们逐渐失去兴趣。
- 有人提出把感知机组合起来，也就是使用神经网络解决复杂问题。
- 但当时知道如何训练单个感知机，却不知道如何高效训练组合而成的神经网络。
- 于是进入第 1 次寒冬期。
第2次寒冬期
- 20 世纪 80 年代，人们发现神经网络理论上可以用误差反向传播方法进行训练。
- 寒冬期一度结束，感知机再次流行。
- 但仍有两个难题：
- 能用于训练神经网络的数据太少。
- 大型神经网络虽然理论上可训练，但实践中受梯度消失问题影响，往往训练不好。
- 于是进入第 2 次寒冬期。
神经网络的复苏
- 进入 21 世纪，互联网普及，大量数据变得容易获取，神经网络重新受到关注。
- 还要感谢在寒冬期依然坚持研究的人，他们改进了技术。
- 神经网络现在很流行，但未来是否还会经历寒冬期并不确定。
- 神经网络本身是有用的，学习它不算浪费时间。
本节启发：
一项技术的流行，不只取决于理论，还取决于数据、算力和工程条件。神经网络的历史说明：算法、数据、算力共同推动了深度学习的复兴。
本章总结
- 神经网络是机器学习的一种算法，可以解决回归、分类和生成等任务。
- 神经网络由单元、层和连接组成，连接上带有权重。
- 权重表示信息的重要性或相关性，训练神经网络就是学习权重。
- 深层神经网络称为 DNN，学习其权重就是深度学习。
- 神经网络整体可以看作一个函数 f(x)=y。
- 回归输出连续值，分类输出类别或概率向量。
- 图像任务中，输入层大小通常与像素数相关，大规模网络很常见。
- 神经网络结构可以调整，但不是越复杂越好，需要不断试错。
- 数学只需初步概率、微分、线性代数；编程可用 Python 等语言。
- 神经网络经历过两次寒冬期，在数据充足和算法改进后重新繁荣。
金句摘录
神经网络实际上就是一个函数 f(x)。
神经网络就是单元之间互相连接而形成的，为了学习单元之间的权重，就要使用机器学习。
学习这种深层的神经网络的权重，就叫作深度学习，或者深层学习。
结构越复杂，学习的过程就越需要大量的数据，也越花时间。
神经网络不仅可以用于解决回归和分类问题，还可以用于生成性任务。
虽然神经网络现在很流行，但我们不知道它是否还会经历寒冬期。
个人思考
- 把神经网络看作函数 f(x)=y，是理解输入、输出和训练过程的好方法。
- 权重是神经网络真正“学习”到的内容，也是模型能力的核心。
- 网络结构设计不是越深越好，而是要在数据量、计算成本、任务难度之间权衡。
- 神经网络的发展历史说明，技术流行往往依赖算法、数据和算力的共同进步。
- 入门阶段不必被数学吓退，先建立整体认知，再逐步补齐数学和编程基础。
转载自 CSDN-专业IT技术社区
原文链接：https://blog.csdn.net/guolianggsta/article/details/164980843
