无题
一、概念,公式,比喻和cnn关系
Lipschitz 常数衡量的是一个函数“变化得有多快”(或者说“最陡峭的程度”)。
感觉和 深度学习18番外篇:深度神经网络:参数初始化(Xavier和He详细演算)
参数初始化,控制输入输出的方差要在1范围有点异曲同工之妙
生活化的比喻(开车限速)
假设你开车从 A 地到 B 地。
- 你的时间是 x x x,你走的距离是 f ( x ) f(x) f(x)。
- 你的车速就是距离随时间的变化率(导数)。
- 假设这条路上有最高限速,比如每小时 100 公里。
不管你开快开慢,你在任意两个时间点
x
1
x_1
x1 和
x
2
x_2
x2 之间走的距离差
∣
f
(
x
1
)
−
f
(
x
2
)
∣
|f(x_1) - f(x_2)|
∣f(x1)−f(x2)∣,绝对不会超过 100 乘以时间差
∣
x
1
−
x
2
∣
|x_1 - x_2|
∣x1−x2∣。
这里的“100”就是你这个开车函数的 Lipschitz 常数。
数学上的严格定义(拆解公式)
如果存在一个常数 L ≥ 0 L \ge 0 L≥0(这就是 Lipschitz 常数),使得对于函数 f ( x ) f(x) f(x) 定义域内的任意两个点 x 1 x_1 x1 和 x 2 x_2 x2,都满足下面这个不等式:
∣ f ( x 1 ) − f ( x 2 ) ∣ ≤ L ⋅ ∣ x 1 − x 2 ∣ |f(x_1) - f(x_2)| \le L \cdot |x_1 - x_2| ∣f(x1)−f(x2)∣≤L⋅∣x1−x2∣
- 左边 ∣ f ( x 1 ) − f ( x 2 ) ∣ |f(x_1) - f(x_2)| ∣f(x1)−f(x2)∣:函数值的差异(输出的变化量)。
- 右边 ∣ x 1 − x 2 ∣ |x_1 - x_2| ∣x1−x2∣:自变量的差异(输入的变化量)。
- L L L:就是那个限制变化速度的“天花板”。
几何意义: 如果你在函数图像上随便找两个点连成一条线,这条线的斜率的绝对值,永远不会超过 L L L。
一步步解释具体例子
例子 1:直线的例子(最好算)
假设函数是
f
(
x
)
=
3
x
+
1
f(x) = 3x + 1
f(x)=3x+1。
我们在图上随便找两个点
x
1
x_1
x1 和
x
2
x_2
x2:
- f ( x 1 ) = 3 x 1 + 1 f(x_1) = 3x_1 + 1 f(x1)=3x1+1
- f ( x 2 ) = 3 x 2 + 1 f(x_2) = 3x_2 + 1 f(x2)=3x2+1
算一下它们的差值:
∣
f
(
x
1
)
−
f
(
x
2
)
∣
=
∣
(
3
x
1
+
1
)
−
(
3
x
2
+
1
)
∣
=
∣
3
x
1
−
3
x
2
∣
=
3
∣
x
1
−
x
2
∣
|f(x_1) - f(x_2)| = |(3x_1 + 1) - (3x_2 + 1)| = |3x_1 - 3x_2| = 3|x_1 - x_2|
∣f(x1)−f(x2)∣=∣(3x1+1)−(3x2+1)∣=∣3x1−3x2∣=3∣x1−x2∣
你看,这个结果刚好等于
3
⋅
∣
x
1
−
x
2
∣
3 \cdot |x_1 - x_2|
3⋅∣x1−x2∣。
所以,这个直线的 Lipschitz 常数
L
=
3
L = 3
L=3。直线的斜率是固定的,所以它的 Lipschitz 常数就是它的斜率。
例子 2:抛物线的例子(区分局部和全局)
假设函数是 f ( x ) = x 2 f(x) = x^2 f(x)=x2。这个函数越往两边,坡度越陡。
- 如果我们在 x ∈ [ − 10 , 10 ] x \in [-10, 10] x∈[−10,10] 这个范围内看,它的导数(斜率)最大是 2 x 2x 2x,在 x = 10 x = 10 x=10 或 − 10 -10 −10 时取到,最大斜率是 20。所以在这个区间内, L = 20 L = 20 L=20。
- 但是注意: 如果你不限制 x x x 的范围,当 x x x 趋近于无穷大时,抛物线会变得无限陡峭。在全局范围 ( − ∞ , + ∞ ) (-\infty, +\infty) (−∞,+∞) 上, f ( x ) = x 2 f(x) = x^2 f(x)=x2 是不存在 Lipschitz 常数的(因为找不到一个固定的常数 L L L 能封顶它的变化率)。
与深度学习(CNN)关系
-
梯度爆炸/消失:
神经网络本质上就是无数个函数嵌套(复合函数)。复合函数的 Lipschitz 常数约等于每一层 Lipschitz 常数的乘积。- 如果每一层的 L L L 都大于 1(比如 1.5),10 层之后, 1.5 10 ≈ 57 1.5^{10} \approx 57 1.510≈57,变化率爆炸,导致梯度爆炸。
- 如果每一层的
L
L
L 都小于 1(比如 0.8),10 层之后,
0.8
10
≈
0.1
0.8^{10} \approx 0.1
0.810≈0.1,变化率几乎消失,导致梯度消失。
这就是为什么我们要用 BatchNorm、权重初始化等方法,本质上就是为了把每一层的 Lipschitz 常数控制在 1 附近。
-
对抗样本(Adversarial Examples):
你给图片加一个肉眼看不见的微小噪声(改变输入 x x x),如果模型的 Lipschitz 常数很大,输出结果(预测值)就会发生剧烈变化,导致模型认错。Lipschitz 常数越小,模型越“鲁棒”(抗干扰能力强)。 -
GAN 稳定训练(WGAN):
在生成对抗网络中,WGAN 要求判别器必须满足 1-Lipschitz 连续(即 L ≤ 1 L \le 1 L≤1)。为了实现这个目标,研究人员发明了各种奇技淫巧(比如梯度惩罚 GP),来强行把网络的 Lipschitz 常数压制在 1 以内,从而防止训练崩塌。
总结
Lipschitz 常数就是衡量函数变化“有多陡”的标尺。在数学上它约束了函数的变化率,在深度学习中它是控制模型稳定性和鲁棒性的关键指标。
二、复合函数的 Lipschitz 常数约等于每一层 Lipschitz 常数的乘积。(举例子)
假设我们有两个函数嵌套:
-
第一层: y 1 = f 1 ( x ) y_1 = f_1(x) y1=f1(x)
-
第二层: y = f 2 ( y 1 ) y = f_2(y_1) y=f2(y1)
-
假设 f 1 f_1 f1 的 Lipschitz 常数是 L 1 L_1 L1。意思是:输入 x x x 变化 1 个单位,输出 y 1 y_1 y1 最多变化 L 1 L_1 L1 个单位。
-
假设 f 2 f_2 f2 的 Lipschitz 常数是 L 2 L_2 L2。意思是:输入 y 1 y_1 y1 变化 1 个单位,输出 y y y 最多变化 L 2 L_2 L2 个单位。
现在,我们来看总体的变化:
如果一开始,输入
x
x
x 变化了
Δ
x
\Delta x
Δx:
- 第一层输出 y 1 y_1 y1 最多变化 L 1 × Δ x L_1 \times \Delta x L1×Δx。
- 这个变化量作为第二层的输入,第二层输出 y y y 最多变化 L 2 × L_2 \times L2× (第一层的最大变化量)。
- 也就是: L 2 × ( L 1 × Δ x ) = ( L 1 × L 2 ) × Δ x L_2 \times (L_1 \times \Delta x) = (L_1 \times L_2) \times \Delta x L2×(L1×Δx)=(L1×L2)×Δx。
你看,总的变化率(总 Lipschitz 常数)就是 L 1 × L 2 L_1 \times L_2 L1×L2。(用微积分的观点看,就是复合函数的导数等于内外层导数的乘积,即链式法则)。
三、看看Lipschitz在模型中的梯度爆炸和梯度消失
代入具体数字(感受“爆炸”与“消失”)
假设我们有一个 10 层的神经网络。每一层(虽然形式不同,但)都有一个 Lipschitz 常数。我们来看看不同的常数会导致什么后果。
场景 A:链式相乘导致“梯度爆炸”
假设每一层的 L L L 都是 1.5(也就是稍微放大一点输入的变化)。
- 第 1 层:1.5
- 前 2 层复合: 1.5 × 1.5 = 2.25 1.5 \times 1.5 = 2.25 1.5×1.5=2.25
- 前 5 层复合: 1.5 5 ≈ 7.59 1.5^5 \approx 7.59 1.55≈7.59
- 前 10 层复合: 1.5 10 ≈ 57.6 1.5^{10} \approx 57.6 1.510≈57.6
这意味着什么?如果输入图片的像素稍微改变了 0.01(比如加了个噪点),经过 10 层网络后,输出会剧烈变化 0.576!网络变得极其敏感,根本无法训练,这就是梯度爆炸。
场景 B:链式相乘导致“梯度消失”
假设每一层的 L L L 都是 0.5(也就是缩小输入的变化,比如 Sigmoid 激活函数)。
- 第 1 层:0.5
- 前 2 层复合: 0.5 × 0.5 = 0.25 0.5 \times 0.5 = 0.25 0.5×0.5=0.25
- 前 5 层复合: 0.5 5 ≈ 0.03 0.5^5 \approx 0.03 0.55≈0.03
- 前 10 层复合: 0.5 10 ≈ 0.0009 0.5^{10} \approx 0.0009 0.510≈0.0009
这意味着,如果输入变了一点,传到最后输出几乎没感觉了。更可怕的是反向传播(求导)时,梯度也被连乘变得无限接近于 0。前面的层根本无法更新参数,这就是梯度消失。
转载自 CSDN-专业IT技术社区
原文链接:https://blog.csdn.net/tellmewhoisi/article/details/171107215



