tellmewhoisi头像

深度学习0:数学知识:(Lipschitz)

一、概念,公式,比喻和cnn关系

Lipschitz 常数衡量的是一个函数“变化得有多快”(或者说“最陡峭的程度”)。

感觉和 深度学习18番外篇:深度神经网络:参数初始化(Xavier和He详细演算)
参数初始化,控制输入输出的方差要在1范围有点异曲同工之妙

生活化的比喻(开车限速)

假设你开车从 A 地到 B 地。

  • 你的时间是 x x x,你走的距离是 f ( x ) f(x) f(x)。
  • 你的车速就是距离随时间的变化率(导数)。
  • 假设这条路上有最高限速,比如每小时 100 公里。

不管你开快开慢,你在任意两个时间点 x 1 x_1 x1​ 和 x 2 x_2 x2​ 之间走的距离差 ∣ f ( x 1 ) − f ( x 2 ) ∣ |f(x_1) - f(x_2)| ∣f(x1​)−f(x2​)∣,绝对不会超过 100 乘以时间差 ∣ x 1 − x 2 ∣ |x_1 - x_2| ∣x1​−x2​∣。
这里的“100”就是你这个开车函数的 Lipschitz 常数。

数学上的严格定义(拆解公式)

如果存在一个常数 L ≥ 0 L \ge 0 L≥0(这就是 Lipschitz 常数),使得对于函数 f ( x ) f(x) f(x) 定义域内的任意两个点 x 1 x_1 x1​ 和 x 2 x_2 x2​,都满足下面这个不等式:

∣ f ( x 1 ) − f ( x 2 ) ∣ ≤ L ⋅ ∣ x 1 − x 2 ∣ |f(x_1) - f(x_2)| \le L \cdot |x_1 - x_2| ∣f(x1​)−f(x2​)∣≤L⋅∣x1​−x2​∣

  • 左边 ∣ f ( x 1 ) − f ( x 2 ) ∣ |f(x_1) - f(x_2)| ∣f(x1​)−f(x2​)∣:函数值的差异(输出的变化量)。
  • 右边 ∣ x 1 − x 2 ∣ |x_1 - x_2| ∣x1​−x2​∣:自变量的差异(输入的变化量)。
  • L L L:就是那个限制变化速度的“天花板”。

几何意义: 如果你在函数图像上随便找两个点连成一条线,这条线的斜率的绝对值,永远不会超过 L L L。

一步步解释具体例子

例子 1:直线的例子(最好算)

假设函数是 f ( x ) = 3 x + 1 f(x) = 3x + 1 f(x)=3x+1。
我们在图上随便找两个点 x 1 x_1 x1​ 和 x 2 x_2 x2​:

  • f ( x 1 ) = 3 x 1 + 1 f(x_1) = 3x_1 + 1 f(x1​)=3x1​+1
  • f ( x 2 ) = 3 x 2 + 1 f(x_2) = 3x_2 + 1 f(x2​)=3x2​+1

算一下它们的差值:
∣ f ( x 1 ) − f ( x 2 ) ∣ = ∣ ( 3 x 1 + 1 ) − ( 3 x 2 + 1 ) ∣ = ∣ 3 x 1 − 3 x 2 ∣ = 3 ∣ x 1 − x 2 ∣ |f(x_1) - f(x_2)| = |(3x_1 + 1) - (3x_2 + 1)| = |3x_1 - 3x_2| = 3|x_1 - x_2| ∣f(x1​)−f(x2​)∣=∣(3x1​+1)−(3x2​+1)∣=∣3x1​−3x2​∣=3∣x1​−x2​∣

你看,这个结果刚好等于 3 ⋅ ∣ x 1 − x 2 ∣ 3 \cdot |x_1 - x_2| 3⋅∣x1​−x2​∣。
所以,这个直线的 Lipschitz 常数 L = 3 L = 3 L=3。直线的斜率是固定的,所以它的 Lipschitz 常数就是它的斜率。

例子 2:抛物线的例子(区分局部和全局)

假设函数是 f ( x ) = x 2 f(x) = x^2 f(x)=x2。这个函数越往两边,坡度越陡。

  • 如果我们在 x ∈ [ − 10 , 10 ] x \in [-10, 10] x∈[−10,10] 这个范围内看,它的导数(斜率)最大是 2 x 2x 2x,在 x = 10 x = 10 x=10 或 − 10 -10 −10 时取到,最大斜率是 20。所以在这个区间内, L = 20 L = 20 L=20。
  • 但是注意: 如果你不限制 x x x 的范围,当 x x x 趋近于无穷大时,抛物线会变得无限陡峭。在全局范围 ( − ∞ , + ∞ ) (-\infty, +\infty) (−∞,+∞) 上, f ( x ) = x 2 f(x) = x^2 f(x)=x2 是不存在 Lipschitz 常数的(因为找不到一个固定的常数 L L L 能封顶它的变化率)。
与深度学习(CNN)关系
  1. 梯度爆炸/消失:
    神经网络本质上就是无数个函数嵌套(复合函数)。复合函数的 Lipschitz 常数约等于每一层 Lipschitz 常数的乘积。

    • 如果每一层的 L L L 都大于 1(比如 1.5),10 层之后, 1.5 10 ≈ 57 1.5^{10} \approx 57 1.510≈57,变化率爆炸,导致梯度爆炸。
    • 如果每一层的 L L L 都小于 1(比如 0.8),10 层之后, 0.8 10 ≈ 0.1 0.8^{10} \approx 0.1 0.810≈0.1,变化率几乎消失,导致梯度消失。
      这就是为什么我们要用 BatchNorm、权重初始化等方法,本质上就是为了把每一层的 Lipschitz 常数控制在 1 附近。
  2. 对抗样本(Adversarial Examples):
    你给图片加一个肉眼看不见的微小噪声(改变输入 x x x),如果模型的 Lipschitz 常数很大,输出结果(预测值)就会发生剧烈变化,导致模型认错。Lipschitz 常数越小,模型越“鲁棒”(抗干扰能力强)。

  3. GAN 稳定训练(WGAN):
    在生成对抗网络中,WGAN 要求判别器必须满足 1-Lipschitz 连续(即 L ≤ 1 L \le 1 L≤1)。为了实现这个目标,研究人员发明了各种奇技淫巧(比如梯度惩罚 GP),来强行把网络的 Lipschitz 常数压制在 1 以内,从而防止训练崩塌。

总结

Lipschitz 常数就是衡量函数变化“有多陡”的标尺。在数学上它约束了函数的变化率,在深度学习中它是控制模型稳定性和鲁棒性的关键指标。

二、复合函数的 Lipschitz 常数约等于每一层 Lipschitz 常数的乘积。(举例子)

假设我们有两个函数嵌套:

  • 第一层: y 1 = f 1 ( x ) y_1 = f_1(x) y1​=f1​(x)

  • 第二层: y = f 2 ( y 1 ) y = f_2(y_1) y=f2​(y1​)

  • 假设 f 1 f_1 f1​ 的 Lipschitz 常数是 L 1 L_1 L1​。意思是:输入 x x x 变化 1 个单位,输出 y 1 y_1 y1​ 最多变化 L 1 L_1 L1​ 个单位。

  • 假设 f 2 f_2 f2​ 的 Lipschitz 常数是 L 2 L_2 L2​。意思是:输入 y 1 y_1 y1​ 变化 1 个单位,输出 y y y 最多变化 L 2 L_2 L2​ 个单位。

现在,我们来看总体的变化:
如果一开始,输入 x x x 变化了 Δ x \Delta x Δx:

  1. 第一层输出 y 1 y_1 y1​ 最多变化 L 1 × Δ x L_1 \times \Delta x L1​×Δx。
  2. 这个变化量作为第二层的输入,第二层输出 y y y 最多变化 L 2 × L_2 \times L2​× (第一层的最大变化量)。
  3. 也就是: L 2 × ( L 1 × Δ x ) = ( L 1 × L 2 ) × Δ x L_2 \times (L_1 \times \Delta x) = (L_1 \times L_2) \times \Delta x L2​×(L1​×Δx)=(L1​×L2​)×Δx。

你看,总的变化率(总 Lipschitz 常数)就是 L 1 × L 2 L_1 \times L_2 L1​×L2​。(用微积分的观点看,就是复合函数的导数等于内外层导数的乘积,即链式法则)。

三、看看Lipschitz在模型中的梯度爆炸和梯度消失

代入具体数字(感受“爆炸”与“消失”)

假设我们有一个 10 层的神经网络。每一层(虽然形式不同,但)都有一个 Lipschitz 常数。我们来看看不同的常数会导致什么后果。

场景 A:链式相乘导致“梯度爆炸”

假设每一层的 L L L 都是 1.5(也就是稍微放大一点输入的变化)。

  • 第 1 层:1.5
  • 前 2 层复合: 1.5 × 1.5 = 2.25 1.5 \times 1.5 = 2.25 1.5×1.5=2.25
  • 前 5 层复合: 1.5 5 ≈ 7.59 1.5^5 \approx 7.59 1.55≈7.59
  • 前 10 层复合: 1.5 10 ≈ 57.6 1.5^{10} \approx 57.6 1.510≈57.6

这意味着什么?如果输入图片的像素稍微改变了 0.01(比如加了个噪点),经过 10 层网络后,输出会剧烈变化 0.576!网络变得极其敏感,根本无法训练,这就是梯度爆炸。

场景 B:链式相乘导致“梯度消失”

假设每一层的 L L L 都是 0.5(也就是缩小输入的变化,比如 Sigmoid 激活函数)。

  • 第 1 层:0.5
  • 前 2 层复合: 0.5 × 0.5 = 0.25 0.5 \times 0.5 = 0.25 0.5×0.5=0.25
  • 前 5 层复合: 0.5 5 ≈ 0.03 0.5^5 \approx 0.03 0.55≈0.03
  • 前 10 层复合: 0.5 10 ≈ 0.0009 0.5^{10} \approx 0.0009 0.510≈0.0009

这意味着,如果输入变了一点,传到最后输出几乎没感觉了。更可怕的是反向传播(求导)时,梯度也被连乘变得无限接近于 0。前面的层根本无法更新参数,这就是梯度消失。

转载自 CSDN-专业IT技术社区

原文链接:https://blog.csdn.net/tellmewhoisi/article/details/171107215

文章来源转载

评论

评论列表

微信小程序
QQ小程序

关于作者

点赞数:0
关注数:0
粉丝:0
文章:0
关注标签:0
加入于:--