核心内容摘要
拆解男女一起拆轮滑鞋：一场关于成长、误解与和解的冒险之旅
乘积法则当两个变化的世界相遇在微积分的学习中导数描述的是“变化”。
我们很容易理解加法的导数两个变量各自变化的累加但当两个变量相乘时事情变得有趣了。
为什么( f ⋅ g ) ′ (f \cdot g)(f⋅g)′不是简单的f ′ ⋅ g ′ f \cdot gf′⋅g′而是那串看起来有点啰嗦的f ′ g f g ′ fg fgf′gfg′本文将通过直观的几何图形和现代计算科学的视角为你揭开这个法则的奥秘。
几何直觉不断扩张的矩形理解乘积法则最简单的方法就是观察一个面积正在变大的矩形 。
想象一个矩形它的两条边长分别为u uu和v vv。
显然矩形的面积A u ⋅ v A u \cdot vAu⋅v。
现在如果这两条边都在随时间增长分别增加了极小的长度d u dudu和d v dvdv原面积u ⋅ v u \cdot vu⋅v新面积( u d u ) ⋅ ( v d v ) (u du) \cdot (v dv)(udu)⋅(vdv)展开这个乘法公式( u d u ) ( v d v ) u v u ⋅ d v v ⋅ d u d u ⋅ d v (u du)(v dv) uv u \cdot dv v \cdot du du \cdot dv(udu)(vdv)uvu⋅dvv⋅dudu⋅dv现在我们来看看面积增加了多少d A dAdAd A 新面积 − 原面积 u ⋅ d v v ⋅ d u d u ⋅ d v dA \text{新面积} - \text{原面积} u \cdot dv v \cdot du du \cdot dvdA新面积−原面积u⋅dvv⋅dudu⋅dv在微积分中当d u dudu和d v dvdv趋近于无穷小时它们相乘产生的那个微小矩形d u ⋅ d v du \cdot dvdu⋅dv实在太小了相对于其他项可以忽略不计 。
于是d A ≈ u ⋅ d v v ⋅ d u dA \approx u \cdot dv v \cdot dudA≈u⋅dvv⋅du这就是乘积法则的本质总的变化等于“
分的固定值乘以
分的变化”加上“
分的固定值乘以
分的变化” 。
为什么f ′ ⋅ g ′ f \cdot gf′⋅g′是错的初学者经常直觉地认为乘积的导数就是导数的乘积。
我们举个简单的例子设f ( x ) x f(x) xf(x)xg ( x ) x g(x) xg(x)x。
那么f ⋅ g x 2 f \cdot g x^2f⋅gx2其导数坡度应该是2 x 2x2x。
如果按照错误的逻辑f ′ ⋅ g ′ f \cdot gf′⋅g′那么1 ⋅ 1 1 1 \cdot 1 11⋅11。
显然2 x 2x2x不等于1 11。
错误的逻辑忽略了两个变量之间协同增长产生的额外面积。
只有通过f ′ g f g ′ 1 ⋅ x x ⋅ 1 2 x fg fg 1 \cdot x x \cdot 1 2xf′gfg′1⋅xx⋅12x我们才能得到完美的答案。
计算机的视角自动微分中的“背包”在上一篇博文中我们提到自动微分AD通过“对偶数”Dual Numbers来计算导数。
对偶数的形式是a b ϵ a b\epsilonabϵ其中ϵ 2 0 \epsilon^2 0ϵ20。
当我们用对偶数做乘法时计算机实际上在执行一个数学炼金术 ( u u ′ ϵ ) × ( v v ′ ϵ ) u v ( u v ′ u ′ v ) ϵ u ′ v ′ ϵ 2 (u u\epsilon) \times (v v\epsilon) uv (uv uv)\epsilon uv\epsilon^2(uu′ϵ)×(vv′ϵ)uv(uv′u′v)ϵu′v′ϵ2因为ϵ 2 0 \epsilon^2 0ϵ20最后一项消失了结果变为u v ( u v ′ u ′ v ) ϵ uv (uv uv)\epsilonuv(uv′u′v)ϵ看那个“对偶部”ϵ \epsilonϵ后面的部分自动计算出了乘积法则的结果u v ′ u ′ v uv uvuv′u′v。
这就是为什么在 Julia 语言如使用 ForwardDiff.jl中你只需要写出普通的乘法逻辑 x * y计算机就能在后台精准地追踪导数 。
它并不是在背公式而是利用对偶数的代数性质让乘积法则在运算过程中自然浮现。
现实世界的应用投篮机器人回到我们的投篮机器人例子。
计算球的落地位置y ( T ) y(T)y(T)时公式中包含类似v 2 cos 2 θ v^2 \cos^2 \thetav2cos2θ的项 。
这是一个复杂的乘积速度的平方乘以角度余弦的平方。
如果机器人想要微调角度θ \thetaθ角度的变化不仅影响cos θ \cos\thetacosθ还会通过乘积关系影响整个轨迹的落点。
乘积法则告诉机器人角度的变化是如何通过余弦函数进而影响到最终位移的。
如果没有乘积法则梯度下降算法就无法告诉神经网络“如果你把速度提高 5%由于速度是平方项且与角度耦合最终落点会偏离这么多。
” 。
总结乘积法则不是一个枯燥的公式它是变化耦合的体现。
它告诉我们在一个由多个因素共同决定的系统中比如v vv和θ \thetaθ共同决定落点总的变化是由各个因素交替“发力”并相互叠加的结果。