核心内容摘要
教育工具优化与学习体验提升：JiYuTrainer的双向平衡之道
文章目录Week 34: 量子深度学习入门从 Neural ODE 到哈密顿量子演化摘要Abstract
ResNet的连续极限
1 从离散层到连续流
2 伴随敏感度法
非均匀时序建模
1 场景
2 ODE-RNN
跨越边界哈密顿量与量子可能性
1 物理守恒与哈密顿网络 (HNN)
2 薛定谔方程
总结Week 34: 量子深度学习入门从 Neural ODE 到哈密顿量子演化摘要本周的研究聚焦于深度学习与动力系统的交叉领域。
本周学习了连续时间场景下的问题深入探究了神经常微分方程 Neural ODE及其物理本质哈密顿量演化为量子计算的创新做一定的基础工作。
AbstractThis week’s research has centred on the interdisciplinary field of deep learning and dynamical systems. We examined problems within continuous-time settings, delving deeply into Neural Ordinary Differential Equations (Neural ODEs) and their physical essence—the evolution of the Hamiltonian. This work lays foundational groundwork for innovations in quantum computing.
ResNet的连续极限
1 从离散层到连续流经典的残差网络 (ResNet) 的更新公式为h t 1 h t f ( h t , θ t ) h_{t1} h_t f(h_t, \theta_t)ht1htf(ht,θt)这可以看作是微分方程 $ \frac{dh(t)}{dt} f(h(t), t, \theta) $ 的欧拉离散化步长Δ t 1 \Delta t 1Δt1。
Neural ODE 提出直接对微分方程进行建模h ( T ) h ( 0 ) ∫ 0 T f ( h ( t ) , t , θ ) d t h(T) h(
\int_{0}^{T} f(h(t), t, \theta) dth(T)h(
∫0Tf(h(t),t,θ)dt其中f ff是一个神经网络。
求解h ( T ) h(T)h(T)不再依赖固定的层数而是通过黑盒的 ODE Solver如 Runge-Kutta 方法进行积分。
2 伴随敏感度法为了训练 Neural ODE反向传播必须穿过 ODE Solver。
直接反向传播内存开销巨大。
而伴随法通过求解另一个逆向的 ODE 来计算梯度使得显存占用为O ( 1 ) O(
O(
与积分步数无关。
这对于长序列环境数据模拟至关重要。
非均匀时序建模
1 场景在环境科学如空气质量监测、水文模拟中传感器数据往往是非均匀采样 (Irregularly Sampled) 的——传感器可能因故障断连或采样频率随电量变化。
传统 RNN/LSTM只能按固定步长t 1 , 2 , 3 t1, 2, 3t1,2,3处理必须进行插值填补这会引入人为偏差。
Neural ODE天然处理连续时间t ∈ R t \in \mathbb{R}t∈R。
给定任意观测时刻t i t_itiSolver 都能积分到该时刻给出预测。
2 ODE-RNN基于torchdiffeq的 ODE-RNN 模型用于模拟简单的空气污染物扩散过程。
importtorchimporttorch.nnasnnfromtorchdiffeqimportodeintclassODEFunc(nn.Module):定义动力学方程 dh/dt f(h, t)def__init__(self,hidden_dim):super().__init__()self.netnn.Sequential(nn.Linear(hidden_dim,
,nn.Tanh(),nn.Linear(50,hidden_dim),)defforward(self,t,h):returnself.net(h)classODERNN(nn.Module):def__init__(self,input_dim,hidden_dim):super().__init__()self.ode_funcODEFunc(hidden_dim)self.gru_cellnn.GRUCell(input_dim,hidden_dim)self.hidden_dimhidden_dimdefforward(self,x,times): x: 观测数据 [Batch, Seq, Dim] times: 观测时间戳 [Seq] (可是非均匀的) batch_sizex.size(
htorch.zeros(batch_size,self.hidden_dim).to(x.device)outputs[]foriinrange(len(times)):ifi0:#
演化 (Evolution): 从 t_{i-1} 积分到 t_i# 这填补了观测间隙的动力学变化t_spantimes[i-1:i1]hodeint(self.ode_func,h,t_span)[1]# 取终点状态#
更新 (Update): 融合当前观测 x_i# 类似于卡尔曼滤波的校正步hself.gru_cell(x[:,i],h)outputs.append(h)returntorch.stack(outputs,dim
在随机丢弃 50% 数据点的模拟数据集上ODE-RNN 的预测误差显著低于标准 GRU证明了显式建模物理演化过程的有效性。
跨越边界哈密顿量与量子可能性
1 物理守恒与哈密顿网络 (HNN)在物理模拟中Neural ODE 可能违背能量守恒定律。
Hamiltonian Neural Networks (HNN) 引入了哈密顿力学的先验。
它不直接学习向量场f ff而是学习标量场哈密顿量 (Hamiltonian)H ( q , p ) H(q, p)H(q,p)代表系统总能量。
系统的演化遵循辛结构 (Symplectic Structure)d q d t ∂ H ∂ p , d p d t − ∂ H ∂ q \frac{dq}{dt} \frac{\partial H}{\partial p}, \quad \frac{dp}{dt} -\frac{\partial H}{\partial q}dtdq∂p∂H,dtdp−∂q∂H这保证了在长时间预测中能量不发散。
2 薛定谔方程量子力学的核心方程是薛定谔方程。
i ℏ d ∣ ψ ( t ) ⟩ d t H ^ ∣ ψ ( t ) ⟩ i\hbar \frac{d|\psi(t)\rangle}{dt} \hat{H} |\psi(t)\rangleiℏdtd∣ψ(t)⟩H^∣ψ(t)⟩这就是一个线性的、复数域的 Neural ODE其中H ^ \hat{H}H^是哈密顿算符。
量子深度学习的可能性量子模拟器我们可以用 Neural ODE (处理复数) 来学习未知的量子哈密顿量H ^ \hat{H}H^从而预测量子系统的演化。
这在量子化学预测分子能级中有巨大潜力。
量子算法设计 PQC (参数化量子电路) 本质上是离散化的酉演化U ( θ ) e − i θ H U(\theta) e^{-i\theta H}U(θ)e−iθH。
如果我们把 Neural ODE 部署在真实的量子计算机上我们就实现了一个连续时间的模拟量子计算 (Analog Quantum Computing) 模型。
HNN-Quantum 混合利用 HNN 在经典 GPU 上学习系统的能量曲面然后将其编码进量子计算机的哈密顿量中进行快速模拟。
总结本周的进行了必要的物理原理的了解学习了 Neural ODE 在处理非均匀采样时序数据如环境监测中的优势尝试理解其与量子力学薛定谔方程的同构性探讨了其作为连接经典物理模拟与量子深度学习桥梁的潜力。
Neural ODE 完美解决了环境科学中“非均匀采样”和“连续物理过程”的建模难题比纯黑盒 RNN 更具可解释性和鲁棒性。
而Neural ODE与薛定谔方程的数学同构性为我们提供了一种理解量子演化的视角未来可能根据这点做进一步学习和创新。