Depth Anything
DPT 深度模型
提供中间层空间特征
工作经历 / WORK EXPERIENCE小鹏汇天 · 视觉算法实习
超视距视觉算法Clarity at a distance.
让高效的双目匹配，学会更完整的空间理解。
01 / CHALLENGE弱信号下的空间理解
远距离匹配，先看关键难点。
RAFT-style 学生模型 × Depth Anything 特征蒸馏。
| 场景 | 匹配难点 | 优化方向 |
|---|---|---|
| 弱纹理 | 缺少可辨识的对应点 | 引入空间几何先验 |
| 重复纹理 | 相似结构导致歧义 | 局部特征与全局信息协同 |
| 40–90 m | 微小视差、信号弱 | 目标区间加权与稳定匹配 |
02 / TEACHER → STUDENT特征蒸馏架构
把空间先验，
教给高效的学生。
Feature Distillation↓中间层特征对齐 · MSE
RAFT-style
左右视图 → 特征提取 → 相关性体
多级卷积 GRU → 迭代视差精修
迭代输出Disparity → Depth视差与深度估计
03 / ENGINEERING THE GEOMETRY核心技术实践
让训练约束，
对应真实几何。
动态读取相机元数据中的 f · B，将目标深度范围映射到视差范围。围绕远距离像素施加权重，同时统一预测、标签与可视化的坐标约定。
平行双目几何 · 正视差约定d = xL − xR = fB / zz = fB / d
f：像素焦距 · B：基线（m） · z：深度（m）
| 机制 | 配置 | 作用 |
|---|---|---|
| 动态 fB | 从相机元数据读取 | 适配焦距与基线配置 |
| 目标区间加权 | 40–90 m；损失权重 1.5× | 强化远距离监督 |
| 坐标约定 | u = xR − xL = −d | 位移使用负向约定；深度使用正视差幅值 |
多重监督，共同约束
任务损失 · 预测视差与真值之间的匹配误差。
序列监督 · 对多次迭代输出衰减加权，γ = 0.9。
特征蒸馏 · 以 0.01 权重引入师生中间层特征 MSE。
Lseq = Σ γN−1−i LiLtotal = Lflow + 0.01 · Σ ‖Fstudent − Fteacher‖²04 / TRAINING SNAPSHOT训练收尾阶段
持续训练，
看见收敛。
TRAINING STEPS250k+
阶段起点25.0
阶段记录3.3
Flow Loss · 两个阶段记录值，非完整训练曲线或像素精度指标。亚像素级远距离对齐是优化目标，需结合独立评测确认。
05 / DEBUG & INFRASTRUCTURE训练之外的工程工作
| 检查项 | 做法 | 目的 |
|---|---|---|
| 视差图显示全黑 | 95 分位数对比度拉伸 | 看清远距离微小视差 |
| 标签与坐标 | 检查范围、符号、非零比例、Shape | 排查约定不一致 |
| 收敛波动 | 同时查看原始曲线与平滑趋势 | 区分样本差异与异常 |
| 多卡训练 | Accelerator · 7 × RTX 4000 | 训练调度与梯度同步 |
| 混合精度 | FP16 | 降低显存占用 |
| 训练记录 | W&B 离线记录 | 监控 Loss、学习率、梯度范数 |
