Daily Report — 2026-09-19
Daily Overview
- 完成工作： 解决了 $\pi$0.5 VLA 模型中关键的 quantization 错误，并为 16 个 RoboMME 任务建立了结构化的 ‘Oracle visual prompt’ 训练框架，以评估 visual memory augmentation。
- 实施方式： 利用 ablation studies 和 video analysis，通过 AIMET TF-Enhanced 修复了 RMSNorm 的 quantization ranges，并开发了一个 Oracle-driven sidecar 系统，使用 scene-anchored 和稳健放置的 visual markers 来生成高保真训练对。
- 影响： 将 $\pi$0.5 在敏感任务中的性能从 0% 恢复到了接近完美的成功率，并为统一的 visual memory representation 提供了一个可扩展的、训练就绪的 pipeline。
MacOS
- 完成工作： 极少量的探索性测试和环境搭建。
- 实施方式： 标准的 terminal 使用和命令调查。
- 影响： 提供了初始的任务上下文。
TzJsDesktop
- 完成工作： 核心研究、robot policy 训练以及 visual prompt 设计。
- 实施方式： 执行了大规模 GPU 训练，进行了 side-by-side video audits，并实现了 ‘oracle_v2’ drawing rule 系统。
- 影响： 成功启动了 ‘all16_oracle’ 训练运行，并稳定了 visual prompt 生成逻辑。
lighthouse
- 完成工作： 大规模评估和潜在的 GPU rendering 支持。
- 实施方式： 在 GPU 上运行重型 simulation/evaluation suites。
- 影响： 为关键验证提供了高性能环境。
通过 RMSNorm 优化成功解决了 $\pi$0.5 模型中的 W4A4 quantization 失败问题，并将 RoboMemory 项目转型为针对 16 个任务的稳健的基于 Oracle 的 visual prompt 训练 pipeline。
Tasks
Architecture & Strategy
- ✅ Quantization Debugging & Root Cause Analysis — 通过分析 RMSNorm 输出噪声，确定为什么 W4A4 quantization 会导致 libero_goal/middle-drawer 任务的成功率为 0%。
- ✅ TF-Enhanced Quantization Pipeline Integration — 使用 AIMET TF-Enhanced 重建 backbone checkpoint，通过优化的 norm ranges 来修复 quantization 失败。
- ✅ Uniform-A4 Candidate Verification — 对 hybrid A4 candidate 进行 50-episode retest 以验证修复效果。
- ✅ Oracle Visual Prompt Specification (16 Tasks) — 为所有 16 个 RoboMME 任务定义简洁、可训练的 visual prompt 规则（icons, rings, badges）。
- 🔄 Oracle Sidecar Data Generation — 在多个 GPU shards 上使用新的 oracle_v2 drawing rules 生成 1600+ 个训练对。
- 🔄 all16_oracle Policy Training — 使用 GPU 4-7，在新的 oracle-provided visual prompts 上训练 $\pi$0.5 policy。
- ✅ RoboMME/pi0.5 Technical Audit — 调查 RoboMME evaluation protocols 和确切的 pi0.5 training recipe（frozen SigLIP, full LLM fine-tuning）。
- • Gemini_V2_Full_Run — 16 tasks * ep0, Memory mode, 470 calls, ~15 mins via API.
Implementation & Fixes
- 🔄 Final Deployment Validation — 完成官方 TF-Enhanced checkpoint 的 50-episode 测试，并在 AI Hub 上验证 latency。
- • MoveCube/InsertPeg Variant Rendering — 为 MoveCube (hook/pick/push) 和 InsertPeg (4 combinations) 渲染典型的 mp4s。
- 🔄 TokenMonitor SSH Sync Bug Fix — 调查为什么由于 archive boundary 问题导致 SSH 使用数据无法在设备间同步。
Problems & Solutions
Critical Issues
1. W4A4 quantization 导致 ‘middle-drawer’ 任务成功率为 0%（目标识别错误）。
Solution: 隔离了 35 个 RMSNorm 输出 tensors，并应用 AIMET 的 TF-Enhanced range setting 以减轻来自 outliers 的噪声。
Key Insight: 失败原因是 min-max quantization ranges 被均匀分布的 activation tensors 中的 outliers 拉伸，导致每层注入了约 10% 的噪声。
2. NVML/GPU invisibility error 以及 Training/Test mismatch。
Solution: 清理了孤儿进程以恢复 GPU 访问；从头开始重新启动训练，以确保 policy 学习新的 bottom-right/scene-anchored 分布。
3. Gemini 的 visual prompts/scoring 不一致（过早计数，错误的 identity tracking）。
Solution: 将优先级从修复 Gemini 的错误转向使用 ground-truth ‘Oracle’ 系统来生成完美的 visual prompts，用于训练机器人。
Key Insight: 对于 memory 任务来说，‘Target Hit Rate’ 是一个危险的指标，因为它将 object detection 与实际的 history memory 混为一谈。
4. 关于 $\pi$0.5 training methodology 的歧义（LoRA vs Full Fine-tuning）。
Solution: 检查代码以确认对 LLM 和 action expert 进行 full-parameter fine-tuning，同时保持 SigLIP visual tower frozen。
General Issues
5. Visual elements (icons/badges) 被机器人的 random cropping/rotation 截断。
Solution: 将坐标从 (3,3) 移动到 (16,16)/(26,26)，以确保在 95% 的 random crop 场景下可见。
Key Insight: Visual prompts 必须具备 ’training-robust’ 特性才能在 augmentation 中存活。
6. Evaluation script 留下了消耗约 230GB VRAM 的孤儿 server processes。
Solution: 修改了 cleanup logic，终止整个 process tree/PIDs 以确保 GPU 恢复。
Key Insight: 在复杂的环境中，标准的 process termination 通常无法清理子进程。
Human vs AI Approaches
Strategic Level
Research Direction & Methodology
| Role | Approach |
|---|---|
| Human | 拒绝了“先改进 Gemini”的想法；坚持定义一个最小的、可训练的 visual prompt set，并使用 video analysis 来证明分歧点。 |
| AI | 最初建议是 low tolerance/calibration 问题，并专注于完善 scoring/evaluation system 或修复 Gemini 的错误。 |
Difference Analysis: Human 优先考虑训练/有效性循环（success rate），而非评估完美度循环。
Task Sensitivity & Scoring
| Role | Approach |
|---|---|
| Human | 推动使用 ‘Role-Aware Scoring’，以区分单纯的 object detection 与实际的 target history memory。 |
| AI | 最初依赖 ‘Target Hit Ratio’，这通过 visual overlap 掩盖了错误。 |
Difference Analysis: Human 的审视导致发现高 hit rates 往往掩盖了关键的 memory failures。
Implementation Level
Command Execution
| Role | Approach |
|---|---|
| Human | N/A |
| AI | 使用精确的 PIDs 来 kill processes，以避免影响 shared pod 中的其他用户。 |
Difference Analysis: None
AI Limitations
Critical Limitations
- 基于有缺陷的实验设计，过早地得出 backbone 4-bit activation 不可达以及模型“不看语言”的结论。
- Gemini 在 V2 上的表现未知；当前的 video output 是 V1。需要使用 Oracle V2 进行完整的 training loop 才能观察其功效。
- 无法重启 pod/cgroup 问题；如果 hardware visibility issues 持续存在，需要管理员介入。
General Limitations- 初始的广泛摘要在没有大量人工提示的情况下，缺乏具体的架构细节（例如 frozen SigLIP）。
Learnings
Key Learnings
- 任务复杂度与 quantization 敏感度并不相关；需要在相似目标之间进行细粒度选择的任务（middle vs. top drawer）最容易受到噪声的影响。
- RoboMME 的 $\pi$0.5 baseline 会 freeze SigLIP visual tower，并对 LLM 和 action expert 进行 full-parameter updates。
- Visual prompts 必须优先考虑“training-robustness”（在 crop/rotate 后仍能生存）和“policy-utility”（scene-anchored vs. corner glyphs），而非美观度。
- “Target Hit Rate”对于 memory tasks 是一个危险的指标：它将“知道看哪里”与“记住发生了什么”混为一谈。
Conversation Summaries
Qualcomm Project / $\pi$0.5 Quantization
✅ 通过 TF-Enhanced quantization 解决 W4A4 失败问题 claude_code 确定了对 35 个 RMSNorm 输出进行 4-bit quantization 会导致 “middle-drawer” 任务失败。实施了使用 AIMET 的 TF-Enhanced ranges 的 re-quantization pipeline，成功恢复了成功率。
RoboMemory
✅ 为 16 个任务转向基于 Oracle 的 training codex 在审计了 Gemini 的 visual rendering errors 以及 “Target Hit Rate” 评分的缺陷后，团队转向了 Oracle 驱动的 “Visual Prompt” 系统。这涉及为 16 个任务生成完美的 training pairs，以验证通过 scene-anchored marks 和稳健放置的 badges 是否能通过正确的 visual memory 提高机器人成功率。
✅ RoboMME and pi0.5 Technical Audit 澄清了 RoboMME 的 evaluation protocols 以及 pi0.5 baseline 的确切 training regime，确认它在 freeze SigLIP vision tower 的同时，对 backbone 使用 full-parameter fine-tuning。
TokenMonitor
🔍 调试 SSH synchronization issues cursor 调查了为什么不同设备上的 SSH usage totals 会出现分歧，确定了同步过程中 archive boundaries 的问题。