Daily Report — 2026-09-14
Daily Overview
- 工作内容： 今日涵盖了对 model quantization 效应（pi0.5 和 NPU bitwidths）的深入调查、AI Hub 及开发环境的基础设施维护，以及 RoboMemory 研究的高层级综合总结。
- 工作方式： 利用技术考古学（git diffs/logs）、硬件级 profiling（WPR traces 和 ONNX probes）以及结构化文档工作流（ccfix 和迭代式 PPT 生成）来解决技术瓶颈并传达研究进展。
- 影响： 成功将 pi0.5 成功率问题定位为 quantization 所致，提供了 4-bit activation 在 Dragonwing NPU 上是性能陷阱的实证证明，通过 runtime 更新恢复了 CI/CD 的稳定性，并产出了一套全面、专业的研究报告套件。
TzJsDesktop
- 工作内容： 执行了高层级项目审计、代码集成和系统性能诊断。
- 工作方式： 分析上游 commits 以查找冲突，利用 Windows Performance Recorder (.etl) 进行卡顿诊断，并通过 engine 驱动的文档工作流管理项目状态。
- 影响： 解决了开发流水线中的根本性阻塞问题，并为 RoboMemory 研究项目建立了连贯的逻辑叙述。
lighthouse
- 工作内容： 执行了大规模 quantization benchmarking、自动化服务器管理和受控 model evaluation。
- 工作方式： 部署了自定义 Python probes 和 Bash drivers 用于 NPU bitwidth profiling，管理用于 pi0.5 Libero 测试的 GPU 资源，并为 Minecraft Forge 服务器实现了基于 systemd 的自动化。
- 影响： 为最终报告生成了准确的 latency 和 memory telemetry，并提供了缩小 pi0.5 失败原因范围所需的实证证据。
今日重点在于解决 pi0.5 model 在 Libero goal tasks 上关键的性能差异，在 Qualcomm NPU 上进行高精度 bitwidth benchmarking 以识别 quantization 陷阱，修复 AI Hub runtime deprecations，并将 RoboMemory 的夏季研究综合为专业的演示材料。
Tasks
Architecture & Strategy
- ✅ Verify pi0.5 float baseline on Libero Goal — 在 Libero goal suite 上运行未量化的 pi0.5，以建立性能基准并验证 evaluation pipeline 的完整性。
- ✅ Bitwidth Speed Microbenchmark (I-047) — 创建了一个最小化的 MatMul stack probe，以隔离不同 bitwidths（W4A8, W4A4, W8A8, W8A16, W16A16, FP16）在 Dragonwing NPU 上的开销。
- ✅ Update AI Hub submission runtime — 在 aihub_submit.py 中将默认的 target_runtime 从 ‘qnn_context_binary’ 修改为 ‘qnn_dlc’，并更新了所有相关的文档/图表。
- 🔄 Investigate pi0.5 quantization on goal suite — 执行 W8A8 和 W4A4 quantized benchmarks，以确定 ‘goal suite cliff’（0% 成功率）是否为 quantization 效应。
- ✅ Research Narrative Synthesis & PPT Construction — 将 RoboMemory 研究综合为一套视频增强的双语演示套件，包括多层级摘要和一份 21 页的 PPT。
- ✅ Memory Metadata Backfill (I-046) — 为 51 个历史 AI Hub jobs 恢复了 12 个缺失的 memory telemetry 字段，以确保数据完整性。
- 🔄 Merge collaborator’s commits and resolve conflicts — 集成来自 origin/main 的 6 个新 commits，处理 precision control、rotation implementation 和 bitwidth tables 中的冲突。
- 🔄 Limit test concurrency — 实现 ‘vitest.config.ts’ 以限制 maxWorkers，防止在 multi-agent testing 期间系统耗尽。
Implementation & Fixes
- ✅ Implement video recording in evaluation scripts — 启用从 evaluation wrapper 到 Libero client 的 –save-video flag 透传，以便进行视觉调试。
- ✅ Diagnose PC stuttering — 分析 WPR traces 以查找开发过程中硬件级延迟的原因。
Problems & Solutions
Critical Issues
1. pi0.5 Libero goal suite 报告 0% 成功率（与报告的 benchmarks 相矛盾）。
Solution: 在本地运行了未量化的 (float) baseline，达到了 100% 的成功率，证明问题与 quantization 或环境配置有关，而非 evaluation pipeline 本身。
2. 4-bit activation (W4A4) 在 NPU 上的表现明显差于/慢于 FP16。
Solution: 使用最小化 probe 隔离了原因：NPU 缺乏原生的 INT4 activation kernel，导致 tensor upscaling/expansion 带来了高额开销。
Key Insight: 4-bit activation 是该硬件上的一个性能陷阱；weight bitwidth 可以节省 bandwidth，但没有原生 kernel 的 activation bitwidth 只会增加 unpacking 开销。
3. AI Hub 弃用了 ‘qnn_context_binary’ target runtime，导致自动化失效。
Solution: 修改了 ‘aihub_submit.py’ 以显式传递 ‘–target_runtime qnn_dlc’，并更新了所有相关的文档/图表 (I-029) 和 RESULTS.md。
4. AI Hub 的 ‘peak_memory’ 字段报告的数据与预期的 model footprint 不符。
Solution: 对 context-binary（使用 mmap，报告为零 weight footprint）和 DLC（需要显式 allocation）进行了对比，澄清了测量差异。
5. 缺乏用于直接 error recovery 研究的 Out-of-Distribution (OOD) 数据。
Solution: 将研究重点转向 ‘interface’ 问题：即高层级判断如何通过视觉提示传达给低层级 policy。
Key Insight: 研究瓶颈在于高层级 reasoning 与低层级 execution 之间的通信渠道。
6. Evaluation script 在运行 pi0.5 时泄露约 25GB 的 GPU memory。
Solution: 确定了 ‘conda run’ 无法将信号转发给 policy server；计划采用 collaborator 的 PID tracking 修复方案。
General Issues
7. 由于高 Vitest 并发和 WeChat timer thrashing 导致系统无响应。
Solution: 通过 WPR/xperf 分析进行了诊断，并建议通过 VITEST_MAX_WORKERS 或配置文件来限制 workers。
8. CUDA device indices 与 nvidia-smi indices 之间的混淆。
Solution: 建议使用 CUDA_DEVICE_ORDER=PCI_BUS_ID 来对齐 indices。
Human vs AI Approaches
Strategic Level
Debugging Strategy for Zero Success Rate
| Role | Approach |
|---|---|
| Human | 建议进行视觉诊断（渲染 cases）并基于任务特定的敏感度提供了初步假设。 |
| AI | 执行了系统的 code-delta 分析和 baseline testing，将变量隔离至 quantization precision。 |
Difference Analysis: Human 侧重于视觉/定性诊断，而 AI 侧重于结构化和统计学验证。
Research Direction & Logic| Role | Approach |
|——|——| | Human | 定义了 error recovery 失败与转向 visual prompting 和 memory systems 之间的因果联系。 | | AI | 最初专注于总结单个结果，而未能掌握整体的战略演进。 |
Difference Analysis: Human 提供了将实验转化为连贯研究故事的战略背景。
Bitwidth Benchmarking Scope & Data Integrity
| Role | Approach |
|---|---|
| Human | 否决了 32-bit 测试以保持架构纯粹性（避免 CPU vs NPU 的比较），并要求进行原始数据审计而非定性总结。 |
| AI | 最初提议将 32-bit 作为 ‘CPU fallback’ 包含在内，并试图进行描述性的结果总结。 |
Difference Analysis: Human 优先考虑科学严谨性和可审计性，而 AI 则倾向于完整性和描述的便利性。
AI Limitations
General Limitations
- 由于忽略了 CUDA 和 PCI_BUS_ID 索引之间的差异，未能正确预测 GPU 的可用性。
- 未能识别出修改包含 ‘red’ phase 测试的脚本会导致在没有 ‘red-waiver’ 的情况下使 failure hashes 失效。
- 由于文件在 idea graph 中未被明确“所有”，被 companion guard (D16/D21) 阻止写入配置文件。
- 在尝试通过 safety engine 链接命令时，难以执行 D21/D28 guard 强制约束。
Learnings
Key Learnings
- 在此 NPU 上，权重 bitwidth 是一种线性的带宽节省机制，但只有在消除高 bitwidth ‘islands’（如 softmax）时，activation bitwidth 才能提供收益。
- Libero 中的 ‘goal’ suite（例如拉动把手）对 action head 中的量化误差高度敏感，这与简单的 pick-and-place 任务不同。
- Visual prompts 作为高层 VLM 推理与底层 VLA 执行之间有效的通信接口。
- 如果文件结构未在 idea graph 中正确注册，companion guards (D16/D17) 可能会阻碍 productive work。
Conversation Summaries
Qualcomm Project
🔄 pi0.5 Libero & NPU Bitwidth Investigation 调查了 pi0.5 在 Libero ‘goal’ 任务中 0% 成功率的原因，并进行了 NPU bitwidth profiling。确认 float baseline 工作正常（100% 成功），从而将问题锁定在量化上。开发了一个 MatMul probe (I-047)，证明 W4A8 是最优的，而 W4A4 是一个性能陷阱。通过将脚本更新为 ‘qnn_dlc’ 解决了 AI Hub runtime 的弃用问题。
RoboMemory
✅ Summer Research Synthesis & PPT Creation 将关于 RoboMemory 的夏季研究——从 error recovery 到 visual prompting 和 asynchronous memory systems——综合成一套专业的演示文稿，包括一份 21 页且富含视频内容的 PPT 及其英文版本。
D–GitHub
✅ System Performance & Concurrency 分析了 WPR traces 以诊断 PC 卡顿，识别出 Vitest worker 突发流量和 WeChat 是主要原因。启动了限制测试并发度的 workflow。
AI-Companion
🔍 Infrastructure & Workflow Management 管理开发环境的稳定性，包括解决 AI Hub runtime 问题以及处理配置文件在 companion guard 限制下的操作。