Daily Report — 2026-02-20
Daily Overview
- What was done: 为 feature extraction benchmarks 实现了 caching architecture，并调试了 multi-environment policy evaluation pipelines 以解锁里程碑进展
- How it was done: 将 CacheManager 直接集成到现有的 benchmark scripts 中，修正了 rollout generators 中的 observation tensor mapping，并修复了 third-party API 的兼容性问题
- Impact: 消除了冗余的 model inference loops，恢复了关键里程碑的 end-to-end evaluation，并成功编排了 high-throughput GPU workloads
DCC
- What was done: 为 MIHD benchmark framework 添加了 cache read/write 支持，并识别出 fusion evaluation metrics 中的 preprocessing drift
- How it was done: 修改了 argument parsing，在 encoder instantiation 之前注入了 variant-aware cache checks，并记录了 STAIG pipelines 中的 dual-normalization bugs
- Impact: 实现了 pre-computed embeddings 的 instant loading，大幅缩短了 image-only clustering comparisons 的 benchmark turnaround time
tianhe
- What was done: 调试了 BC-RNN policy evaluation 中的 observation dimension mismatches，并为 M12-M14 milestone validation 准备了 infrastructure
- How it was done: 修正了 state-to-observation key mapping，更新了 RoboMimic utils 以适配 v0.3.0 兼容性，并编排了 parallel GPU background processes
- Impact: 解决了阻止 baseline evaluations 的关键 blocking bugs，成功启动了 6 个用于 scene generation 和 VLA server setups 的并发 GPU jobs
通过 embedding cache support 加速了 MIHD benchmark infrastructure，并解决了 Error Recovery Benchmark 中关键的 observation pipeline mismatches，从而在两个项目中实现了大规模 parallel GPU evaluations。
Tasks
Architecture & Strategy
- ✅ Implement embedding cache I/O in run_benchmark.py — 集成了 CacheManager 以绕过冗余的 encoder instantiation，为 standard/freq/staig_strict 模式添加了 variant tracking，并放宽了 argparse 对 custom encoder names 的约束。
- ✅ Fix BC-RNN observation dimension mismatch & rollout flow — 修正了 _to_robosuite_obs() 的 key mapping，并对 injection 和 capture methods 进行了 patch，以转发 raw robosuite observations 而不是 flattened state_info，解决了 tensor shape errors。
- 🔄 Orchestrate M14 baseline evaluation & parallel GPU workloads — 为 BC-RNN injection/natural capture、demo generation 以及 Pi0/Pi0.5 VLA servers 启动了并发的 background jobs，同时持续进行 background job monitoring 和 log analysis。
Implementation & Fixes
- ✅ Patch RoboMimic v0.3.0 API compatibility in MimicGen utilities — 检查了 create_env_for_data_processing 的 signature，并更新了 wrapper 以仅传递 supported arguments，防止在 dataset generation 期间发生 runtime EOF crashes。
Problems & Solutions
Critical Issues
1. run_benchmark.py 缺乏 cache loading，导致冗余的 encoding iterations；AI 最初建议编写一个独立的 evaluation script 来解决 comparison inconsistencies。
Solution: User 修正了架构方向：将 CacheManager 直接集成到现有的 benchmark script 中并带有 variant tracking，而不是创建存在 preprocessing drift 风险的 parallel tools。
Key Insight: 利用已建立的 pipeline infrastructure 比构建孤立的 evaluation wrappers 更具鲁棒性和可维护性，尤其是在不同 strategies 之间必须严格保持 feature normalization 时。
2. eval_scan_fusion.py 由于缺失 alignment config 导致的 double normalization（external preprocessing + internal StandardScaler），产生了人为偏低的 STAIG fusion ARI scores。
Solution: 确定了根本原因，并记录了通过向 apply_fusion() 传递正确的 staig_alignment_config 会触发 align_staig=True，从而自动跳过 trainer 中的冗余 scaling。
Key Insight: 在评估具有内置 feature alignment 或 normalization layers 的模型时，external preprocessing pipelines 必须传递显式的 override flags 或完全跳过 normalization，以避免 signal distortion。
3. BC-RNN policy evaluation 在 rollout 期间因 input size mismatch（checkpoint 期望 65-dim，environment 提供 37-dim）而崩溃，且 state_info 错误地替换了 raw observations。
Solution: 修正了 _to_robosuite_obs() 中的 key mapping 以对齐 training modalities，并更新了 _generate_from_single_rollout 和 _capture_single_rollout，以便在 initialization 期间传递 raw robosuite dicts。
Key Insight: Policy inference pipelines 在 rollout 期间必须严格保持原始的 observation modalities，因为 internal state extractors 经常会丢弃或压缩 pre-trained adapters 所需的 keys。
General Issues
4. MimicGen dataset generation 由于在 RoboMimic 0.3.0 中向 create_env_for_data_processing 传递了过时的 kwargs 而失败，导致 environment instantiation crashes。
Solution: 动态检查了 live API signature，并更新了 wrapper 以有条件地仅传递 supported arguments，在 environment metadata 缺少预期字段时实现优雅回退。
Key Insight: 对 third-party ML environments 进行 version pinning 至关重要；dynamic signature inspection 或严格的 version constraints 可以防止在 data pipeline 执行期间发生 silent API breakage。
Human vs AI Approaches
Strategic Level
Benchmark architecture strategy for MIHD embedding caching
| Role | Approach |
|---|---|
| Human | User 明确指示直接修改 run_benchmark.py 以使用 pipeline cache，而不是创建独立的 scripts，从而确保统一的 preprocessing compliance 并避免 feature drift。 |
| AI | AI 最初建议编写临时 evaluation scripts (_test_staig_scan.py)，随后建议进行重复现有 pipeline logic 的 architectural refactors，错失了实现 system cohesion 的机会。 |
Difference Analysis: Human 通过利用已建立的 pipelines 优先考虑了 infrastructure consistency 和长期可维护性，而 AI 则针对 immediate isolation 进行优化，这引入了不必要的 complexity 和 normalization risks。
BC-RNN observation pipeline debugging in Error Recovery Benchmark
| Role | Approach |
|---|---|
| Human | User 识别了精确的 dimension mismatch 上下文，并指出 state_info 在 policy prediction initialization 期间错误地替换了 raw robosuite observations。 |
| AI | AI 追踪了 rollout flow，修正了 adapters 中的 tensor key mapping，并对两种 evaluation methods 进行了 patch，但在没有显式 shape tracing guidance 的情况下，最初误解了 crash 发生的原因。 |
Difference Analysis: Human 提供了关于 training vs inference tensor shapes 的精确 diagnostic context，从而实现了无需不必要 refactoring 的直接 code patching，而 AI 首先依赖于更广泛的 structural debugging。
AI Limitations
General Limitations- AI 最初误解了 UNI2VisionEncoder 的 caching mechanism，并且难以在中断的 session 中追踪 multi-context state，导致在应用修正之前出现了冗余的 tool calls。
- 在 parallel job orchestration 期间，AI 缺乏针对 VLA servers 的自动化 port conflict detection，需要手动进行 cleanup 和 restart sequences 以解决 bind failures。
Learnings
Key Learnings
- 在修改 benchmark infrastructure 时，务必验证现有的 pipeline 是否已经处理了 caching 或 normalization；强制使用 parallel implementations 经常会引入微妙的 preprocessing drift bugs，从而导致 comparative metrics 偏差。
- Policy evaluation pipelines 在 rollout initialization 期间必须严格保持原始的 observation modalities，因为 internal state extractors 经常会丢弃或压缩 pre-trained models 所需的 keys，从而导致 silent tensor mismatches。
Conversation Summaries
MIHD Benchmark Cache Integration
✅ Implementing embedding cache and fixing STAIG fusion evaluation 18:06:33 | claude_code 本次 session 专注于通过将 CacheManager 直接集成到 run_benchmark.py 中来增强 MIHD benchmark pipeline，以跳过冗余的 encoder instantiation。用户引导 AI 停止创建 standalone scripts，以确保 preprocessing alignment。发现了一个关键 bug，即 eval_scan_fusion.py 对 STAIG gene features 应用了 double normalization，人为降低了 ARI scores。计划已更新为使用官方 benchmark script 以进行准确的 SCAN vs UNI2 比较。
Error Recovery M14 Infrastructure & Debugging
✅ Debugging BC-RNN obs flow and launching parallel GPU evaluations 19:00:40 | claude_code 根据 M12-M14 milestone checklist 检查了进度。AI 在 data collector 中实现了 save_images logging，验证了 MimicGen configs，并修正了 taxonomy documents。当 BC-RNN policy evaluation 因 observation dimension mismatch 而失败时，出现了一个主要的 blocking issue。AI 修复了 state-to-observation mapping，修补了 Robomimic v0.3.0 API compatibility，并成功启动了用于 scene generation 和 VLA server setups 的 parallel GPU workloads。
Error Recovery Baseline Orchestration
• Large-scale GPU job management and environment fixes 02:39:21 | claude_code 在初始 diagnostic runs 之后，AI 继续调试因 API mismatches 和 state flow issues 而失败的 background jobs。对 policy adapters 和 robustness utilities 应用了修正。Session 以在 CUDA devices 上为 BC-RNN injection/natural capture、demo generation 以及 Pi0/Pi0.5 VLA servers 编排多个 GPU processes 结束，将重点从损坏的 MimicGen paths 转移到了稳定的 policy rollouts。