Daily Report — 2026-10-07
Daily Overview
- 完成工作： 使用新的基于 constraint 的 memory framework 和 GPT-6 Astra 对 16 个 robotic tasks 进行了大规模 closed-loop evaluation，同时实现了一个在 host 和 Hyper-V VM 之间共享 GPU lease registries 的系统，用于 sticker collection automation。
- 实施方式： 在 Tianhe3 cluster 上利用 remote execution，并针对 robotics 使用了基于 Python 的 failure attribution；通过 directory junctions 修改了 ‘model_access’ library，以支持 VM automation 项目中的 multi-host tracking。
- 影响： 证明了新的 VLM memory framework 接近理论上的 oracle-guided upper bound (80.6%)，并实现了在虚拟化环境中进行基于 vision 的 sticker scanning，且未损害 host 的 GPU resource protection。
成功执行了大规模 VLM evaluation，达到了 77.5% 的 success rate，并实现了 cross-host GPU lease sharing 机制，从而为 WeChat bot 实现了基于 vision 的 sticker automation。
Tasks
Architecture & Strategy
- ✅ Main Experiment Execution — 使用新的 memory framework 和 GPT-6 Astra 运行 16-task evaluation suite。
- ✅ GPU Lease Sharing (Option 2) — 修改 model_access 以支持 multi-host tracking，并通过 junctions 在 host 和 VM 之间设置 shared directory。
- ✅ Failure Attribution Analysis — 分析 36 个 failed episodes，以区分 policy failures 和 memory errors。
- 🔄 Comparison and Ablation Study — 准备并验证 ablation study 代码，用于进一步的 comparative experiments。
- 🔄 Automated WeChat Sticker Addition — 开发并调试脚本，通过 emoji panel automation 将下载的 stickers 添加到 WeChat。
Implementation & Fixes
- ✅ Sticker Collection — 查找并下载约 100 个 AI-girl stickers 和约 100 个 AI-related stickers，并分类存放在不同文件夹中。
- ✅ RouteStick Episode 6 Rerun — 重新运行一个因 ‘Connection reset by peer’ 网络错误而失败的特定 episode。
- 🔄 Sticker Scanning Optimization — 改进 sticker scanning script，以支持 WeChat emoji panel 的 full scrolling 并处理 permission errors。
Problems & Solutions
Critical Issues
1. VM 由于缺少 ‘model_access’ package 且缺乏 shared GPU lease registry，无法访问 local vision models。
Solution: 修改 ‘model_access’ 以在 leases 中 track ‘host’ 名称，并使用 directory junctions 在 host 和 VM 之间共享 lease JSON file。
2. WeChat 4.x image right-click menu 缺少 ‘Add to Stickers’ 选项，破坏了初始的 automation logic。
Solution: 重写 addition script，使用 ‘Emoji Panel -> Custom Stickers -> +’ 的 workflow 来代替 context menu。
General Issues
3. Evaluation script 会自动跳过 log 中标记为 ’error’ 的 episodes，导致无法重试。
Solution: 分析了 eval.py skip logic，并实现了一种通过启动 separate run 来仅针对 errored episode 运行的方法，且不影响 main results。
4. 通过 SSH tunnel 连接 LLM interface 的 remote connection 不稳定。
Solution: 监控 tunnel 状态，并在 proxy 变得可达后验证了 automatic reconnection。
5. RouteStick 的 Episode 6 因网络 ‘Connection reset by peer’ 错误而失败。
Solution: 将其识别为 infrastructure issue 而非 policy failure，并针对该特定 episode 执行了 targeted rerun。
6. 在 System32 目录下运行 automation scripts 时，由于 uiautomation 尝试写入 logs，导致 PermissionError。
Solution: 修改 scripts，使其在启动时显式地将 current working directory 更改为 TEMP folder。
Human vs AI Approaches
Strategic Level
Drift Prevention Strategy
| Role | Approach |
|---|---|
| Human | 建议添加 ‘settled-state’ check，以确保仅在物体完全稳定时才开始 recording。 |
| AI | 提出了更稳健的 technical implementation：在 server side 计算 settled state 并将其保存在 distribution package 中，以确保在不同 OS/hardware 下实现 bit-wise identical 的 starting points。 |
Difference Analysis: Human 提供了直观的 physical requirement，而 AI 提供了正确的分布式系统 solution 以防止 floating-point drift。
GPU Lease Management Strategy
| Role | Approach |
|---|---|
| Human | 提出了一种让 VM 和 host 共享相同 registry (Option 2) 的 solution，以确保 host 的 GPU protection 不会被 VM 清除。 |
| AI | 识别出了 logic conflict，即 library 仅检查 local PIDs，如果不处理会导致 cross-host lease corruption。 |
Difference Analysis: Human 提供了 strategic direction (Option 2)，而 AI 完成了 multi-host awareness 和 junction linking 的复杂 technical implementation。
AI Limitations
General Limitations
- 需要提醒 AI 检查特定的 code logic，以确认 status table 如何统计 ’error’ vs ‘success’，从而确保 data integrity。
- 在 automation 期间，由于 window occlusion 或 black screenshots，难以访问/查看 VM desktop。
Learnings
Key Learnings
- 新方法达到了与 handwritten rules 持平的效果，这对于一个基于 VLM 的 autonomous framework 来说是一个很强的 claim。
- 当前系统中 75% 的 failures 源于 policy execution 而非 memory errors，这表明下一个 bottleneck 是 policy robustness。
- 在实现 cross-host resource management 时，track ‘host’ 名称至关重要，因为 PIDs 在 network shares 之间不是唯一的或可达的。
Conversation Summaries
RoboMemory Harness
✅ Main Experiment Completion and Result Analysis 完成了 160 个 episodes 的 main evaluation run。新 framework 达到了 77.5% 的 success rate，显著优于 FrameSamp (47.5%)。详细的 failure attribution 显示大多数 errors 与 policy 相关。更新了 final results 和 PPT。
ErrorRecoveryBenchmark
🔍 Drift Prevention via Settled-State 讨论了通过在 recording 前等待 stable state 来处理 object drift 的问题。决定 stability 必须在 server 端预先计算，以确保 cross-platform consistency。
WeAgent Sticker System
🔄 AI Sticker Collection and WeChat Integration 用户请求收集 AI-themed stickers。AI 成功从 GitHub repositories 爬取了 183 个 stickers。随后的工作重点是通过 UI automation 将这些 stickers 自动添加到 WeChat，期间遇到了包括 menu changes 和 directory permissions 在内的多个障碍。
PersonalAgent Model Access
✅ Cross-host GPU Lease Synchronization 通过实现 shared resource directory 解决了 VM 中的 ‘model_access’ error。修改了核心 ‘model_access’ library 以支持 multi-host lease tracking，并通过 custom probe script 成功验证了 synchronization。