Daily Report — 2026-09-10
Daily Overview
- 完成工作： 推进了针对复杂游戏布局的 RL agent 训练，开发了基于视频的关卡重建系统，并为 AI Companion 项目实现了 git 同步的 serving 功能。
- 实施方式： 在 RL 中使用了带有 entropy annealing 和多样化布局采样的 PPO；在关卡重建中应用了 computer vision 和 frame-diffing 技术；在 AI Companion 功能中利用了 vitest/git 集成。
- 影响： 提高了 RL 在困难关卡的通关效率，并建立了一套将 real-play 视频转换为可操作 simulator 环境的稳健方法，同时实现了分布式项目想法的管理。
成功为困难级别的 tile-matching games 训练了专门的 RL agent，并实现了 video-to-simulator 关卡重建 pipeline，同时通过构建 git-synced serving engine 和规范化 multi-repo 想法管理，推进了 AI Companion 项目。
Tasks
Architecture & Strategy
- ✅ RL Model Training (Hard Layouts) — 训练了带有 entropy annealing (0.02 -> 0.003) 的 PPO model，并集成了多样化布局（心形、随机关卡）以提高泛化能力。
- ✅ Level Reconstruction Pipeline — 开发了
video_record.py和rebuild_level.py，将 MP4 屏幕录制转换为 simulator 所需的 JSON level files。 - ✅ AI Companion: Git-Sync Serving — 实现了 I-137：在 serving engine 中添加了
--git-sync，允许通过 git pull/push 进行实时的 idea 更新。
Implementation & Fixes
- 🔄 AI Companion: Idea Formalization — 正在填写 multi-repo portal ideas (I-009 到 I-015) 的架构细节（how/why/future）。
- ✅ Hardware Health Check (OMEN) — 分析了系统日志，以记录间歇性的 AX211 Wi-Fi card 故障，用于硬件保修申请。
Problems & Solutions
Critical Issues
1. RL agent 即使在拥有完整信息的情况下也无法通过“超难”关卡（例如 level 20）。
Solution: 进行了 beam search (width 1000) 和 oracle testing；结论是失败归因于结构性瓶颈（deep stacks）而非 policy 弱点。
2. 由于快速点击和 tray animation 重叠导致的视频重建错误。
Solution: 实现了 ‘record-only fast path’，并添加了处理 tray jumps 的逻辑，通过 stack depth analysis 来识别缺失的 tiles。
General Issues
3. 间歇性的 Wi-Fi card 故障 (Intel AX211) 难以向 support 演示。
Solution: 导出了一个证据包，包括显示 177+ 个 invalid value errors 和总计 9 次失败的原始 .evtx logs。
Human vs AI Approaches
Strategic Level
RL Improvement Strategies
| Role | Approach |
|---|---|
| Human | 建议添加 action-after 特性 (v3) 并混合旧布局/随机布局以防止 overfitting。 |
| AI | 评估了 v3 特性（显示出 regression）并按要求实现了 layout diversity/entropy annealing。 |
Difference Analysis: Human 侧重于 feature engineering 和 data augmentation；AI 处理技术执行和性能验证。
AI Limitations
Critical Limitations
- 在进行严格的 beam-search validation 之前，AI 一直难以理解某些“无法获胜”的关卡是结构性不可能实现的，而非 policy 驱动的问题。
Learnings
Key Learnings
- 在高深度的 tile-matching games 中，信息透明度（了解隐藏的 tiles）次于结构化管理（tray capacity vs. stack depth）。
Practical Learnings
- 应对间歇性硬件故障的最佳方式是使用系统 event logs，而不是尝试进行现场复现。
Conversation Summaries
Sheep RL Project
✅ RL Training and Hard Level Analysis 使用 entropy annealing 和多样化布局优化了 PPO 训练。针对高级模型为何在深层关卡失败进行了深度分析，证明这是结构性限制 (tray capacity) 而非训练问题。
✅ Video-to-Level Reconstruction 构建了一个 pipeline，从视频中记录 gameplay 并重建精确的 board state（包括隐藏的 tiles 和 stack layers），用于 simulator 测试。
AI Companion
✅ Implementing Git-Synced Idea Management 开发了带有 git 集成的 ‘serve’ 命令 (I-137) 以同步不同 repository 间的 ideas，通过了自动化测试验证，并进入下一阶段的规划。
OMEN Hardware Support
✅ Wi-Fi Card Error Documentation 分析了系统日志，为 HP hardware support 关于间歇性 AX211 故障的证明收集证据。