每日报告 — 2026-07-21
日常概述
- 已完成工作： 在 Qualcomm AI Hub 上对 pi0.5 FP16 主干进行了全栈分析，发现了 NPU 内存限制问题，并将相关结果打包以便迁移至 A100；随后将项目整理为最小可行产品（quantize-MVP）仓库，解决了多 GPU 节点上的复杂运行时环境依赖问题，从而能够同时进行 GR00T 和 Pi0.5 精度评估。
- 实现方式： 执行 SLURM 作业进行分析/ONNX 量化处理，分析 QNN 后端日志以确认上下文二进制大小限制，通过 SSH 密钥推送干净代码；创建本地执行脚本替代集群特定逻辑，手动修补 AIET 源代码以实现精度扫描，通过配置修改解决 HuggingFace 受限模型问题，并编译带有明确 CUDA 头文件路径的自定义 AIMET 版本。
- 影响： 确认 pi0.5 FP16 主干在未经量化的情况下与 IQ-9075 NPU 不兼容，建立了可复现的 MVP 基线用于后续工作，通过解决关键环境问题使得全精度矩阵计算成为可能。
athena
- 已完成工作： 在 Dragonwing IQ-9075 上执行 pi0.5 分析/量化作业，将代码库整理为 quantize-MVP 并推送到 GitHub。
- 实现方式： 执行 slurm 脚本，修补 aimet_onnx 以支持主干精度，预热 ONNX 缓存，分析内存限制日志，通过去除 Slurm 依赖关系重构仓库，通过 SSH 执行 git force-push。
- 影响： 获得部分延迟数据，发现硬件结构不兼容问题，提供了干净、可共享的代码库用于后续的 A100 处理。
lighthouse
- 已完成工作： 配置复杂的本地环境以进行 GR00T/Pi0.5 评估，解决依赖冲突并启动精度矩阵计算。
- 实现方式： 编译支持 CUDA 的自定义 AIMET 版本，修补 processor_config.json 以绕过 HuggingFace 受限模型，创建 ffmpeg/websockets 依赖的符号链接，并在双 GPU 上启动后台评估作业。
- 影响： 解决了之前因缺失二进制文件和版本冲突而停止的评估流程，使得模型精度测试能够同时进行。
完成了 pi0.5 量化的分析，发现 Dragonwing 上的硬件限制，然后整合 quantize-MVP 代码库用于公开分享，解决了复杂的本地环境依赖问题，从而能够同时进行 GR00T 和 Pi0.5 的精度矩阵评估。
任务
架构与策略
- ✅ quantize-MVP 仓库整理与迁移准备 — 将项目代码库重构为最小化的可复现 quantize-MVP 结构，移除集群特定脚本，准备 A100 迁移文档，并推送到私有 GitHub 仓库。
- ✅ pi0.5 FP16 量化与分析 — 在 Dragonwing 上尝试全矩阵量化（SeqMSE/SpinQuant）和分析；发现 FP16 主干与 IQ-9075 NPU 不兼容因上下文二进制限制，通过切换至 CPU/启发式减少样本解决 QuantSim 中的 GPU OOM 问题。
- ✅ GR00T 与 Pi0.5 的本地环境配置 — 解决了包括自定义 AIMET 编译与 CUDA 头文件、通过配置修改访问 HuggingFace 受限模型、缺失系统二进制文件（ffmpeg/websockets）在内的复杂依赖问题。
- ✅ LIBERO 评估流程修复 — 诊断并修复 TMPDIR 竞争条件、慢量化推理的 websocket 超时问题以及 ONNX 下载重复问题，以实现稳定的评估运行。
实施与修复
- 🔄 启动精度矩阵评估 — 在多个 GPU 上开始针对 GR00T 和 Pi0.5 的多种精度配置（W8A16、W4A16 等）的后台评估作业。
问题与解决方案
关键问题
1. pi0.5 FP16 主干在 Qualcomm AI Hub (IQ-9075 EVK) 上因上下文二进制大小超出而失败。
解决方案： 分析 QNN 日志确认图结构大小（3.78GB）超过 NPU 限制（3.67GB）；得出结论 FP16 主干在结构上不兼容，必须进行量化或拆分。
关键洞察： 需要 >3.67GB 上下文二进制量的 FP16 模型无法在 IQ-9075 NPU 上运行；对于该硬件而言量化是必须的。
2. 多 GPU 节点上自定义 AIMET 版本编译失败，原因是不存在 Eigen3 和 CUDA/cuDNN 头文件。
解决方案： 通过 conda 安装 Eigen3，在 site-packages 中查找 NVIDIA cuDNN 头文件，在 pip install 时明确设置 CMAKE_PREFIX_PATH/CPATH。
关键洞察： 自定义 AI 工具包版本通常需要手动配置头文件路径；标准 pip 安装无法满足复杂构建环境需求。
3. HuggingFace 受限模型出现 403 Forbidden 错误，Isaac-GR00T 缺少检查点文件。
解决方案： 识别出 ’libero_object_qwenvl’ 为本地变体；修补 processor_config.json 以指向公共 Qwen3-VL-2B-Instruct 模型，并为本地结果创建符号链接。
关键洞察： 受限或私有模型通常需要通过本地配置修改来使用公开可用的基础模型作为替代。
4. 在 24GB GPU 上 SeqMSE 正向计算过程中，激活开销导致 QuantSim GPU 模拟出现 OOM 问题。
解决方案： 将 QuantSim 改为仅 CPU 执行，通过启发式方法减少 num_samples/candidates 数量以使得运行时间可行，接受轻微的精度折衷。
关键洞察： 低容量 GPU（24GB）不足以进行完整的 pi0.5 主干模拟；需要 A100（80GB）才能获得高保真结果。
一般问题
5. LIBERO 评估因 TMPDIR 竞争条件和 websocket 超时不匹配而崩溃。
解决方案： 在 SLURM 脚本中强制每个作业使用唯一的 TMPDIR，修补 websocket 客户端以禁用慢量化推理的 keepalive 超时，为缺失的 ffmpeg 二进制文件创建符号链接。
关键洞察： 共享临时目录是并发中的关键问题；量化的模型需要更长的推理超时时间，超出了默认 websocket 允许的范围。
人类与 AI 方法
战略层面
硬件限制与策略确定
| 角色 | 方法 |
|---|---|
| 人类 | 用户战略性地识别了 F P16 主干不兼容问题，并指导迁移至 A100；确定本地 GPU 不足以实现全矩阵高保真度。 |
| AI | AI 进行详细的日志分析以确认 3.78GB 与 3.67GB 限制差异，执行仅 CPU 的 QuantSim 替代方案，并修补源代码以实现精度扫描。 |
差异分析： 人类定义了架构边界和迁移策略；AI 提供了技术验证并在这些约束下执行变通方案。
仓库整理与环境复杂性| 角色 | 方法 |
|——|——| | 人类 | 用户定义了 MVP 范围（最小的脚本，无需 Slurm 依赖），并识别了复杂的依赖链（HuggingFace 控制的模型、AIMET 构建）。 | | AI | AI 执行了文件精简操作，重构代码以在本地运行，管理沙箱中的 GIT-SSH 认证，并手动构建构建配置。 |
**差异分析：**人类提供了“最小”和“可修复”的战略定义；AI 处理了依赖解析和版本控制操作的机械复杂性。
AI 局限性
一般局限性
- AI 最初在 Isaac-GR00T 工具包文件中的 Git-LFS 指针错误上遇到困难，需要明确的 ‘git lfs pull’ 命令；还面临 GitHub CLI 的沙箱权限问题。
- 由于硬件限制，AI 依赖启发式参数减少方法（样本/候选者）进行 QuantSim 处理，这比原生默认设置降低了精度保真度。
经验教训
关键经验
- FP16 pi0.5 主干与 Qualcomm IQ-9075 EVK NPU 在二进制大小限制下结构不兼容，与 GR00T 不同；全精度量化需要 A100（80GB）GPU。
- 复杂的 AI 环境通常需要手动干预以构建自定义工具包（AIMET）和解决受控模型问题；简单的 pip 安装通常不足以满足混合架构设置。
实际经验
- 量化的模型会显著增加推理延迟，需要在多任务环境中调整默认 WebSocket 超时设置和共享资源隔离（TMPDIR）。
对话总结
✅ pi0.5 量化、MVP 整理和环境配置 21:28:32.476 | claude_code 用户将 pi0.5 FP16 主干的局限性分析指向 Dragonwing（IQ-9075），识别了 NPU 上下文二进制约束。随后，该仓库被整理成最小的“量化-MVP”结构以供公开分享。AI 协助解决了 lighthouse（AIMET 编译、HuggingFace 控制模型）上的复杂本地环境依赖问题，并同时启动 GR00T 和 Pi0.5 的并行评估任务。