Posts

同一条 prompt，4 个本地 Ollama 模型 + 三家 Agent CLI 的 12 个云端模型，各写一遍。 下面是全部原始输出，以及每次运行记录到的速度、显存、延迟和 token 数据。 英文版不是这一页的翻译，而是同样设置下换成英文 prompt、要求写英文小说开头的另一次实验。 题目 请用中文写一个约500字的小说开头，以一位在战争爆炸中失去一条腿的芭蕾舞演员为主角，通过描写她在战后生活来侧面体现出她的挣扎。 运行条件 16 个模型收到的是完全相同的一句 prompt，没有任何前缀或 system prompt。 本地（Ollama） — RTX 5090 / 32 GB。POST 127.0.0.1:11434/api/chat，stream: false。 不指定任何采样参数，temperature、num_predict、context 全部走模型 Modelfile 和 ollama 的默认值 （ollama ps 显示四个模型的 context 都是 65536，显存里的 KV cache 按这个尺寸分配）。 每个模型跑之前先 ollama stop 清空显存，所以加载时间是冷启动。 显存取 nvidia-smi 峰值减去桌面基线（2.5–3.3 GB）。 速度直接读响应体的 eval_count / eval_duration，不含 HTTP 和 Python 开销。 云端（Agent CLI） — codex exec、claude -p、cursor-agent --print， 全部串行、--output-format json，工作目录是一个空的临时文件夹。 总耗时用 perf_counter 掐整个进程，token 数和 API 耗时从各家 JSON 的 usage 字段读。 ...

把 gadget 仓库的 README.md（20 768 字符）原样交给 4 个本地 Ollama 模型和三家 Agent CLI 的 12 个云端模型，要求先总结项目、再写一份中文使用教程。 下面是每次运行记录到的模型信息、速度、显存、延迟、token 数据，文档结构统计，以及全部原始输出。 题目 下面是开源项目 gadget 的 README。请你完成两件事： 1. 先用中文总结这个项目：它是什么、仓库结构、每个工具分别做什么。 2. 然后写一份详细的中文使用教程，面向第一次接触这个项目的人，覆盖环境准备、安装、配置，以及每个工具的典型用法（给出可以直接复制的命令）。 只依据 README 里写到的内容，不要编造 README 中没有出现的命令或参数。 ===== README.md ===== <README.md 全文，20 768 字符> README 全文接在这段说明之后一起送进去，整条 prompt 共 20 768 字符。 运行条件 十六个模型收到的是完全相同的一条 prompt，没有额外的前缀或 system prompt。 本地（Ollama） — RTX 5090 / 32 GB。POST 127.0.0.1:11434/api/chat，stream: false，think: false。 不指定任何采样参数，temperature、num_predict、context 全部走模型 Modelfile 和 ollama 的默认值。 每个模型跑之前先 ollama stop 清空显存，所以加载时间是冷启动。 显存取 nvidia-smi 峰值减去桌面基线（2.2–2.6 GB）。 速度直接读响应体的 eval_count / eval_duration，不含 HTTP 和 Python 开销。 ...

ChatGPT 4o 部分 ChatGPT 4o API 示例 from openai import OpenAI model_use = "gpt-4o-2024-08-06" client = OpenAI(api_key="Your-API-key") completion = client.beta.chat.completions.parse( model=model_use, messages=[ {"role": "system", "content": "Extract the event information."}, {"role": "user", "content": "Alice and Bob are going to a science fair on Friday."}, ], ) event = completion.choices[0].message.parsed 注意：我尝试使用模型 “gpt-4o” 但未成功。 如何创建 ChatGPT API Key 登录 openai 使用搜索栏搜索 “API keys” 创建一个新的密钥（仅显示一次，关闭标签页后不可见） 前往账单页面为账户充值 UniTox ChatGPT 部分 从 fda.gov 读取数据 从 .csv 文件中读取我们感兴趣的药物标签。 读取页面上的 .html 文件或 .pdf 文件。 通过 ChatGPT 对 .html 和 .pdf 文件生成摘要。 利用 ChatGPT 生成的摘要，让 ChatGPT 判断该药物是否具有毒性，以及毒性程度。 ...