AI 实战笔记 · 已更新 6 篇

把 AI 跑起来，再讲清楚为什么。

这里记录我实际部署、微调和踩坑过的 AI 项目：显存怎么算、推理怎么提速、Agent 工作流怎么搭、哪个模型值得用。每篇都附可下载的权重、数据集或配置模板。

从显存估算公式开始，实测 vLLM、llama.cpp、TensorRT-LLM 三种方案在 4090 上的吞吐与延迟，给出不同场景下的选择建议。…

vLLM量化显存优化

全部笔记

6 篇

从显存估算公式开始，实测 vLLM、llama.cpp、TensorRT-LLM 三种方案在 4090 上的吞吐与延迟，给出不同场景下的选择建议。…

单卡 24G 把 7B 模型微调出可用效果的全过程。含数据格式、超参选择、显存对照表和效果评估方法。

从最小可用的工具调用循环开始，讲清工具描述怎么写、上下文怎么管、多步任务为什么会跑飞，以及我最后收敛到的架构。

用 120 道固定的中文任务题，测了 8 个能本地跑的中等规模模型。含评分标准、原始数据表和我的选型结论。

一次完整的推理服务优化记录。连续批处理、PagedAttention、前缀缓存、投机解码，每一项带来多少提升都有实测数字。

把我这半年攒下的 AI 项目素材一次整理干净。含常用模型权重索引、清洗过的中文数据集、90 条实测提示词模板和一套部署配置。