主题索引

按主题浏览

共 6 篇笔记、22 个主题标签。点任意标签即可筛选。

全部笔记6 篇

从显存估算公式开始，实测 vLLM、llama.cpp、TensorRT-LLM 三种方案在 4090 上的吞吐与延迟，给出不同场景下的选择建议。…

单卡 24G 把 7B 模型微调出可用效果的全过程。含数据格式、超参选择、显存对照表和效果评估方法。

从最小可用的工具调用循环开始，讲清工具描述怎么写、上下文怎么管、多步任务为什么会跑飞，以及我最后收敛到的架构。

用 120 道固定的中文任务题，测了 8 个能本地跑的中等规模模型。含评分标准、原始数据表和我的选型结论。

一次完整的推理服务优化记录。连续批处理、PagedAttention、前缀缓存、投机解码，每一项带来多少提升都有实测数字。

把我这半年攒下的 AI 项目素材一次整理干净。含常用模型权重索引、清洗过的中文数据集、90 条实测提示词模板和一套部署配置。

想按关键词找？回首页搜索或随时按 ⌘K