本地优先，模型只做最后一句话
触发、检索、记忆、心情、关系全部本地算，0 token。
- 代价
- 能力受规则限制
- 收益
- 一天 200 条约 1.5 元
案例 · 大模型应用 · 独立开发 · 2026.10
小甜
群里的那个人：一个 QQ 群 AI 群友
她不接客服的活。你问产品她答，你说她菜她记两小时，答不上来就说不知道。给 AlunHex 的玩家群做的。
92.5%Eval 通过率80 条用例的单轮结果，有 ±5% 噪声
614 条断言自测 0 失败离线跑，跑完校验真实数据一字未动
0.005 元单次问答约 2200 输入 + 90 输出 token
10 天单人从 0 到 24 小时在线5923 行 Python / 22 个模块
- 我的角色独立开发：产品定位、人设与触发规则、记忆和成本方案、Eval 与自测、部署上线；代码借助 AI 完成
- 技术DeepSeek V4.1-Flash · NapCat（OneBot 11）· Python 3.12 · Docker Compose
01
背景：一个人管不过来一个群
重复的问题没人接
「面板打不开」「怎么下载」「会不会封号」同一个问题一天被问三遍；我一个人维护产品，半夜没人盯群。
客服机器人比没人更烦
只会甩链接和「您好，请问有什么可以帮您」，群友直接屏蔽或退群。
通用 AI 不记事
每次从零开始，谁问过什么、谁刚被说过菜，一概不知道。
02
定位：不做客服，做群友
客服机器人
目标是把问题关掉
- 有问必答
- 答案完整，语气中性
- 一眼就能看出是机器人
AI 群友 · 小甜
目标是让群里多一个像人的人
- 只在被叫到时开口：@、叫名字、产品关键词带问句、回复她；@ 别人不插嘴，1~2 字附和不接
- 话少：默认一句、最多两条，被要求闭嘴就一个字不回
- 会不高兴：赌气 2 小时，道歉立刻消气，脾气只改语气不改答案
- 敢说不知道：资料里没有的数字不编
代价写在明面上：有些问题她不理你。换来的是没人觉得她是客服。后面所有设计取舍都从这一条出发。
03
关键决策：每一条都有代价
这些是我定的，代码按这些写。
记忆分三层，各有存活期
产品事实永久，闲聊按 30 天半衰期淡忘，情绪 2 小时消。
- 代价
- 三套存储要维护
- 收益
- 不会把旧版本当最新答，也不会把很久以前的事记得比上周清楚
数字必须有出处
prompt 约束之外，代码 check_numbers() 再拦一次。
- 代价
- 偶尔只能答「资料里没写」
- 收益
- 群里不会出现编造的胜率
情绪有边界
赌气 2 小时，不影响答题，不翻旧账。
- 代价
- 戏剧性弱一点
- 收益
- 不会因为一次口角，把后面的问题都答歪
推理按需开
18 字以上、问句、事实词、知识库未命中才开推理。
- 代价
- 不是最快也不是最省
- 收益
- 闲聊 0.8~1.7 秒回复，复杂问题才慢
管理只在私聊，大白话用正则
36 项设置只认私聊；「回复频率降低一点」走本地正则，0 token。
- 代价
- 多一步，只认有限句式
- 收益
- 密钥不会在群里泄露，也不会因为模型理解错改坏配置
04
怎么做的：模型只负责最后一句话
绿色的都在本地算完，不花 token。
QQ 群消息群友发消息
→
NapCat协议端 · OneBot 11
↓ WebSocket
Python Bot（Docker，跑在家里的软路由上）
触发判定0 token
BM25 知识检索 · 623 块0 token
三层记忆 · 对话 / 关系 / 知识0 token
心情与好感 · 本地规则0 token
输出保险 · 黑名单 / 外链替换本地
分条发送 · 最多 2 条本地
↓ 只有组装好的 prompt 出门
DeepSeek V4.1-Flash一次约 2200 输入 + 90 输出 token
回来的话先过输出保险：源码、网盘直链、旧域名硬拦，外链一律换成官网。最后按字数等 1.1~3.2 秒拆成两条发出去，像人在打字。
- 有出处的知识自研 BM25 检索 623 块，中文 bigram + 20 组同义词 + 82 条英雄昵称
- 三层记忆对话 1030 轮按 30 天半衰期淡忘，关系档案 558 人，全部是本地 jsonl，不是训练模型
- 脾气有期限7 维情绪由关键词驱动，6 小时回基线；好感 -1~1
- 会补表情群友发的图先让视觉模型判断是不是表情包，再打情绪标签，库存 138 张
- 听得懂语音先走 QQ 原生转文字（免费），失败异步重试 3 次，再用本地 faster-whisper base 兜底
- 自己学东西每 2 小时在谷时搜 3 个关键词、拉 B 站字幕、蒸馏成知识；累计 34 轮，学到 95 条
- 读原始数据直接解 data.zip，生成 292 张卡 / 173 个英雄出装，0 次模型调用
- 答不上来就记下答不上来的问题攒成清单，现在 55 条，等我确认后再入库
05
怎么验证：效果看 Eval，工程看断言
产品效果 · 同一套 80 条用例跑了三轮
- 10-21 首轮83.8%基线（67/80）
- 10-21 优化91.2%长度分档、边界强化、修正判分误判（73/80）
- 10-23 优化92.5%换可爱人设 + 数字出处约束（74/80）
最新一轮分项：人设 100% · 知识 90% · 边界 90% · 安全 90%；一轮 0.547 元。
LLM 输出有随机性，单轮有 ±5% 噪声，所以看趋势，不看某一轮的绝对值。
工程质量
- 614 条断言的离线自测：临时目录 + monkeypatch，覆盖设置读写、备份排序、密钥打码、大白话解析、静默开关；跑完校验真实数据一字未动。
- 变异性验证：把实现逐条回退，自测能抓出 1~18 条失败，证明断言不是空过。
- 改配置：临时文件 +
os.replace原子写盘，改动前自动备份留 20 份；审计日志记清谁把哪项从多少改成多少，密钥只记掩码。 - 上线：sftp 单文件替换 → 容器内
py_compile→ md5 比对 → 只重启机器人容器；上线前 tar 备份。
06
她在群里是这样说话的
左边是真实群聊截图（其他群友的头像和昵称已模糊），下面是现在人设的示例对话。
这一段里能看到几条规则在起作用：
- 新人欢迎：有人进群，先把最常见的「怎么下载」答掉，统一引导官网。
- 短句、不套话：每条都是一句话，没有「您好」「很高兴为您服务」。
- 表情包按情绪挑：群友发过的表情包会被自动收集、按情绪打标，说完话补一张。
还在评估的一点：被问「是不是机器人」时，她目前按人设否认。这是趣味和透明度之间的取舍。目前的考虑是：群里已经提前说明她是 AI，大家知道底细，反而更愿意逗她。
示例 · 技术问答
群友面板打不开
小甜先更到最新版试试 老版本这个毛病多
群友这软件会不会封号
小甜官方只读接口 不注入不改内存…不过我也不敢给你打包票
该答的答，不该打包票的不打包票。
示例 · 抬杠
群友我七连胜
小甜哇好强！…不过你上次不是连跪来着
群友你咋这么菜
小甜呜…我菜但我可爱啊
夸人留一半，被怼只委屈一句不吵。
07
上线之后
1030 轮对话记忆
558 人关系档案
142 名群友档案
362 次学到的内容被用来答题
服务 2 个群。数据是 10-29 从容器里统计的。
| 触发、检索、记忆、心情、关系 | 0 token |
| 读数据包生成卡库 | 0 元 |
| 单次问答 | ≈ 0.005 元 |
| 每天约 200 条 | ≈ 1.5 元 |
·
10 天时间线
- 10-20
OneBot 接上，群里能回第一句话。
- 10-21
PRD、BM25 知识库、人设、限流；搭 Eval，首轮 83.8%，同日优化到 91.2%。
- 10-23
换可爱人设 + 数字约束，Eval 到 92.5%。
- 10-24
三层记忆、日记消化、每天 9 点的健康检查。
- 10-25
读 data.zip 出卡库和出装，0 元；B 站学习接上字幕。
- 10-26
击杀榜、新人欢迎、表情包识别。
- 10-27
私聊管理面板 36 项、数字校验、闭嘴词表。
- 10-29
知识库按软件 1.9.1 的口径全量重刷，验证后才上线。
08
复盘
证明了什么
- 人味是工程问题：示例对话、禁用套话、长度约束和分条节奏，比换更贵的模型有效。
- 质量可以量化：80 条 Eval 看效果趋势，614 条断言守工程；没有数字的「优化」不算优化。
- 本地优先可行：能用代码算的都不交给模型，一天一块五。
- 一个人也能端到端：协议接入、知识生产、部署运维、回滚方案，全部单人完成。
局限（如实写）
- 个人项目，不是商业产品：2 个群、142 名群友档案，没有 DAU / 营收数据。
- 依赖第三方 QQ 协议端 NapCat，有账号风险，所以用小号、控频率。
- 记忆是本地检索与规则，不是模型微调；情绪和好感也是规则驱动。
- 92.5% 是单轮 Eval 结果，有 ±5% 噪声；成本是个人量级估算。
下一步：模型调用失败自动重试 3 次（本地已写好，未上线）；记忆检索加「事件」维度，现在只记问答，记不住「他上周说要换工作」这种事；学习效果周报自动发。
下一个案例家长消息处理系统：把重复核对变成一次批量登记