kita / notes
← 回到全部笔记

事件日期 阅读约 3 分钟

返修 RSI 遥测采集器:钩子冲掉回复、同步 SQLite 阻塞与 HMAC 脱敏

发布于

本文目录(3 节)
  1. 1. 生命周期 Hook 覆盖导致机器人回复被清空
  2. 2. 从同步写 SQLite 改成有界异步 Worker 队列
  3. 3. 默认 flagged 采集模式与确定性 HMAC 密钥

10 月 20 日给可不装第一阶段的自改进遥测采集器(astrbot_plugin_kafu_rsi)时,初版代码虽然能跑通简单用例,但做完一轮严格的代码审计和真机挂接测试后,我直接把它停用打回重做了——初版同时踩中了「把正常聊天回复清空」「同步写库卡住事件循环」和「原文采集过宽」三个大坑。

当天下午完成的 v0.1.2 返修版(REPAIR_RELEASE_0_1_2)集中把这八处问题彻底收干净。

1. 生命周期 Hook 覆盖导致机器人回复被清空

最严重的一个 bug(审计编号 A01)是:初版在发送后钩子里回写 trace 元数据时,复用了同一个整行更新方法,而那个方法在未传入正文参数时默认把 reply_text 写成了空字符串,顺手把钩子链上准备下发的回复对象也改空了。

修法是在 storage.py 里把「更新耗时/Token/工具计数等元数据」和「写入输入输出正文」彻底拆成两个互不覆盖的 SQL 分支,并用完整的 AstrBot 生命周期 hooks 链跑回归测试,确保无论采集器在哪个阶段介入,原消息链的内容和组件数都原封不动。

2. 从同步写 SQLite 改成有界异步 Worker 队列

初版在每个聊天事件钩子里直接同步调 sqlite3.connect() 写库(A04)。一旦磁盘抖动或者并发消息上来,SQLite 锁等待就会直接卡住 AstrBot 的主 asyncio 事件循环,拖慢正常聊天回复。

返修版在 storage.py 里加了一个有界内存队列(bounded queue)和单独的后台 SQLite worker 线程:

  • 聊天钩子只往内存队列做非阻塞投递;如果队列满了,直接丢弃本次采样并递增 dropped_count 计数器,绝不阻塞聊天主流程。
  • 用户主动发出的「不记录这段」或退出删除请求(tombstone)走独立高优通道,不受普通采样队列满载的影响。
  • 插件卸载或重启时执行有界关闭,拒绝新 worker 与仍在退出的旧 worker 争抢同一个数据库文件。

3. 默认 flagged 采集模式与确定性 HMAC 密钥

遥测数据库如果默认把所有群友和私聊的原文全量存下来,隐私风险太高(A02)。于是我把默认策略改成了 text_capture_mode = "flagged":

  • 普通正常对话只记录长度、耗时、Token 用量以及参与者 ID 的 HMAC 摘要,不落盘任何聊天原文。
  • 只有命中异常规则(如工具报错、空回复、超长截断或显式反馈标记)时,才保留经过脱敏的有限文本,并在落盘前自动把 URL、文件路径、凭证串、平台数字 ID 和已知昵称替换成占位符。

做 HMAC 脱敏时还抓到了一个跨平台坑(A08):初版在 Windows 本地跑测试时用文本模式读写密钥文件,\n 被悄悄转成了 \r\n,导致重启前后的 HMAC 摘要对不上;同时初版在密钥文件权限异常时会静默回退成随机内存密钥,重启后所有历史匿名 ID 就全断了。返修版统一改成二进制模式('rb' / 'wb')读写密钥,强制目录 0700、数据库与密钥文件 0600,且一旦密钥持久化或权限校验失败就直接禁用采集器,绝不用临时密钥凑合。

补齐每 6 小时一次的过期记录自动清理后,本地 57 项单元与边界测试、加上服务器容器内基于真实 AstrBot 类的 13 项运行时 smoke 门禁全部通过,采集器这才重新上线。

← 返回全部手记