kita / notes
← 回到全部笔记

事件日期 阅读约 3 分钟

从 Iris 迁往 ReMe 记忆系统:6675 条档案转存、排序前权限过滤与 UTF-8 签名校验

发布于

本文目录(3 节)
  1. 全量转存账单:6,675 条规范化记录与原生 BM25 索引
  2. 排序前过滤(Pre-ranking Scope Filter)与图谱越权防护
  3. 踩到的一个签名小坑:kafu(B) 的全角括号与 UTF-8 比较

机器人的旧记忆系统 Iris 跑了两个多月,攒下了两千多条长期摘要和上百份群友画像。10 月 22 日我把记忆后端全面切到了自己维护的 ReMe 服务(v0.2.2)。

迁移之前我给自己定了三条硬约束:

  1. 零 LLM 重写、零全库重嵌入:离线构建容器直接断网(LLM 与 embedding 调用数均为 0),绝不让大模型在迁移过程中篡改历史摘要或重新算好感度。
  2. 不把旧摘要漂白成真实原话:旧库转过来的 L2 摘要统一打上 legacy_unverified 标记;原库里没有时区的时间戳保持原样,不擅自补成 UTC 或北京时间。
  3. 不断在线业务:先热迁持久化归档并完成双轨对账,最后停止 Iris 前再把内存中残留的 46 条短期上下文(L1 buffer)和增量 8 条 L2 记录一并收口。

全量转存账单:6,675 条规范化记录与原生 BM25 索引

写好的导出与归档脚本(export_all.py / deploy_archive.py)把 Iris 里的四类资产全部做了结构化转存与散列核对:

  • L2 长期摘要:初始检查点 2,078 条,停用 Iris 前最终增补对账 2,086 条(对应的 1024 维原向量索引也完整保留)。
  • 知识图谱:2,044 个节点、1,988 条关系边,保留原节点 ID、端点、权重、置信度与来源时间。
  • 用户与群画像(Iris KV):共 565 条 KV,其中包含 115 份用户画像和 7 份群画像。每份画像里的好感度、关系备注、阻力系数和重要事件原样搬移。
  • 附件与图片缓存:668 个文件(约 369 MB),逐个校验 SHA256。

除掉 443 条配额和缓存管理状态后,剩余 6,232 份语义文档直接建立并落盘为 ReMe 原生持久化 BM25 索引。

排序前过滤(Pre-ranking Scope Filter)与图谱越权防护

多租户记忆系统最容易犯的错,是「先在全局索引里搜出 top-k,再把不属于当前会话的结果删掉」——这不仅会暴露探针侧信道,还会让热门群聊的公共记忆挤占掉私聊用户的召回名额。

所以在 ReMe 的检索入口里,作用域过滤是严格前置在打分排序之前的:

  • 私聊隔离:在私聊场景下,只检索明确归属于当前用户(例如主人私聊对应的 294 条个人 L2)的记录;旧库里 175 条只有群号没有个人归属的摘要、以及 12 条无归属记录,全部挡在个人私聊召回之外。
  • 图谱节点不等于访问授权:旧图谱里的 properties.user_id 往往只是语义上提到了某个人,不代表那条边可以在他的私聊里公开。新图谱路由改为核对 authored source references 和房间来源(room provenance):实测私聊探针只能读到有明确来源授权的 3 个节点,而在对应群聊里则能正常召回该群的 154 个节点和 69 条边。
  • 跨平台数字 ID 不串号:非 QQ 平台(如 WebChat 或 Android 客户端)哪怕数字 ID 与某个 QQ 号巧合相同,也走独立的 origin 分区,不会自动继承 QQ 侧的旧档案。

踩到的一个签名小坑:kafu(B) 的全角括号与 UTF-8 比较

上线全会话路由时,由前端插件根据 SDK 真实事件生成 sender / platform / group / persona / origin 绑定并做 HMAC 签名,防止模型在 tool call 里伪造身份。

结果测到备用人格 kafu(B) 时签名校验报错了——因为人格名字里带了中文全角括号 (),早期一段图省事的 ASCII 签名比对逻辑在处理非 ASCII 字符时直接抛了异常。把它修成先统一 .encode("utf-8") 再调 hmac.compare_digest 并补上 Unicode 单元测试后,所有人格和群聊路由就全部顺畅了。

← 返回全部手记