kita / notes
← 回到全部笔记

事件日期 阅读约 3 分钟

给可不加上 B 站看视频能力:九宫格抽帧、只读隔离与定时窗口修复

发布于

本文目录(2 节)
  1. 为什么要把「即时看视频」做成严格的只读流水线
  2. 顺手修掉 dsh-bili-whale 的 8 个调度与路径缺陷

在群里或私聊跟可不聊天时,经常会顺手丢一个 B 站视频链接过去说「可不,看看这个视频」,或者让它去刷两条神椿的视频回来聊感受。但机器人原本只看得到链接文字列,既打不开视频,也不知道画面里有什么。

10 月 19 日我给它做了一套即时看视频的链路:前端是 AstrBot 侧的 astrbot_plugin_kafu_bili,后端是宿主机 DSH 侧的 dsh-bili-whale 只读采集器,两边通过 Docker 网桥 172.18.0.1:38110 内部带令牌通信。

为什么要把「即时看视频」做成严格的只读流水线

DSH 里原本跑着一套定时刷 B 站的宿主插件,如果把用户在 QQ 里发的一句话直接拼进通用 shell agent 的提示词里,权限边界会非常危险。

所以在设计 38110 内部任务接口时,我把即时任务做成了一条没有任何写权限的固定采集流水线:

  1. 元数据与文本层:拉取视频标题、UP 主、简介、热评、弹幕采样以及最多 40 段 CC 字幕。
  2. 画面层(3×3 九宫格关键帧):对 10 分钟以内、体积不超过 80 MB 的短视频,用临时目录拉取视频流,按时长均分抽出 9 帧拼成一张 3×3 九宫格大图,送进已配置的视觉模型做真实识图,识图完成后立即清理临时媒体文件。
  3. 零工具、零写接口:负责汇总观后感的模型不挂载任何工具,采集器也不暴露点赞、投币、评论、发动态或发私信的接口。
  4. 诚实边界:如果某个视频超时没抽到帧,或者本身超过 10 分钟只采了字幕和简介,证据标记里会明确记下 frames_extracted=false,绝不让模型看着标题脑补「我看到了画面里……」,也不会因为没有音频识别而声称「听到了唱腔」。

拿《月光 / V.I.P #5》(BV1GT421r7UT)做实测时,40 段字幕采样、九宫格拼图和视觉模型识图一次跑通,整理完后再按发起时的 session_id 回传给原会话,并在本地保留 24 小时的核验上下文供后续追问。

顺手修掉 dsh-bili-whale 的 8 个调度与路径缺陷

在给 dsh-bili-whale 加内部接口时,我把原有的定时调度代码通读了一遍,顺手修掉了几个一直在暗中吞额度的 bug:

  • HOME 与 DSH_HOME 路径漂移:systemd 无头服务环境下 HOME 缺失时,凭据路径与 ~/.dsh 状态路径指到了不同地方,统一收口做了路径归一化。
  • 每分钟 tick 重复重算与误消耗窗口:原先调度器在跨天或改配置重算计划时,会把还没到点执行的待定窗口直接标成已消耗,导致当天实际分享次数少于配置值,甚至设为 0 次时还会漏跑。改成幂等夜间规划,优先消费最早的 pending 窗口,并在配置变更时释放未执行的预占槽位。
  • 定时器泄漏与会话重复创建:插件 stop() 时原先只清了主循环 timer,漏掉了延迟任务 timer;定时任务每次触发都新建会话,改成复用专用工作区 /root/deepseek/bili-workspace 下的持久会话(避免去污染 /root/AGENTS.md)。
  • 待审发布里的 ReferenceError: cfg is not defined:补齐了审批分支漏传的配置对象引用。

修完跑过 Node 端与 Python 端的离线回归测试(涵盖自然语言条数解析、「别去刷视频」否定句不触发、群聊必须呼叫名字才触发等边界),再把 UFW 规则锁死在 Docker 子网内,整套看视频链路就稳稳跑起来了。

← 返回全部手记