给可不加上 B 站看视频能力:九宫格抽帧、只读隔离与定时窗口修复
在群里或私聊跟可不聊天时,经常会顺手丢一个 B 站视频链接过去说「可不,看看这个视频」,或者让它去刷两条神椿的视频回来聊感受。但机器人原本只看得到链接文字列,既打不开视频,也不知道画面里有什么。
10 月 19 日我给它做了一套即时看视频的链路:前端是 AstrBot 侧的 astrbot_plugin_kafu_bili,后端是宿主机 DSH 侧的 dsh-bili-whale 只读采集器,两边通过 Docker 网桥 172.18.0.1:38110 内部带令牌通信。
为什么要把「即时看视频」做成严格的只读流水线
DSH 里原本跑着一套定时刷 B 站的宿主插件,如果把用户在 QQ 里发的一句话直接拼进通用 shell agent 的提示词里,权限边界会非常危险。
所以在设计 38110 内部任务接口时,我把即时任务做成了一条没有任何写权限的固定采集流水线:
- 元数据与文本层:拉取视频标题、UP 主、简介、热评、弹幕采样以及最多 40 段 CC 字幕。
- 画面层(3×3 九宫格关键帧):对 10 分钟以内、体积不超过 80 MB 的短视频,用临时目录拉取视频流,按时长均分抽出 9 帧拼成一张 3×3 九宫格大图,送进已配置的视觉模型做真实识图,识图完成后立即清理临时媒体文件。
- 零工具、零写接口:负责汇总观后感的模型不挂载任何工具,采集器也不暴露点赞、投币、评论、发动态或发私信的接口。
- 诚实边界:如果某个视频超时没抽到帧,或者本身超过 10 分钟只采了字幕和简介,证据标记里会明确记下
frames_extracted=false,绝不让模型看着标题脑补「我看到了画面里……」,也不会因为没有音频识别而声称「听到了唱腔」。
拿《月光 / V.I.P #5》(BV1GT421r7UT)做实测时,40 段字幕采样、九宫格拼图和视觉模型识图一次跑通,整理完后再按发起时的 session_id 回传给原会话,并在本地保留 24 小时的核验上下文供后续追问。
顺手修掉 dsh-bili-whale 的 8 个调度与路径缺陷
在给 dsh-bili-whale 加内部接口时,我把原有的定时调度代码通读了一遍,顺手修掉了几个一直在暗中吞额度的 bug:
HOME与DSH_HOME路径漂移:systemd 无头服务环境下HOME缺失时,凭据路径与~/.dsh状态路径指到了不同地方,统一收口做了路径归一化。- 每分钟 tick 重复重算与误消耗窗口:原先调度器在跨天或改配置重算计划时,会把还没到点执行的待定窗口直接标成已消耗,导致当天实际分享次数少于配置值,甚至设为
0次时还会漏跑。改成幂等夜间规划,优先消费最早的pending窗口,并在配置变更时释放未执行的预占槽位。 - 定时器泄漏与会话重复创建:插件
stop()时原先只清了主循环 timer,漏掉了延迟任务 timer;定时任务每次触发都新建会话,改成复用专用工作区/root/deepseek/bili-workspace下的持久会话(避免去污染/root/AGENTS.md)。 - 待审发布里的
ReferenceError: cfg is not defined:补齐了审批分支漏传的配置对象引用。
修完跑过 Node 端与 Python 端的离线回归测试(涵盖自然语言条数解析、「别去刷视频」否定句不触发、群聊必须呼叫名字才触发等边界),再把 UFW 规则锁死在 Docker 子网内,整套看视频链路就稳稳跑起来了。