kita / notes
← 回到全部笔记

记录日期 阅读约 1 分钟

排查机器人识图差距:先固定图片链路,再对比视觉模型

发布于 · 修订

本文目录(2 节)
  1. 顺着代码核对图片编码链路
  2. 固定输入对比不同视觉模型

群里发张图问「这是什么」,机器人的回答比网页端直接看图差了一截:同一个画面,网页端能读出角落里的小字和背景细节,机器人只能说个大概,还经常认错主体。

第一反应是怀疑图片在传输链路里被压糊了或者裁掉了。

顺着代码核对图片编码链路

AstrBot 处理图片消息的入口主要有三处:

  1. astr_main_agent.py:把平台收到的图片消息段组装进多模态请求上下文。
  2. media_utils.py:resolve_image_ref_to_base64_data 把图片 URL 或本地缓存文件转成 base64。
  3. 配置里的 image_caption 与 default_image_caption_provider_id:决定由哪个多模态 provider 处理看图请求。

在容器里打点检查了送出去的 base64 字节长度和原图分辨率,图片本身是完整编码送入请求的,没有在插件侧被二次降采样。

固定输入对比不同视觉模型

确认管道没有把图压坏后,剩下的变量就是视觉模型本身。当时把 default_image_caption_provider_id 切到 Qwen3-VL-30B-A3B-Thinking,又试了硅基流动上的几个开源 VL 模型。

最开始排查时我犯过一个错:一边改图片预处理参数,一边换 provider,结果回答变好了也不知道是谁起的作用。后来固定拿同一张图、同一句提问、同一份原图 base64,只切换模型 ID 做对照:切换后识别准确度比原先配的小尺寸视觉模型明显好转,但遇到密集小字和复杂截图时,跟主力闭源大模型仍有差距。把「管道有没有损毁输入」和「模型本身的能力边界」分开验证,才不会在不相干的配置项上反复打转。

← 返回全部手记