排查机器人识图差距:先固定图片链路,再对比视觉模型
本文目录(2 节)
群里发张图问「这是什么」,机器人的回答比网页端直接看图差了一截:同一个画面,网页端能读出角落里的小字和背景细节,机器人只能说个大概,还经常认错主体。
第一反应是怀疑图片在传输链路里被压糊了或者裁掉了。
顺着代码核对图片编码链路
AstrBot 处理图片消息的入口主要有三处:
astr_main_agent.py:把平台收到的图片消息段组装进多模态请求上下文。media_utils.py:resolve_image_ref_to_base64_data把图片 URL 或本地缓存文件转成 base64。- 配置里的
image_caption与default_image_caption_provider_id:决定由哪个多模态 provider 处理看图请求。
在容器里打点检查了送出去的 base64 字节长度和原图分辨率,图片本身是完整编码送入请求的,没有在插件侧被二次降采样。
固定输入对比不同视觉模型
确认管道没有把图压坏后,剩下的变量就是视觉模型本身。当时把 default_image_caption_provider_id 切到 Qwen3-VL-30B-A3B-Thinking,又试了硅基流动上的几个开源 VL 模型。
最开始排查时我犯过一个错:一边改图片预处理参数,一边换 provider,结果回答变好了也不知道是谁起的作用。后来固定拿同一张图、同一句提问、同一份原图 base64,只切换模型 ID 做对照:切换后识别准确度比原先配的小尺寸视觉模型明显好转,但遇到密集小字和复杂截图时,跟主力闭源大模型仍有差距。把「管道有没有损毁输入」和「模型本身的能力边界」分开验证,才不会在不相干的配置项上反复打转。