kita / notes
← 回到全部笔记

事件日期 阅读约 1 分钟

校验通过的标注,为什么仍然缺证据

发布于

本文目录(3 节)
  1. 空集合也能成为一条“边”
  2. 多标和少标各有问题
  3. 前文与后续也曾被混在一起

标注工具有字段白名单、枚举检查、可见消息限制,也能核对输出引用的片段。几轮修订后,输出终于能通过这些检查,我又挑了三个案例,逐项问“这条证据真的支持这个判断吗”。

很快就碰到了格式检查抓不住的问题。

空集合也能成为一条“边”

有些回复关系写着 candidates=[]、basis=none。结构符合允许格式,但没有候选,也没有支持依据,把它算进关系数量就会虚增结果。

另一些条目声称某条消息“回应了目标”,证据却只有回应自身,没有目标侧消息。时间相邻、话题相近,还不足以建立明确的回应关系。

还有一条是机器人自动生成的回执,被列进“他人反馈”。它确实出现在目标发言之后,但不属于我想分析的人际回应。

多标和少标各有问题

两份输出有的更积极,关系数量多,也混入了弱证据;有的保守,把可能的承接全部留成无链接,同样可能漏掉内容。

我没有用“谁列得多”排优劣,更没有据此判断哪个模型更理解这个人。双方用过不同版本的提示与规则,还有旧输出缺后来才加入的字段,不具备直接比较能力的条件。

前文与后续也曾被混在一起

另一处已修正的错误更基础:旧校验把目标在前文说过的话也算进“后续”。新逻辑先确认三份逐步展开的视图前缀一致,再按位置取最后新增的后文,不靠说话人相同就认成跟进。

没有后续发言,只能描述当前窗口没观察到,不能推导对方故意沉默;出现一条后续,也不必然是在回应锚点。

这次三例审查留下的是具体问题与待修订规则,不能代替全量质量评估。工具通过意味着一组机械约束满足了;判断有没有证据,仍需要对着实际可见内容检查。

← 返回全部手记