防止人工判断被自动评分替代的关键,不是拒绝评分,而是把评分降级为筛选器:先用它缩小范围,再把无法由规则表达的项目交给人工,并且让评分结果无法直接决定最终动作。批量查询中真正危险的做法,是让一个总分同时承担发现异常、判断原因和决定处理方式三种职责,一旦如此,人工判断就没有介入位置。
批量查询的结果通常以列表或分数形式出现,看起来越统一、越便于排序,团队越倾向于直接按分数处理。此时会出现一个矛盾:分数让流程更快,却也让“这一条到底该不该动”的讨论消失。更隐蔽的情况是,人工复核仍然存在,但只被要求确认分数,而不是重新判断事实,复核就变成了形式。
可以先用一个假设例子说明风险。假设某批查询中,某条结果因排名下降被自动标记为高优先级,另一条因排名稳定被标为低优先级。如果只看分数,前者会被立即处理,后者会被搁置。但若前者下降是因为查询条件本身写错,后者稳定是因为它根本不属于同一类页面,那么按分数行动就是在放大错误。这个例子不指向任何具体工具,只说明评分与判断的对象可能并不一致。
当人工判断被自动评分替代时,通常有两种解释需要分开。
评分把可量化部分做得很好,例如变化幅度、出现频次、条件一致性,于是它自然被用来回答所有问题。问题不在评分本身,而在于有人把“变化大”直接等同于“需要处理”。这种情况下,人工判断并没有消失,只是被推迟到了执行之后,代价是返工。
更严重的情况是,团队不再讨论“这条结果对应的事实是什么”,而是讨论“这条分数够不够高”。判断对象一旦变成分数,人工就只能围绕分数争论,无法回到原始事实。这种替换往往发生在流程被压缩、人力不足或交付压力大的阶段。
要判断属于哪一种,可以看三个可观察的证据。
这三条证据指向不同结论:第一条和第三条指向判断对象被替换,第二条指向评分口径覆盖过宽。区分清楚之后,下一步动作才有依据。
两种做法都成立,但适用条件不同。
做法一:全量人工复核。适用于结果数量有限、每条判断成本可控、且错误处理代价高的场景。代价是速度慢,且复核者容易疲劳,后期判断质量下降。如果批量查询的结果数量已经超出单人可稳定处理的范围,这种做法会先失效。
做法二:评分筛选加人工抽样。适用于结果数量大、评分能可靠区分明显异常与明显正常的场景。前提是抽样必须覆盖评分两端,而不是只抽中间。只抽高分或只抽低分,都会让评分重新变成唯一判断依据。代价是可能漏掉评分无法识别的项目,因此需要定期回看被评分判为正常的样本。
选择条件可以简化为:如果错误处理代价高且结果量可控,优先全量复核;如果结果量大且评分口径已经过验证,优先抽样,但抽样规则必须写清楚,并保留人工推翻评分结果的权限。
具体动作是:在批量查询流程中增加一个“评分不可直接触发处理”的约束,即任何由评分产生的待处理项,都必须经过一次人工确认才能进入执行队列。确认的内容不是复述分数,而是回答三个问题:查询条件是否成立、结果归属是否正确、变化是否属于本次需要处理的范围。
这个动作的结果会直接影响下一步。如果确认环节发现大量条件错误或归属错误,说明问题出在查询设计而不是排名变化,下一步应修正查询条件并重新批量查询,而不是继续处理队列。如果确认环节发现评分与人工判断高度一致,说明评分口径可用,下一步可以扩大抽样比例、降低人工介入频率。如果确认环节频繁推翻评分,说明评分口径需要重新定义,下一步应调整评分依据,而不是增加人工数量。
需要注意的是,批量查询中的请求量、抓取量或某项统计归零,不能单独证明评分或人工判断哪一个正确。归零也可能来自查询条件变化、结果本身减少或采集时段不同,这些都需要结合具体条件核对后才能下结论。把归零直接当作处理正确的证据,等于用另一个未经判断的指标替代了人工判断。