当多个角色对同一批词是否值得做有分歧时,把分歧写成可核对的项目,再决定哪些项目必须人工定级、哪些可以交给自动评分,是搜索关键词查询工具使用中最容易出错的一步。核心做法是:凡涉及词义、业务归属、合规或地域意图的项目,先人工定级并留下依据;只有形式统一、判断标准已经写死的项目才允许自动评分先跑。
常见的情形是,工具给一批词打出整齐的分数,团队却为“这个词到底算谁的业务”争论不休。比如“退换货政策”这类词,系统可能按搜索量、词长、竞争度给出高分,但客服团队认为它属于售后解释,市场团队认为它属于购买决策词,产品团队认为它指向功能缺陷。三方都不否认分数,却都不愿接手。
这不是评分算错了,而是评分回答的问题和团队要回答的问题不是同一个。自动评分通常回答“这个词在形式指标上表现如何”,而多角色分歧回答的是“这个词在业务上归谁、意图是什么、能不能承诺”。两者混在一起,就会出现高分无人认领的局面。
第一种解释是评分失真:指标权重设置不合理,或者数据源过时,导致分数偏离真实价值。这种情况下,调整权重、更新数据后,分歧应该收敛。
第二种解释是项目本身不可自动定级:这个词的意义依赖人工判断,评分再准也无法替代。比如同一串字符在不同语境下指向完全不同的意图,或者涉及合规表述、地域差异、品牌承诺,这些不是权重问题,而是判断权归属问题。
区分这两种解释,靠的不是再看一遍分数,而是看分歧的性质。如果分歧集中在“分数高不高”,多半是评分问题;如果分歧集中在“这个词算不算我们的、能不能这么说”,那就是定级权问题,自动评分不该先跑。
可以收集三类证据来分辨:
这三类证据不需要全部满足。只要第二类明显成立,就应把该项目从自动评分流程中拆出来,先做人工定级。
具体动作是:为存在分歧的词建立一张定级表,每个词至少记录三项——意图归属、责任角色、判断依据。意图归属写清这个词指向哪类需求;责任角色写清由谁最终确认;判断依据写清依据的是哪条业务规则或哪份材料。
假设有一个词,市场认为应归入获客,客服认为应归入售后解释。定级表要求双方各写一句依据。如果市场写不出与获客直接相关的业务规则,而客服能引用现有售后条款,那么该词的定级就偏向客服。这个结果会直接影响下一步:它不再进入获客评分队列,而是进入售后内容核对队列。
这个动作的关键不是投票,而是让每个判断都能被核对。核对不了的判断,不应进入自动评分。
可以自动先跑的项目,通常满足三个条件:判断标准已经写死、不依赖语境、不涉及对外承诺。例如词长统计、是否包含特定字符、是否与已有关键词重复,这些属于形式判断,人工复核成本高而分歧小。
反过来,以下项目应先人工定级:涉及合规表述、涉及地域或语言差异、涉及品牌承诺、涉及多业务线归属、涉及同一词在不同角色间理解不一致。这些项目即使自动评分给出结果,也只能作为参考,不能作为执行依据。
需要说明的是,具体工具是否支持自定义定级字段、是否保留人工修改记录,取决于该工具的当前版本和配置,使用前需要核对实际功能,不能假定所有工具都具备同样的能力。
人工定级完成后,自动评分的作用会发生变化:它不再是决定“做不做”的依据,而是用于在同一归属内部排序。比如已经确认归入售后解释的词,评分只用来决定先写哪一篇,而不是决定它是否属于售后。
如果发现某个词的人工定级反复被推翻,说明定级标准本身需要修订,而不是评分需要调整。这时应回到定级表,补充或修改判断依据,再重新核对。
把人工判断和自动评分分开,不是为了否定评分,而是为了让每个分数都有明确的适用边界。边界清楚之后,多角色的分歧才能转成可以逐项核对的项目,评分也才不会替人做它做不了的判断。