先给结论:小样本有效、批量无效,通常不是“批量执行”这个动作本身出错,而是小样本阶段混入了页面筛选、时间窗口或人工修正等隐性条件。要复现,必须先把小样本阶段真正生效的变量拆出来,再用同条件扩样;否则批量只是在放大一个未被识别的偏差。
同一操作在小样本上有效,到批量时失效,原因大致分两类。
区分这两类,靠的是回看小样本页面在操作前的状态,而不是只看操作后的结果。如果小样本页面在操作前就普遍优于批量页面,那更可能是页面异质;如果小样本页面和批量页面起点相近,但小样本阶段多做了几步,那更可能是条件缺失。
很多人遇到批量失效,第一反应是把样本量从十几个扩到几百个,再重跑一次。这个动作往往让问题更模糊,因为扩样同时引入了更多异质页面。更稳的做法是先构造一个可比组。
具体动作:从批量页面中挑出与小样本页面起点最接近的一批,比如内容长度、内链数量、页面层级、历史抓取频率都落在相近区间。只对这一批执行与小样本完全相同的操作,其他条件不动。如果这批页面仍然无效,说明操作本身对这类页面不成立;如果这批有效,说明之前批量失效是页面异质导致的,下一步该做的是分群处理,而不是放弃操作。
这个动作的结果直接决定下一步方向:有效则按页面类型拆分执行,无效则回到操作本身找原因。
小样本阶段常有一个隐性优势:操作者会顺手修正其他问题。要复现,就得把这些顺手动作显性化。
这一步的代价是时间:每加回一项都要等数据稳定。但它能避免把附带修正的功劳记到核心操作上,也能避免批量时漏掉关键前置条件。
小样本操作往往发生在某个需求上升期,批量执行时需求已经回落。这时批量无效可能只是外部搜索需求变化,不是操作本身失效。
可用的判断依据:对比同一时间窗口内未执行操作的对照页面。如果对照页面的数据也在同步下滑,那批量组的“无效”更可能是季节或需求波动;如果对照页面稳定而批量组下滑,才更可能是操作问题。这里要注意,一次改动前后的比较必须考虑采集差异和需求变化,不能把相关当因果。
假设例子:某次调整在十个页面上线后,两周内这些页面的点击有所上升;随后在两百个页面上线,四周内点击没有明显变化。此时不能直接判定批量无效,因为第二阶段的四周可能覆盖了需求回落期。先取同期未改动的对照页面,若对照页面同样走低,则需换一个需求平稳的窗口再复测。
如果可比样本复测仍无效,且对照页面排除了需求波动,那么该操作对小样本之外的页面大概率不成立,此时应停止批量,回到小样本页面本身,找出它们区别于其他页面的具体特征,再决定是否只对同类页面执行。
如果可比样本复测有效,说明操作可复制,但需要按页面类型分批。此时的动作是:先按页面结构或内容完整度分群,每群单独执行并单独观察,不要一次性全站铺开。这样即使某一群无效,也不会污染其他群的判断。
例外情况:如果批量页面的数量极少,或页面之间差异极大,分群成本可能高于收益,此时更实际的选择是先只处理与小样本最接近的那部分页面,其余页面暂缓。