先给结论:当同服务器上的一批页面只有一部分被发现,对照组不应按“已收录/未收录”划分,而应按“是否被同一批内链路径指向”划分。因为收录与否是结果,内链路径才是可干预的变量。把已发现页和未发现页直接对比,你只能看到差异,无法判断差异是原因还是结果;按内链路径分组,才能把“被指向”和“未被指向”的页面放在同一服务器、同一模板、同一批内容质量下比较,从而隔离出内链这一个条件。
已发现页和未发现页之间通常同时存在多个差异:发布时间、内容长度、是否被导航链接、是否被站点地图包含、是否有外部链接。你无法知道是哪一个差异导致了发现与否。更麻烦的是,发现状态本身会反过来影响后续行为——一个页面被发现后可能获得更多内链,于是它更容易被再次抓取,形成自我强化。这种反向因果会让“已发现页内链更多”这个观察变得没有诊断价值。
有效的对照组需要满足:两组页面在除被测条件外的其他维度上尽量接近。在同服务器场景下,最容易做到这一点的方式,是利用同一批页面往往共享模板、共享服务器响应时间、共享站点地图提交批次。此时唯一可区分的条件就是内链指向。
把批量页面分成两组:A组至少有一个来自高权重页面(如首页、栏目页、热门文章)的直接链接;B组只能通过站点地图或深层分页到达。如果A组发现率明显高于B组,说明直接内链是主要变量。如果两组发现率接近,说明内链不是当前瓶颈,需要转向其他条件。
如果第一层没有明显差异,进一步控制链接深度:两组页面距离首页的点击深度相同,但A组的链接来自正文内容区,B组的链接来自页脚或侧边栏。这个划分能区分“链接位置”是否影响发现。注意,这需要你确认两组页面确实处于相同深度,否则深度会混入比较。
最细的划分:两组页面在模板中的链接位置相同、深度相同,唯一区别是A组被3个以上页面链接,B组只被1个页面链接。这个层级适合你已经排除前两层差异后使用。样本量太小时不要做这一层,否则单页波动会淹没信号。
假设你按内链路径分组后,发现A组发现率更高,于是判断“增加内链就能解决”。但如果B组页面中有相当比例是近期批量生成的、内容高度相似,而A组是较早生成的、内容差异较大,那么真正的变量可能是内容相似度而非内链。此时内链分组失效,因为内容相似度与内链分组高度相关。判断方法:检查B组中未被发现的页面是否在标题、正文结构、关键段落上高度雷同。如果是,先解决内容差异问题,再重新做内链分组。
另一个反例:如果同服务器上存在抓取预算被大量低价值URL消耗的情况,那么无论内链如何划分,未被发现的页面都可能只是排在抓取队列后面。此时对照组应按“URL是否被站点地图提交”或“是否被robots.txt限制”划分,而不是内链。但要注意,robots.txt限制抓取不等于可靠的索引移除,站点地图提交也不保证收录,这些只能作为分组依据,不能作为结果承诺。
完成分组后,先看组间差异是否稳定。如果A组和B组在多个批次中都呈现一致的发现率差异,下一步动作是:只对B组中内容质量与A组接近的页面增加直接内链,然后观察这批页面的发现状态是否变化。如果变化,说明内链是有效变量,可以推广到同类页面;如果不变,说明内链不是当前瓶颈,应转向检查服务器响应一致性、站点地图更新频率或内容差异。这个动作的关键是只改一个条件,并且记录改动前后的分组状态,否则你无法判断下一步该继续加内链还是换方向。