报告页数多于你实际维护的页面数,通常不是工具凭空多算,而是“统计单位”和“去重口径”不一致。先判断它把什么算成了一个对象:可能是同一URL的不同参数、不同协议或带尾斜杠的变体,也可能是同一查询词下抓到的多个落地页被分别计数。只有先确认口径,才谈得上正确去重。
第一种解释是变体计数。工具按原始URL字符串统计,而你的站点对http与https、带www与不带、带追踪参数与不带参数分别记录,于是同一页面出现多条。第二种解释是分页或结果集重复。工具把同一查询的多页结果、多次抓取快照都算作独立行,导致数字膨胀。两者的区别在于:前者是对象本身没被归一,后者是采集过程产生了冗余。
把报告导出为可逐行查看的形式,检查重复行之间哪些字段相同、哪些不同。
这三种情况对应三种不同的处理动作,混在一起去重会误删有效记录。
确认是变体计数后,先做URL归一化,再统计对象数。归一化至少处理四件事:统一协议、统一是否带www、去掉追踪参数、统一目录尾斜杠。归一后如果对象数回到你预期的量级,说明问题出在采集口径,下一步应向工具侧确认能否按归一规则配置,而不是手工反复删行。
假设你维护80个页面,报告显示240行。若归一化后仍剩210行,且这些行的URL互不相同但指向同一批内容,那可能是历史改版遗留的旧地址被抓到,此时需要处理的是重定向与站点地图,而非简单去重。
如果同一URL在多个查询词下重复出现,是否去重要看你的目的。做页面覆盖统计时,同一URL只算一次;做词页对应关系时,每个“查询词+URL”组合都应保留。先明确这份报告要回答哪个问题,再决定去重维度,否则会得出两种互相矛盾的“实际对象数量”。
去重完成后,不要直接拿新数字下结论。抽几行去重前后的记录做对照,确认被合并的行确实指向同一内容、同一查询意图。如果合并后某个重要页面的可见次数骤减,可能是归一化规则删掉了带参数的正常入口。此时应放宽规则、保留该变体,再重新统计。去重是手段,让报告能反映真实覆盖才是目的。