火车头采集器使用：页面主题过宽时依据什么拆成独立任务
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /f7edbab4d5e5.html
📄
火车头采集器使用：页面主题过宽时依据什么拆成独立任务
判断依据不是页面字数，而是用户搜索意图与数据字段能否一一对应。当旧采集规则产出的页面把多个意图塞进同一URL，先看该主题下是否存在可独立回答的子问题、可独立变化的字段值，以及退出后是否仍保留可复用模板。三者同时成立时，拆成独立任务；只成立一项时，优先改写原任务而不是新增任务。
先看意图是否真的分叉，而不是看栏目层级
火车头采集器使用中最常见的误判，是按网站栏目树把宽主题切成多个任务。栏目是导航结构，不等于搜索意图。判断意图分叉，可以拿三个子问题去测：它们能否各自形成一句完整的用户提问；回答时是否需要不同的数据字段；把其中一个删掉，另外两个是否仍然成立。三项都通过，说明主题确实过宽。
假设一个采集任务原本抓取“某类设备报价”页面，同时混入了选型建议和售后政策。选型建议依赖参数对比字段，售后政策依赖服务条款字段，报价依赖价格字段，三者的字段集合几乎不重叠。此时拆成三个独立任务，每个任务的字段映射更短，后续改写规则时改动范围也更小。若三个子问题共用同一批字段，只是表述角度不同，则拆开只会增加重复抓取，应保留为一个任务。
字段能否独立映射，决定拆分的下限
拆分不是越细越好。每个新任务都需要独立的列表页规则、内容页规则和字段映射，维护成本随任务数量线性上升。可操作的判断标准是：某个字段是否只服务于一个子问题。如果价格字段只出现在报价子问题中，它就应该随该子问题独立；如果价格字段同时被三个子问题引用，强行拆开会导致同一字段在多个任务里重复维护，一处页面改版就要改三遍。
实际动作可以这样执行：先把现有任务的字段列成清单，标出每个字段被哪些子问题引用。只被一个子问题引用的字段，划入该子任务的独立范围；被两个以上子问题引用的字段，留在公共部分。公共部分超过总字段数一半时，说明拆分收益有限，应改为在模板中增加条件判断，而不是新增任务。
旧任务退出时，先决定保留哪一部分
主题过宽往往伴随旧系统或旧合作关系退出。这时有三种处理方式，适用前提不同。
- 保留：旧任务的字段映射和URL规律仍然准确，只是主题范围偏大。此时不新建任务，只在原任务内按子问题分组输出，保留已有规则。
- 改写：字段仍可用，但列表页或内容页结构已变。改写规则的成本低于重建，且历史数据仍有参考价值时适用。
- 退出：字段来源已经失效，或页面本身不再有独立回答价值。此时应停止该任务，把仍然有效的字段迁移到新任务，而不是继续修补。
退出不等于全部丢弃。可以保留原任务的字段命名和映射关系，作为新任务的起点，这样后续核对数据时仍能对应旧记录。是否保留的判断依据是字段来源是否还在，而不是任务运行了多久。
用一个小规模对照验证拆分是否成立
拆分前先做一次小规模对照：选取同一批列表页，分别按原任务和拆分后的任务各跑一次，比较两边的字段完整率和重复抓取量。假设原任务产出100条记录，其中约三成字段为空；拆分后每个子任务各产出约40条，字段为空的比例明显下降。这个对比只能说明字段映射更贴合页面结构，不能直接说明搜索引擎会如何抓取或索引，因为抓取、索引和排名是不同环节，字段完整率只是内容可理解性的一个侧面。
如果拆分后重复抓取量显著上升，而字段完整率没有改善，说明拆分的依据不成立，应回到原任务并调整字段映射。这个动作的结果会直接影响下一步：字段完整率改善且重复量可控，才值得为新任务建立独立的改写和维护流程；否则继续维护一个任务更省成本。
拆分后要同步调整的检查项
新任务建立后，原来的页面主题会分散到多个URL。此时需要确认每个新URL是否有独立标题和独立描述，避免多个任务产出内容高度相似的页面。同时检查原任务中仍然有效但未被任何子任务覆盖的字段，防止退出过程中丢失有价值的数据。完成这两项后，再决定是否为旧任务保留跳转或归档，而不是直接删除。
整个判断的核心是：拆分服务于字段与意图的对应关系，不服务于栏目数量。只有当一个子问题能独立回答、独立映射字段、独立维护时，拆成独立任务才成立；否则改写原任务比新增任务更稳妥。
