竞品追踪从 4 小时到 15 分钟：自动抓取与结构化简报生成

产品经理丢过来一份竞品周报需求，要求覆盖官网、社交媒体和更新日志。过去你需要花四个小时复制粘贴、人工提炼，现在一套自动化链路十五分钟就能交付结构化简报。本文不聊模型参数，只拆解如何把散落的网页信息变成可执行的市场情报，并给出可直接复用的架构选型逻辑。

传统人工追踪的瓶颈

市场分析师和产品经理每天都在和碎片化信息搏斗。传统做法是人工打开竞品官网、应用商店、Twitter 或 Reddit，手动复制关键更新点，再粘贴到 Excel 或飞书文档里。这种做法的优势在于零技术门槛、数据绝对可控。但劣势同样致命：页面改版会导致抓取失效，人工提炼容易遗漏细节，且无法应对高频更新。当追踪目标从一家变成十家时，人力成本会呈指数级上升。

我们对比了两种技术路径。路径一依赖传统爬虫配合正则表达式提取，维护成本极高，每次竞品网站结构调整都要重写解析规则。路径二采用 AI 原生管道，利用大语言模型的理解能力直接处理非结构化文本，配合现代抓取框架自动渲染动态页面。路径二在灵活性上完胜，虽然单次推理会产生一定 Token 消耗，但通过结构化提示词和中间清洗层，成本完全可控。

维度	传统人工与规则爬虫	AI 原生自动化链路
维护成本	页面改版需重写解析规则	仅调整清洗层与提示词
信息覆盖	易遗漏非标准排版内容	语义理解强，容错率高
响应速度	数小时级，依赖人力排期	分钟级，支持定时触发
适用场景	结构固定、频次低的静态页	动态渲染、多源异构的公开情报

端到端链路设计

完整链路分为数据获取、清洗对齐、模型结构化三个环节。输入端接入目标竞品的公开 URL 列表，支持 RSS 订阅和静态页面混合输入。处理层首先通过抓取框架获取渲染后的 HTML，随后剥离广告、导航栏等噪声，仅保留正文与更新日志。输出层将清洗后的文本送入中等规模的大模型，要求按预设的 JSON Schema 输出产品特性、定价变动、用户反馈情绪等字段。

选型上，抓取环节推荐结合 Playwright 与 Crawl4AI，前者处理复杂交互，后者提供开箱即用的文本提取。编排层使用 langchain 1.4.9 管理提示词版本与输出校验。这种组合兼顾了动态网页的兼容性与工程可维护性，避免了把整个抓取逻辑硬编码在单一脚本里。

核心处理逻辑与踩坑记录

最初测试时，我直接把原始 HTML 丢给模型，结果简报里混入了大量页脚版权信息和侧边栏广告链接。大模型虽然能理解语义，但面对几千行的 DOM 树依然会迷失重点。踩坑后的修正方案是增加一层轻量级清洗器，在模型介入前完成去噪。

def clean_html_to_text(html_content):
    soup = BeautifulSoup(html_content, "html.parser")
    for tag in soup(["script", "style", "nav", "footer"]):
        tag.decompose()
    return soup.get_text(separator="\n", strip=True)

清洗后的纯文本再配合结构化提示词，模型输出准确率从不足六成跃升至九成以上。提示词设计的关键在于明确字段定义与输出格式约束，避免模型自由发挥。实际运行中，单次简报生成的推理耗时约两到三分钟，主要瓶颈在网页渲染阶段，而非模型计算。

边界意识与复用建议

这套方案并非万能钥匙。它高度依赖公开可访问的网页内容，对于需要登录才能查看的后台数据、重度加密的移动端接口，或实时性要求达到秒级的金融行情，并不适用。此外，大模型在提取精确数字时仍可能出现微小偏差，关键数据建议保留原始截图或链接作为交叉验证。

从维护成本看，抓取框架的更新频率远高于模型调用。建议将目标站点的选择器配置与提示词模板分离管理，建立简单的异常重试机制。当竞品网站进行大规模改版时，清洗规则可能需要微调，但核心链路无需重构。

把重复的信息搬运交给机器，把精力留给判断与决策。下一次竞品动态更新时，你可以选择盯着屏幕手动复制，或者让系统自动跑完流程，你只需要在十五分钟后打开一份排版整齐的简报。情报战的胜负，往往取决于谁先看清变化。