采集网页数据

在 Claude Code 或者 Cursor 里, GitHub 链接发给 Agent,让它自己装就行。不用你动手。

爬虫任务都交给 Claude Code和豆包

BrowserAct(browseract.ai,官网也叫 browseract.com)一句话概括

它是给 AI Agent 配套的云浏览器运行时(MCP/API 层),专门解决 Claude Code、Hermes、Cursor 这类 AI 代理 “没法稳定操作登录态网站、反爬、验证码” 的问题BrowserAct。

不是大模型,不是代码 Agent;是 AI Agent 的浏览器手脚。

核心定位

普通的 Playwright / Puppeteer / Browserbase 只是浏览器底层;BrowserAct 往上多了一套面向 AI Agent 的Skill(可复用网页任务)、账号隔离、人机接管能力。

  • 支持 MCP 协议:Claude Code 可以直接调用它,让 AI 去打开网页、点按钮、填表单、采集数据
  • 云托管浏览器实例,自带隐身指纹、住宅代理、自动处理 Cloudflare / Turnstile /reCAPTCHA
  • 多账号隔离:每个账号独立浏览器指纹、Cookie、代理,互不串号
  • Human Handoff(人工接管):遇到 2FA、复杂验证时,可以暂停 AI,人远程接手操作,做完交还 AI 继续跑任务BrowserAct
  • Skill Forge:把一次性网页操作,打包成可复用的 “Skill”,下次 AI 直接复用这套流程,不用重新推理页面结构

两种使用模式

  1. MCP/API 接入(开发者模式,适合你现在的场景) 把 BrowserAct 作为工具插件接入 Claude Code,你的 AI 工程 Agent 就拥有网页操作能力:爬取需要登录的后台、网页端数据采集、监控页面、填表。
  2. 无代码 Bot(BrowserAct Cloud) 自然语言描述要采集什么数据,平台自动生成网页机器人,输出 JSON / CSV,适合快速做网页数据抽取,不用写选择器、脚本BrowserAct。

和你前面关心的 Claude Code 的关系

Claude Code 擅长读代码、改项目,但原生没有稳定的浏览器能力,遇到 Cloudflare、登录态网站很容易失败。 BrowserAct 就是补这一层:Claude Code(大脑) + BrowserAct(浏览器手脚),这也是他们官方主推组合栈BrowserAct。

和同类工具对比(简单区分)

  • Playwright:本地代码库,自己写脚本,没有账号隔离、代理、验证码、人工接管,需要自己维护
  • Browserless:托管 Headless 浏览器基础设施,偏底层
  • BrowserAct:面向 AI Agent 的工作流层,重点是 MCP、Skill、多账号隔离、人机切换
  • BrowserUse:开源 Python 框架,本地 / 自建为主

⚠️ 适用边界 & 风险提示

  1. 主打受保护网站、需要登录、动态页面的数据采集与网页操作;公开静态页面没必要上它
  2. 本质网页自动化,必须遵守目标网站的用户协议、爬虫法规,不要用于违规批量注册、恶意操作账号
  3. 海外云服务,国内网络访问会有问题;按会话、代理流量计费

对你(数字孪生 + 数据采集创业)的价值

如果你要做网页端数据源采集(需要登录、反爬网站),可以用 Claude Code + BrowserAct MCP: AI Agent 自主规划网页采集流程,遇到验证自动暂停转人工,采集结果结构化输出,接入你的时序库(TDengine/DuckDB)。 如果只是采集公开 API、静态网页,完全没必要上 BrowserAct。

如果你想,我可以给一段 MCP 配置,让 Claude Code 直接调用 BrowserAct。

网站的风控,封ip

核心痛点:IP 封禁本质就两类

  1. 单 IP 请求频率过高 → 短期限流、429
  2. IP 画像差(机房 IP / 数据中心 IP)→ 直接拉黑,Cloudflare/Turnstile 秒弹验证 住宅代理 > 机房代理 > 本机 IP,这是爬虫圈共识。但代理只是其中一环,只换 IP 照样翻车。

几种主流方案对比(结合你之前关注的 BrowserAct / Claude Code 场景)

1. 住宅代理池(BrowserAct 云端自带)

优点:

  • 真实家庭宽带 IP,画像干净,对抗 Cloudflare、网站风控效果最好
  • BrowserAct 云端模式自动绑定独立 IP,每个任务 / 账号隔离,不会串 Cookie+IP 缺点:
  • 成本高,按 GB / 流量计费;不适合大规模长期采集
  • 依赖服务商,不能离线;服务商本身也会被网站风控,有失效风险
  • 适合:低频、需要登录、带验证码的网页采集(正好是 BrowserAct 擅长场景)

局限:住宅代理不是万能。同一个 IP 短时间大量请求,照样会被封。IP 轮换 + 请求间隔 + 指纹 + Cookie 隔离必须一起上。只换 IP 不换指纹,网站照样识别你是爬虫。

2. 机房代理(Datacenter Proxy)

优点:便宜、带宽大、稳定 缺点:IP 特征非常明显,绝大多数网站直接标记为机房 IP,Cloudflare 基本拦死。适合静态公开页面,带反爬的网站慎选。

3. 自建代理池(例如芝麻、阿布云这类,或者自己一堆 VPS)

优点:可控,不绑定第三方 SaaS 平台,可以和本地 BrowserAct CLI / Playwright MCP 搭配 缺点:

  • 维护成本高:IP 存活检测、自动剔除失效 IP、限速策略全部自己写
  • VPS 基本都是机房 IP;自建住宅代理门槛极高(很难拿到大量家庭宽带 IP)

4. 本地 IP 轮换(本机多宽带 / 4G/5G 手机卡池)

优点:IP 最真实,风控最难识别 缺点:硬件成本巨大,扩展性差,不适合自动化大规模跑任务

除 IP 之外,容易被忽略的风控维度(爬虫踩坑重灾区)

网站风控是多维指纹,不是只看 IP:

  1. 浏览器指纹:UserAgent、Canvas、WebGL、字体、插件、屏幕分辨率、时区、语言。同一个 IP,每次指纹完全一样,很容易被标记。

BrowserAct 云端自带指纹随机化;本地 BrowserAct CLI / Playwright 默认指纹固定,必须额外用 playwright-stealth 之类插件。

  1. Cookie & 账号:Cookie 和 IP 不匹配(比如 Cookie 是上海 IP 登录,下一次请求 IP 跳到美国),直接触发验证。这就是为什么要账号、Cookie、IP 三者绑定隔离。
  2. 请求行为特征:人浏览网页有停顿、鼠标移动、滚动;无头浏览器请求是瞬间完成,没有人机行为。
  3. 请求头顺序、TLS 指纹:很多网站会校验 JA3 指纹,Playwright 默认 JA3 指纹很容易识别。

结合你的场景:AI Agent 爬虫(Claude Code + BrowserAct)

  • 如果用 BrowserAct 云端:它帮你搞定:住宅 IP、浏览器指纹、Cookie 隔离、验证码、人机行为模拟。代价是流量费 + 依赖外网,不能离线。适合小批量、复杂登录页面采集。
  • 如果用 本地 BrowserAct CLI(离线模式,不连 BrowserAct 云):IP 问题你要自己解决:代理池、指纹插件、IP 轮换策略全部自己开发维护。本地版本不会帮你处理 IP,原生就是本机 IP,高频访问很快封 IP。

工程上的稳妥策略(做数据采集系统可以直接落地)

  1. 限速:不要无脑并发,每个 IP 设置最大 QPS,增加随机等待;
  2. 隔离:1 账号 = 1Cookie = 1IP,不要混用;
  3. 降级:一旦遇到 429 / 验证,立刻暂停,把这个 IP 标记失效,自动切备用 IP;
  4. 监控:采集失败率、验证码出现率,作为 IP 池健康指标;
  5. 分层:公开静态页面用低成本机房代理;登录 + 强反爬页面才用住宅代理,节约成本。

取舍提醒

没有一劳永逸的方案。IP 封禁是博弈,不是一个技术点就能彻底解决。网站风控规则会持续迭代。 如果你是做产品化的数据采集(创业项目):

  • 自建代理池 + Playwright / 本地 BrowserAct:前期开发工作量大,长期成本可控;
  • BrowserAct 云端:快速验证业务原型,但规模化后流量成本会很高。
上一篇 java的JFinal,Asp.net对应方案有没有?
下一篇 LiteDB vs SQLite(断线缓存场景对比)
signoz和日志系统 elk的区别?

signoz和日志系统 elk的区别?

SigNoz vs ELK(Elastic Stack),结合你 C# 上位机 + PLC 采集 的场景 一句话概括: ELK:以日志全文检索为核心的日志栈(ES 倒排索引,擅长全文搜报错文本),指标、链路追踪是附加能力,多组件拼凑 SigNoz:OTel 原生一体化可观测平台,

2026-10-20
0 0 0
DateTime.UtcNow , DateTime.Now 有什么区别

DateTime.UtcNow , DateTime.Now 有什么区别

DateTime.UtcNow vs DateTime.Now(C#) 一句话总结 DateTime.UtcNow:获取世界协调时间(UTC,零时区),不受电脑系统时区影响。 DateTime.Now:获取本地时间 = UTC 时间 + 当前操作系统时区偏移。 详

2026-10-16
0 0 0
winform 开机启动

winform 开机启动

c# winform 写的采集程序。平时是登录 windows 桌面,手动点开运行 winform 程序。但是要改成开机启动,不要登录 windows 桌面也能执行 winform 程序。有没有什么办法?不要改造 winform 程序 先说核心结论 WinForm

2026-10-16
0 0 0
C# + Scriban:生成 HTML 报表,自动发邮件(MES / 生产报表场景)

C# + Scriban:生成 HTML 报表,自动发邮件(MES / 生产报表场景)

补充:这套方案在工厂圈子使用情况 MailKit 自动发邮件:大量 MES 在用 Playwright 自动截图 HTML 报表:不少工厂自动化报表在用,属于成熟方案,但不是每个项目都会上。很多项目嫌麻烦就直接 PDF 或者纯表格邮件。 Scriban + Playwright

2026-10-14
0 0 0
C# + Scriban 做静态站点生成

C# + Scriban 做静态站点生成

C# + Scriban 做静态站点生成(对标 baifenwei 的 generate_site.py) Scriban 是 .NET 生态下高性能模板引擎,语法类似 Liquid / Jinja2,刚好用来替代 Python Jinja2,写一个 C# 控制台程序(GenerateSite

2026-10-14
0 0 0
REA(rea.tools)“万物可逆向”:噱头很大,但不是真的什么都能逆向

REA(rea.tools)“万物可逆向”:噱头很大,但不是真的什么都能逆向

REA(rea.tools)“万物可逆向”:噱头很大,但不是真的什么都能逆向 全称 REA = Reverse Engineer Anything,“逆向一切” 只是项目口号,不是能力承诺。 https://rea.tools https://github.com/morluto

2026-10-14
0 0 0
采集上位机LOG文件,不停追加,文件大小50MB

采集上位机LOG文件,不停追加,文件大小50MB

txt 文件很大,40MB,50MB,txt 持续追加,这种场景。Logstash File Input、Flume Taildir、阿里云 Logtail、NewLifeX/X 日志查看工具 Klogg Log Parser Lizard https://githu

2026-10-10
0 0 0
AOI 图片上传 【分布式】方案

AOI 图片上传 【分布式】方案

车间 aoi 的相机图片上传,用飞牛 nas,群晖 nas,高并发,按 5TB / 天、60 天、500 台设备,能不能抗住?如果我在一台服务器放多个 ftp 服务,每条线一个 ftp 服务,端口 8001,第二条线 ftp 服务,端口 8002。ftp 靠谱还 nas 靠谱?稳定,生成环境

2026-10-09
0 0 0
MES 系统 的几种ID比较,雪花id,ULID,UUID

MES 系统 的几种ID比较,雪花id,ULID,UUID

实际场景:浏览器指纹和cookie的UUID 项目FingerprintJS visitorId bdc65ad12633d79792ceeca33a78e6c551.la 访客 ID 5a00c3da-ab80-513d-b7a7-894bcaaecf92来源读取浏览器硬件 / 软件特征,前

2026-10-09
0 0 0
ACCESS数据库访问报错

ACCESS数据库访问报错

AI最擅长找错,分析原因。 💥💥问题1:exclusively locked 因为ACCESS打开数据库后,表:TO_LOGGER_INFO ,当设计视图窗体时,另一个c#小程序去访问这个access数据库会报错: ERROR [HY000] [Microsoft][ODBC Mi

2026-09-29
0 0 0