批量数据采集：公开数据一键入库

“`html

一、批量采集的核心挑战与OpenClaw的解决思路

批量数据采集听起来简单，做起来全是坑。反爬虫机制越来越严，登录态维持是个技术活，IP被封更是家常便饭。传统的Requests + BeautifulSoup方案在面对JavaScript渲染页面、验证码、人机验证时几乎束手无策。

OpenClaw的核心思路是”真浏览器+编程控制”。它基于Chrome DevTools Protocol，让每个采集任务运行在独立的浏览器实例中，自带登录态、Cookie、LocalStorage环境。这意味着你可以像真人操作一样完成数据抓取，而不是在服务器端模拟请求。

具体来说，OpenClaw的批量采集能力体现在三个层面：

进程隔离：每个采集任务独立运行，任务A的登录态不会影响任务B
指纹混淆：自动随机化User-Agent、Canvas指纹、WebGL参数
异常自愈：页面超时、元素未加载、网络中断等情况自动重试

// OpenClaw 批量任务配置示例
const { BatchCollector } = require('openclaw');

const collector = new BatchCollector({
  concurrency: 5,           // 同时运行5个浏览器实例
  retry: 3,                 // 失败重试3次
  timeout: 30000,           // 单任务超时30秒
  userDataDir: './profiles' // 登录态持久化目录
});

// 添加10个目标页面
for (let i = 1; i <= 10; i++) {
  collector.addTask({
    url: `https://example.com/product/${i}`,
    extract: async (page) => {
      return await page.evaluate(() => ({
        title: document.querySelector('.product-title')?.innerText,
        price: document.querySelector('.price')?.innerText,
        stock: document.querySelector('.stock-count')?.innerText
      }));
    }
  });
}

const results = await collector.run();
console.log(`成功采集 ${results.success} 条数据`);

二、电商价格监控：30分钟搭建竞品价格追踪系统

2.1 场景分析：为什么选择浏览器自动化

电商价格监控的难点不在于”抓数据”，而在于”持续抓、稳定抓”。以某3C类目为例，需要监控50个SKU的价格、库存、促销信息。页面结构复杂，大量数据通过Ajax动态加载，传统抓包方式需要逆向API、分析加密参数，维护成本极高。

用OpenClaw实现，思路完全不同：你不需要关心数据从哪里来，只需要告诉它”像人一样操作”。登录后台、筛选商品、导出列表——整个流程和人工操作完全一致，自然绕过了绝大多数反爬机制。

2.2 分步实操：从登录到数据导出

第一步，建立登录态。这是整个流程的基础，也是最容易出错的地方。

const { Browser, LoginManager } = require('openclaw');

async function initSession() {
  const browser = await Browser.launch({
    headless: false  // 首次运行建议可视化，方便调试
  });
  
  const page = await browser.newPage();
  
  // 登录管理器自动处理Cookie持久化
  const loginManager = new LoginManager({
    storagePath: './login_sessions/taobao_session.json',
    checkLoggedIn: async (page) => {
      // 检测是否已登录：检查关键元素是否存在
      await page.waitForSelector('.site-nav-userinfo', { timeout: 5000 }).catch(() => null);
      const username = await page.$eval('.site-nav-userinfo', el => el.innerText).catch(() => '');
      return username.includes('已登录');
    }
  });
  
  // 已有登录态则直接复用，否则执行登录流程
  const isLoggedIn = await loginManager.restoreOrLogin(page, async () => {
    await page.goto('https://login.taobao.com');
    await page.waitForSelector('#fm-login-id');
    await page.type('#fm-login-id', 'your_username', { delay: 100 });
    await page.type('#fm-login-password', 'your_password', { delay: 100 });
    await page.click('.fm-btn');
    await page.waitForNavigation({ waitUntil: 'networkidle0' });
  });
  
  console.log(isLoggedIn ? '登录态有效' : '新建登录态');
  return { browser, page };
}

第二步，进入商品管理页面，批量获取数据。

async function batchExtractProducts(page) {
  const results = [];
  
  // 翻页采集：OpenClaw内置分页检测
  await page.goto('https://sell.taobao.com/auction/manage.htm');
  
  let hasNextPage = true;
  while (hasNextPage) {
    // 等待商品列表加载
    await page.waitForSelector('.item-body', { timeout: 10000 });
    
    // 提取当前页数据
    const pageData = await page.$$eval('.item-body', items => {
      return items.map(item => ({
        id: item.dataset.id,
        title: item.querySelector('.title')?.innerText.trim(),
        price: item.querySelector('.price')?.innerText.replace('¥', ''),
        sales: item.querySelector('.sales')?.innerText,
        updateTime: item.querySelector('.update-time')?.innerText
      }));
    });
    
    results.push(...pageData);
    console.log(`第${results.length / 20}页采集完成，当前共${results.length}条`);
    
    // 检测下一页按钮
    const nextBtn = await page.$('.pagination-next:not(.disabled)');
    if (nextBtn) {
      await nextBtn.click();
      await page.waitForTimeout(2000); // 等待页面渲染
    } else {
      hasNextPage = false;
    }
  }
  
  return results;
}

第三步，数据清洗与存储。使用OpenClaw内置的Pipeline功能，可以直接将采集到的数据写入数据库。

const { DataPipeline } = require('openclaw');

const pipeline = new DataPipeline({
  source: results,
  transformer: (item) => ({
    ...item,
    price: parseFloat(item.price),
    sales: parseInt(item.sales.replace(/[^0-9]/g, '')),
    crawled_at: new Date().toISOString()
  }),
  storage: [
    // 同时写入MySQL和JSON文件
    { type: 'mysql', config: { table: 'product_prices' } },
    { type: 'json', path: './output/prices_' + Date.now() + '.json' }
  ]
});

await pipeline.execute();
console.log('数据已入库，当前时间:', new Date().toLocaleString());

三、登录态维持与异常处理：采集稳定性保障

3.1 登录态失效的三个主要原因

很多人用OpenClaw做批量采集时遇到的首要问题是”跑着跑着就掉登录了”。经过大量实战总结，登录态失效主要有三类原因：

Session过期：服务器端主动销毁Session，通常24-48小时需要重新登录
Token失效：OAuth或JWT token过期，需要刷新或重新授权
风控拦截：同一IP短时间内请求过于频繁，触发验证码或直接封禁

OpenClaw的解决方案是”分层容错”：每个采集任务都携带独立的登录态Profile，当检测到登录失效时，自动切换到备用Profile并重新登录，不会因为单个任务失败导致整批任务中断。

const { ProfileManager } = require('openclaw');

// 配置文件池：维护10个登录态
const profileManager = new ProfileManager({
  profileDir: './user_profiles',
  maxProfiles: 10,
  validateInterval: 300000,  // 每5分钟验证一次登录态
  autoRelogin: true
});

// 健康检查函数：访问个人中心验证登录态
async function validateSession(page) {
  try {
    await page.goto('https://account.example.com/profile', { timeout: 10000 });
    await page.waitForSelector('.user-avatar', { timeout: 5000 });
    return true;
  } catch {
    return false;
  }
}

await profileManager.initialize(validateSession);

// 获取可用Profile
const profile = await profileManager.getAvailable();
console.log(`使用Profile: ${profile.id}, 登录时间: ${profile.loginTime}`);

3.2 反爬对抗：三个实测有效的策略

反爬升级的速度比很多人想象的快。以某电商平台为例，2024年初还是简单的IP频率限制，到年底已经部署了行为分析、设备指纹、验证码等多层防护。针对这些机制，OpenClaw提供了对应的对抗方案：

策略一：请求速率随机化

// 随机延迟：避免固定间隔被识别
function randomDelay(min = 1000, max = 5000) {
  return Math.floor(Math.random() * (max - min + 1)) + min;
}

// 模拟人类操作轨迹
await page.mouse.move(randomCoord(100, 500), randomCoord(200, 600), { steps: 10 });
await page.waitForTimeout(randomDelay(500, 1500));
await page.click('.next-button');
await page.waitForTimeout(randomDelay(2000, 5000));

策略二：IP轮换与代理池

const { ProxyRotator } = require('openclaw');

const proxyRotator = new ProxyRotator({
  providers: [
    { type: 'luminati', apiKey: 'your_key' },
    { type: 'smartproxy', apiKey: 'your_key' }
  ],
  rotationStrategy: 'round_robin',  // 或 'random' / 'geo_targeted'
  healthCheck: true
});

const proxy = await proxyRotator.getProxy();
const browser = await Browser.launch({
  proxy: proxy.url,
  userDataDir: './profile_' + proxy.id
});

策略三：分布式任务调度

const { TaskScheduler } = require('openclaw');

// 分布式调度：支持多机器协作
const scheduler = new TaskScheduler({
  redis: { host: 'localhost', port: 6379 },
  workerId: process.env.WORKER_ID,
  rateLimit: {
    requests: 100,
    windowMs: 60000  // 每分钟最多100个请求
  }
});

scheduler.registerTask('price_monitor', async (task) => {
  const browser = await Browser.launch();
  const page = await browser.newPage();
  await page.goto(task.url);
  // 采集逻辑...
  await browser.close();
});

// 定时任务：每小时执行一次
scheduler.scheduleCron('price_monitor', '0 * * * *', targetUrls);

四、数据入库与后续处理：从Raw到Structured

采集到数据只是第一步，更关键的是如何存储和后续使用。OpenClaw的数据Pipeline支持多种输出格式，根据实际业务场景选择合适的存储方式。

实时监控场景：推荐使用TimescaleDB或InfluxDB存储时序数据，配合Grafana做可视化看板，可以实时看到价格波动曲线。

const { TimescaleWriter } = require('openclaw/storage');

const writer = new TimescaleWriter({
  connection: 'postgresql://user:pass@localhost:5432/price_monitor',
  table: 'price_records',
  chunkInterval: '1 day'
});

// 自动去重：同一商品同一天只保留最新价格
await writer.insert({
  product_id: 'SKU12345',
  price: 299.00,
  source: 'taobao',
  recorded_at: new Date()
}, { onConflict: 'upsert' });

批量分析场景：将数据导出为Parquet格式，配合Spark或DuckDB做离线分析，压缩率高、查询速度快。

const { ParquetExporter } = require('openclaw');

const exporter = new ParquetExporter({
  outputPath: './data/products_2024.parquet',
  schema: {
    product_id: { type: 'STRING', compression: 'GZIP' },
    title: { type: 'STRING' },
    price: { type: 'DOUBLE' },
    crawled_at: { type: 'TIMESTAMP' }
  }
});

await exporter.write(results);
console.log(`导出完成，文件大小: ${(await exporter.getSize()) / 1024 / 1024} MB`);

告警场景：当监控到价格跌破阈值时，触发即时通知。

const { AlertManager } = require('openclaw');

const alertManager = new AlertManager({
  channels: [
    { type: 'dingtalk', webhook: 'https://oapi.dingtalk.com/...' },
    { type: 'email', smtp: 'smtp.example.com' }
  ]
});

// 价格跌破100元时告警
alertManager.addRule({
  condition: (record) => record.price < 100,
  message: `【价格预警】${record.title} 当前价格 ¥${record.price}，低于阈值`,
  cooldown: 3600000  // 同一商品1小时内不重复告警
});