siteone-crawler

项目概述

SiteOne Crawler 是一个用Rust编写的跨平台网站爬虫和分析工具，适用于SEO、安全、可访问性和性能优化。单二进制文件，无运行时依赖。

主要功能

• 三种使用方式：交互式向导、命令行界面、桌面GUI应用
• 丰富的输出格式：交互式HTML审计报告、JSON、文本，支持通过SMTP邮件发送
• CI/CD集成：内置质量门（--ci），失败时退出码10，可用于阻止部署
• 离线克隆与Markdown：创建完整离线网站副本，或将整个网站转换为干净的Markdown
• 深度爬取：爬取每个页面和资源，识别错误（404、重定向），生成站点地图
• 性能优势：相比PHP+Swoole版本，执行速度提升25%，内存消耗降低30%

适用人群

• SEO专家和网站优化人员
• 开发者和DevOps工程师
• QA工程师和网站顾问

快速上手

1. 从Releases下载对应平台二进制
2. 运行无参数启动交互式向导，或使用CLI参数
3. 查看文档了解详细配置

核心优势

• 高性能：Rust重写，25%更快，30%更低内存
• 跨平台：Windows、macOS、Linux（x64和arm64）
• 单二进制：无运行时依赖
• 开源免费