crawley

项目概述

Crawley 是一个遵循 Unix 哲学的网络爬虫工具，使用快速 HTML SAX 解析器，打印页面中找到的任何链接。

主要功能

• 快速 HTML SAX 解析
• JS/CSS 词法解析：从 JS 代码和 url() 属性中提取 API 端点
• 资源 URL 抓取：图片、视频、音频、表单等
• 流式输出：URL 流式输出到 stdout，保证唯一性
• 扫描深度配置
• robots.txt 支持
• brute 模式：扫描 HTML 注释中的 URL
• 代理支持：HTTP_PROXY/HTTPS_PROXY，支持代理认证
• Cookie 和 Header 支持

适用人群

• 安全研究人员和渗透测试人员
• 网站爬虫开发者
• DevOps 工程师

快速上手

1. 从 Releases 下载二进制文件（Linux、FreeBSD、macOS、Windows）
2. 基本用法：crawley http://some-test.site
3. 抓取 JS 文件和 API 端点：crawley -depth -1 -tag script -js http://some-test.site

核心优势

• 遵循 Unix 哲学，小而专注
• 代码量低于 1500 SLOC，测试覆盖率 >80%
• 跨平台支持

系统要求

• 操作系统：Linux、FreeBSD、macOS、Windows
• 支持架构：x86_64、arm64