开源AI网络爬虫工具：Crawl4AI

可以直接用于大语言模型和AI应用。性能快，还能输出适合大语言模型的格式，比如JSON、清理过的HTML和markdown。它还支持同时爬取多个网址，能提取所有媒体标签（图片、音频、视频），以及所有内外部链接。可以自定义用户代理，还能给网页截图，甚至在爬取之前执行自定义JavaScript。
GitHub｜官方文档教程
#爬虫

GitHub

GitHub - unclecode/crawl4ai: 🚀🤖 Crawl4AI: Open-source LLM Friendly Web Crawler & Scraper. Don't be shy, join here: https://dis…

🚀🤖 Crawl4AI: Open-source LLM Friendly Web Crawler & Scraper. Don't be shy, join here: https://discord.gg/jP8KfhDhyN - unclecode/crawl4ai

https://github.com/itsOwen/CyberScraper-2077

CyberScraper 2077，基于 OpenAI LLM 技术的强大网络爬虫工具。
AI智能提取：利用顶尖 AI 模型解析网页内容。精致界面：友好UI，简单易用。 多格式导出：支持JSON、CSV、HTML、SQL、Excel等。 隐身模式：避免被检测为机器人。 快速抓取：速度飞快。 智能解析：结构化内容，精准提取。 合法抓取：遵守 robots.txt 和站点政策。
#爬虫

GitHub

GitHub - itsOwen/CyberScraper-2077: A Powerful web scraper powered by LLM | OpenAI, Gemini & Ollama

A Powerful web scraper powered by LLM | OpenAI, Gemini & Ollama - itsOwen/CyberScraper-2077