🧩 分享一些日常收集到的开源软件、开发工具和技术知识。
Useful open-source projects, dev tools, and tech snippets — shared from daily discoveries.
开源AI网络爬虫工具:Crawl4AI

可以直接用于大语言模型和AI应用。性能快,还能输出适合大语言模型的格式,比如JSON、清理过的HTML和markdown。它还支持同时爬取多个网址,能提取所有媒体标签(图片、音频、视频),以及所有内外部链接。可以自定义用户代理,还能给网页截图,甚至在爬取之前执行自定义JavaScript。
GitHub官方文档教程
#爬虫
https://github.com/itsOwen/CyberScraper-2077

CyberScraper 2077,基于 OpenAI LLM 技术的强大网络爬虫工具。
AI智能提取:利用顶尖 AI 模型解析网页内容。精致界面:友好UI,简单易用。 多格式导出:支持JSON、CSV、HTML、SQL、Excel等。 隐身模式:避免被检测为机器人。 快速抓取:速度飞快。 智能解析:结构化内容,精准提取。 合法抓取:遵守 robots.txt 和站点政策。
#爬虫 GitHub - itsOwen/CyberScraper-2077: A Powerful web scraper powered by LLM | OpenAI, Gemini & Ollama
 
 
Back to Top