搜索与采集

Crawl4AI 是面向大模型和 AI 智能体的开源网页爬虫与抓取工具，用 Python 编写，能把任意网站转成干净、适合 LLM 使用的 Markdown。适合做 RAG、AI 代理和数据提取的开发者，可自行运行，也能用 Crawl4AI Cloud 一键使用。

Firecrawl 是 TypeScript 编写的 Web 数据 API，可用于大规模搜索、抓取和交互网页数据。它面向 AI、LLM 与智能体场景，涵盖爬虫、网页抓取、数据提取、网页搜索和 HTML 转 Markdown 等用途，适合需要批量获取并整理网页数据的人。

Stealth headless browser for AI agents — bypass Cloudflare, bot detection, and anti-scraping. Drop-in Puppeteer/Playwright replacement.

fd 是 Rust 编写的命令行文件搜索工具，作为 find 的简单、快速且用户友好的替代品。它解决终端中查找文件时语法复杂、效率不高的问题，适合开发者和命令行用户，支持正则表达式，具有简单、快速、易用的特点。

Universal SEO skill for Claude Code. 26 sub-skills + 19 sub-agents covering technical SEO, E-E-A-T, schema, GEO/AEO, agent readiness (Lighthouse Agentic Browsing, WebMCP, llms.txt), backlinks, local S

Browser automation framework and MCP server for web-scraping and testing. CDP Mode makes Chrome stealthy for bypassing bot-detection.

WorldMonitor 是实时全球情报仪表盘，用 AI 聚合新闻，监测地缘政治与基础设施，并以统一态势感知界面呈现。它适合关注全球时事、地缘政治和开源情报的人，开源，涉及 MCP 服务。

Scrapling 是 Python 编写的自适应网页抓取框架，解决从单次请求到大规模爬取的数据采集需求，适合用 Python 做网页数据提取与自动化抓取的开发者。它强调自适应处理，能覆盖不同规模的抓取任务。

Folo 是一款 AI RSS 阅读器，用 TypeScript 开发，在 GitHub 有 39030 星。它帮助用户订阅和阅读 RSS 内容，借助 AI 优化信息获取。适合 RSS 阅读爱好者。标签含 ai、reader、rss、rss-reader、rsshub，特点是结合 AI 与 RSS 阅读。

Turn any website into a structured API. Extract, automate, search and monitor the web.

RAGFlow 是一个开源 RAG 引擎，用 Go 编写，把检索增强生成与 Agent 能力结合，为大型语言模型提供更优上下文层。它适合需要开发智能体检索、智能体搜索和上下文管理应用的开发者，显著特点是将 RAG 与 Agent 融合，主题覆盖上下文工程、知识编译与检索增强生成，GitHub 星标 91346。

jsoup: the Java HTML parser, built for HTML editing, cleaning, scraping, and XSS safety.

Agent-Reach 是用 Python 写的开源 CLI，让 AI 智能体读取并搜索 Twitter、Reddit、YouTube、GitHub、Bilibili、小红书，且无需 API 费用。适合想给 Claude Code、Cursor 等 AI 工具扩展联网能力的开发者，一个命令接入多平台。

daily.dev is the personalized developer news feed and community. Get the best tech content from all over the web in your browser new tab or on mobile. Free and open source.

Search infrastructure for AI

HelloGitHub 是一个主要用 Python 开发的开源项目分享站，专门分享 GitHub 上有趣、入门级的开源项目，帮助开源新手和开发者发现适合上手的作品；主题覆盖 awesome、github、hellogithub、python，在 GitHub 上已获 178787 星标。

fzf 是用 Go 写的命令行模糊查找器，帮用户在终端里按模糊匹配快速查找内容。适合 bash、zsh、fish、Vim、Neovim、tmux 等工具用户，已获 83263 星，主题覆盖常见 Unix 命令行场景。

开源 AI 求职工具，可扫描招聘门户，将职位评估为带 1-5 总分的 A-H 结构化报告，定制简历并跟踪申请。它在 AI 编码 CLI 中本地运行，适合用命令行找工作的求职者。

Scrapy 是用 Python 写的快速高层网页爬取与抓取框架，面向 Python 开发者，用于构建爬虫和采集网页数据。它适合需要网页抓取、爬虫开发的人，在 GitHub 有 64497 个 Star。

LightRAG 是一个简单快速的检索增强生成框架，入选 EMNLP2025，用知识图谱提升大语言模型检索问答的准确性与效率。适合构建 RAG 应用的开发者，支持多种文档解析工具。

A modular graph-based Retrieval-Augmented Generation (RAG) system

📑 PageIndex: Document Index for Vectorless, Reasoning-based RAG

Stealth Chromium that passes every bot detection test. Drop-in Playwright replacement with source-level fingerprint patches. 30/30 tests passed.

Python scraper based on AI

Crawlee—A web scraping and browser automation library for Node.js to build reliable crawlers. In JavaScript and TypeScript. Extract data for AI, LLMs, RAG, or GPTs. Download HTML, PDF, JPG, PNG, and o

🚀 抖音、TikTok 数据采集与无水印视频下载 API，自托管，支持 MCP 调用与 Docker 一键部署。| Self-hosted TikTok & Douyin scraper and no-watermark video downloader — async REST API, MCP server, CLI and web console for posts, profiles, c

💡 All-in-one AI framework for semantic search, LLM orchestration and language model workflows

[MLsys2026 Best Paper]: https://arxiv.org/abs/2506.08276. RAG on Everything with LEANN. Enjoy 97% storage savings while running a fast, accurate, and 100% private RAG application on your personal devi

TrendRadar 是 Python 编写的 AI 舆情与趋势监控工具，在 GitHub 获 62558 Stars，聚合多平台热点和 RSS 订阅，支持关键词精准筛选；借助 AI 筛选新闻、翻译内容并生成分析简报直推手机，也支持接入 MCP 架构。它面向关注舆情与热点、希望减少信息过载的人，适合需要追踪资讯和趋势的用户。

Best and simplest tool for website change detection, web page monitoring, and website change alerts. Perfect for tracking content changes, price drops, restock alerts, and website defacement monitorin

A vector index built on TurboQuant, written in Rust with Python bindings

AI 工具导航大全，帮你快速筛选免费、实用、高效的网站资源

A next-generation crawling and spidering framework.

Command-line tool that allows you to search for iOS, iPadOS, tvOS, visionOS, and macOS apps on the App Store, and download .ipa or macOS .pkg app packages.

Milvus 是 Go 编写的高性能云原生向量数据库，面向可扩展的向量 ANN 搜索。适合需要向量相似性搜索、RAG、图像搜索的开发者与团队，支持分布式、DiskANN、HNSW、Faiss 等，可作向量存储与嵌入检索。

Vane is an AI-powered answering engine.

用 Rust 编写的开源搜索引擎，以 API 形式提供 AI 混合搜索，支持全文检索、错别字容忍、分面、地理、向量与语义搜索，可做即时搜索与站内搜索。适合为网站和应用快速接入搜索能力的开发者。

This repository showcases various advanced techniques for Retrieval-Augmented Generation (RAG) systems. Each technique has a detailed notebook tutorial.

Air gapped, privacy focused open source NotebookLM alternative. Join our Discord: https://discord.gg/ejRNvftDp9

Open Source AI Platform - AI Chat with advanced features that works with every LLM