Search: #网页抓取

  1. Reader: 面向 LLM Agent 的开源生产级 Web 抓取与爬取引擎• 内置 Cloudflare/Turnstile 等反爬绕过能力,包含 TLS 指纹、DNS over TLS、WebRTC 掩蔽 • 抓取后直接输出干净的 Markdown/HTML,自动抽取正文并清理导航栏、弹窗、Cookie 横幅等噪音 • 同时提供 CLI 与 Node.js API,支持并发批量抓取、站点 BFS 爬取、浏览器池与代理轮换用于稳定上线

    Reader: 面向 LLM Agent 的开源生产级 Web 抓取与爬取引擎

    • 内置 Cloudflare/Turnstile 等反爬绕过能力,包含 TLS 指纹、DNS over TLS、WebRTC 掩蔽
    • 抓取后直接输出干净的 Markdown/HTML,自动抽取正文并清理导航栏、弹窗、Cookie 横幅等噪音
    • 同时提供 CLI 与 Node.js API,支持并发批量抓取、站点 BFS 爬取、浏览器池与代理轮换用于稳定上线

    https://github.com/vakra-dev/reader

    #网页抓取 #网络爬虫 #LLM #Agent #Cloudflare #Nodejs #CLI #Proxy #GitHub #开源工具 #生产环境

    • ❤️4
  2. Sub-Store 获取套了 CF 的网页上的订阅本来想示范下怎么抓套 CF 的订阅的 但是好像没啥意义 一般换代理 App 的 UA 就行...那就示范下怎么抓套了 CF 的网页吧新增订阅的弹窗里 选 导入 然后导入此 JSON 文件 修改注释说明的地方即可使用的是

    Sub-Store 获取套了 CF 的网页上的订阅

    本来想示范下怎么抓套 CF 的订阅的 但是好像没啥意义 一般换代理 App 的 UA 就行...

    那就示范下怎么抓套了 CF 的网页吧

    新增订阅的弹窗里 选 导入 然后导入此 JSON 文件 修改注释说明的地方即可

    使用的是 https://github.com/FlareSolverr/FlareSolverr

    如果有其他需求 用 AI 改吧

    Sub-Store 合集 频道资源合集 恰饭推荐 群组

    #Sub-Store #SubStore #脚本 #节点 #订阅 #爬虫 #免费 #白嫖 #网页
    sub-store_subscription_flaresolverr_2025-12-25_21-06-11.json
    1.8 KB

    • ❤️4
    • 👍3
  3. Sub-Store 抓取网页中的订阅示例示范一下如何抓其实这个 repo 里的不需要爬虫...因为它的链接其实有规律 变量就是日期 anyway...演示一下怎么抓了之后下载解析如图 1 导入 评论区的文件开嫖图 2 流量订阅信息是乱写的 娱乐一下🆕 新增示范 获取套了 CF 的网页上的订阅 Sub-Store 合集 频道资源合集 恰饭推荐 群组 #Sub-Store #SubStore #脚本 #节点 #订阅 #爬虫 #免费 #白嫖 #网页

    Sub-Store 抓取网页中的订阅示例

    示范一下如何抓
    其实这个 repo 里的不需要爬虫...因为它的链接其实有规律 变量就是日期 anyway...演示一下怎么抓了之后下载解析

    如图 1 导入 评论区的文件

    开嫖

    图 2 流量订阅信息是乱写的 娱乐一下

    🆕 新增示范 获取套了 CF 的网页上的订阅

    Sub-Store 合集 频道资源合集 恰饭推荐 群组

    #Sub-Store #SubStore #脚本 #节点 #订阅 #爬虫 #免费 #白嫖 #网页

    • ❤️3
    • 👍1