Search: #数据采集

  1. 抖音下载器 V2.0: 面向实用场景的抖音内容批量下载工具• 支持视频、图文、合集、音乐、收藏夹、作者主页等多种内容下载,提供无水印优先、最高码率选择与批量下载能力• 内置 SQLite 去重、增量下载、浏览器兜底、下载完整性校验、失败重试等机制,提升大规模下载稳定性• 集成直播录制、评论采集、视频转写、REST API、Docker 部署与 Telegram / Webhook 通知,适合自动化采集与开发集成

    抖音下载器 V2.0: 面向实用场景的抖音内容批量下载工具

    • 支持视频、图文、合集、音乐、收藏夹、作者主页等多种内容下载,提供无水印优先、最高码率选择与批量下载能力

    • 内置 SQLite 去重、增量下载、浏览器兜底、下载完整性校验、失败重试等机制,提升大规模下载稳定性

    • 集成直播录制、评论采集、视频转写、REST API、Docker 部署与 Telegram / Webhook 通知,适合自动化采集与开发集成

    https://github.com/jiji262/douyin-downloader

    合集 群组 恰饭 联系推广

    #抖音下载器 #数据采集 #批量下载 #自动化 #Python #RESTAPI #Docker #GitHub

    • 👍2
  2. pgmicro: 基于 SQLite 存储引擎的进程内 PostgreSQL 重新实现• 采用原生 PostgreSQL 解析器将 SQL 语句直接编译为 SQLite 字节码• 数据完全存储在标准的 SQLite 格式文件中,支持单文件嵌入式运行• 内置 PostgreSQL 协议服务器,完美兼容 psql 等标准客户端工具

    pgmicro: 基于 SQLite 存储引擎的进程内 PostgreSQL 重新实现

    • 采用原生 PostgreSQL 解析器将 SQL 语句直接编译为 SQLite 字节码

    • 数据完全存储在标准的 SQLite 格式文件中,支持单文件嵌入式运行

    • 内置 PostgreSQL 协议服务器,完美兼容 psql 等标准客户端工具

    https://github.com/glommer/pgmicro


    合集 群组 恰饭 联系推广

    #数据库 #PostgreSQL #SQLite #Rust #开源项目

  3. Scrapling: 强大的现代 Web 爬取框架• 自动适应网站结构变化,支持智能元素追踪和灵活选择方法 • 内置反反爬技术,轻松绕过 Cloudflare 等复杂防护 • 支持并发爬取、多会话管理、断点续爬和实时数据流输出

    Scrapling: 强大的现代 Web 爬取框架

    • 自动适应网站结构变化,支持智能元素追踪和灵活选择方法
    • 内置反反爬技术,轻松绕过 Cloudflare 等复杂防护
    • 支持并发爬取、多会话管理、断点续爬和实时数据流输出

    https://github.com/D4Vinci/Scrapling

    #Web爬取 #Python #自动化 #AI #数据采集 #Scrapling #开发工具 GitHub - D4Vinci/Scrapling: 🕷️ An adaptive Web Scraping framework that handles everything from a single request to a full-scale…

    • ❤️4
    • 👍1