Search: #UI自动化

1. 

   折腾啥

   Autofish: 面向 agent 和多 agent 系统的 Android 控制基础设施• 提供 Android 前台服务与 Rust CLI 组合，通过 HTTP API 完成截图、 UI 树检查、点击、滑动、输入等可编排控制• 使用稳定 refs 驱动交互，围绕观测、执行、验证形成闭环，适合需要确定性和可恢复性的自动化任务• 内置基于 SQLite 的本地工具记忆，持续记录事件、状态转换、恢复策略与 Agent 笔记，便于长期运行和多 agent 协作

   10:01 · 2026年5月5日 · 周二

   Autofish: 面向 agent 和多 agent 系统的 Android 控制基础设施
   
   • 提供 Android 前台服务与 Rust CLI 组合，通过 HTTP API 完成截图、 UI 树检查、点击、滑动、输入等可编排控制
   
   • 使用稳定 refs 驱动交互，围绕观测、执行、验证形成闭环，适合需要确定性和可恢复性的自动化任务
   
   • 内置基于 SQLite 的本地工具记忆，持续记录事件、状态转换、恢复策略与 Agent 笔记，便于长期运行和多 agent 协作
   
   https://github.com/memohai/Autofish
   
   合集 群组 恰饭 联系推广
   
   #Android自动化 #Agent基础设施 #多Agent #UI自动化 #GitHub #Rust #SQLite

   10:01 · 2026年5月5日 · 周二

   • ❤️1

   Android自动化Agent基础设施多AgentUI自动化GitHubRustSQLite

2. 

   折腾啥

   Midscene.js: 视觉模型驱动的全平台 UI 自动化 SDK• 基于 pure-vision 路线进行 UI 定位与交互，仅依赖截图即可覆盖 Web、Android、iOS、桌面应用与 Canvas 场景 • 支持自然语言编排任务，可使用 Javascript SDK 或 YAML 编写脚本，并无缝集成 Puppeteer、Playwright、adb、WebDriverAgent • 提供可视化报告、Playground 与 MCP 能力，便于调试回放、提升执行效率，并支持开源模型自托管

   18:03 · 2026年2月28日 · 周六

   Midscene.js: 视觉模型驱动的全平台 UI 自动化 SDK
   
   • 基于 pure-vision 路线进行 UI 定位与交互，仅依赖截图即可覆盖 Web、Android、iOS、桌面应用与 Canvas 场景
   • 支持自然语言编排任务，可使用 Javascript SDK 或 YAML 编写脚本，并无缝集成 Puppeteer、Playwright、adb、WebDriverAgent
   • 提供可视化报告、Playground 与 MCP 能力，便于调试回放、提升执行效率，并支持开源模型自托管
   
   https://github.com/web-infra-dev/midscene
   
   #自动化测试 #视觉语言模型 #跨平台 #UI #JavaScript #GitHub #MCP #Android #iOS

   GitHub

   

   GitHub - web-infra-dev/midscene: AI-powered, vision-driven UI automation for every platform.

   AI-powered, vision-driven UI automation for every platform. - web-infra-dev/midscene

   18:03 · 2026年2月28日 · 周六

   • ❤️1

   自动化测试视觉语言模型跨平台UIJavaScriptGitHubMCPAndroidiOS