Search: #多模型服务

  1. Sentinel: 将闲置 Android 手机变成局域网内的实时 AI 监控节点• 采用「手机采集 + PC 处理 + 浏览器控制」分层架构,支持 Android 端持续上传画面,PC 端进行实时预览、录制与截图• 基于 Flask + MJPEG + OpenCV 构建,本地局域网即可运行,无需依赖云端服务,适合隐私优先的轻量监控场景• 内置可扩展的 AI 触发分析机制,结合运动检测与多模态模型推理,输出结构化事件结果,适合作为视觉采集与智能分析原型平台

    Sentinel: 将闲置 Android 手机变成局域网内的实时 AI 监控节点

    • 采用「手机采集 + PC 处理 + 浏览器控制」分层架构,支持 Android 端持续上传画面,PC 端进行实时预览、录制与截图

    • 基于 Flask + MJPEG + OpenCV 构建,本地局域网即可运行,无需依赖云端服务,适合隐私优先的轻量监控场景

    • 内置可扩展的 AI 触发分析机制,结合运动检测与多模态模型推理,输出结构化事件结果,适合作为视觉采集与智能分析原型平台

    https://github.com/suzuran0y/CCTV-Smartphone-AI-Monitoring

    #局域网监控 #智能安防 #计算机视觉 #Android #Flask #OpenCV #AI #GitHub #多模态 #实时监控

    • ❤️2
  2. oMLX: 面向 Mac 本地部署的高性能 LLM 推理与管理工具• 基于 Apple Silicon 优化,支持连续批处理与分层 KV Cache,可将热缓存放在内存、冷缓存落到 SSD,显著提升本地大模型的响应效率与上下文复用能力• 同一服务可统一承载 LLM、VLM、Embedding 与 Reranker,支持模型自动发现、按需加载、LRU 淘汰、Pin 常驻和 TTL 卸载,适合多模型并行工作流• 提供 macOS 菜单栏应用与 Web 管理面板,兼容 OpenAI / Anthropic API,并内置模型下载、性能测试、聊天界面与 MCP 工具集成,降低本地 AI 服务运维门槛

    oMLX: 面向 Mac 本地部署的高性能 LLM 推理与管理工具

    • 基于 Apple Silicon 优化,支持连续批处理与分层 KV Cache,可将热缓存放在内存、冷缓存落到 SSD,显著提升本地大模型的响应效率与上下文复用能力

    • 同一服务可统一承载 LLM、VLM、Embedding 与 Reranker,支持模型自动发现、按需加载、LRU 淘汰、Pin 常驻和 TTL 卸载,适合多模型并行工作流

    • 提供 macOS 菜单栏应用与 Web 管理面板,兼容 OpenAI / Anthropic API,并内置模型下载、性能测试、聊天界面与 MCP 工具集成,降低本地 AI 服务运维门槛

    https://github.com/jundot/omlx

    #本地大模型 #Mac AI #Apple Silicon #LLM 推理 #KV Cache #多模型服务 #OpenAI API #Anthropic API #MCP #GitHub #AI

    • 👍1
  3. Flowers: 浏览器即插即用的 AI 增强翻译与笔记助手• 划词弹窗实现即时翻译、润色和笔记生成 • 内置 PDF 阅读器支持全文翻译、双语对照和视频字幕翻译 • 多模型多服务商自由切换,支持本地私有部署

    Flowers: 浏览器即插即用的 AI 增强翻译与笔记助手

    • 划词弹窗实现即时翻译、润色和笔记生成
    • 内置 PDF 阅读器支持全文翻译、双语对照和视频字幕翻译
    • 多模型多服务商自由切换,支持本地私有部署

    https://github.com/snailfrying/flowers

    #AI #浏览器扩展 #翻译 #笔记 #多模型 #GitHub