Search: #本地模型

  1. SiliconScope: 专为 Apple Silicon 打造的可视化性能监控工具感谢群友 @rainyovo233 分享• 原生 SwiftUI 界面,实时监控 CPU、GPU、ANE、Media Engine、内存带宽等核心指标,无需 sudo 权限即可使用 • 内置 AI Workload 分析视图,可识别带宽瓶颈、计算瓶颈、热限制和内存压力,帮助定位本地 LLM 推理性能问题 • 支持显示模型加载情况、GPU/CPU 分流比例、统一内存占用与交换状态,适合 LM Studio 等本地 AI 工作负载调优

    SiliconScope: 专为 Apple Silicon 打造的可视化性能监控工具

    感谢群友 @rainyovo233 分享

    • 原生 SwiftUI 界面,实时监控 CPU、GPU、ANE、Media Engine、内存带宽等核心指标,无需 sudo 权限即可使用

    • 内置 AI Workload 分析视图,可识别带宽瓶颈、计算瓶颈、热限制和内存压力,帮助定位本地 LLM 推理性能问题

    • 支持显示模型加载情况、GPU/CPU 分流比例、统一内存占用与交换状态,适合 LM Studio 等本地 AI 工作负载调优

    https://github.com/kennss/SiliconScope

    合集 群组 恰饭 联系推广

    #AppleSilicon #macOS #性能监控 #本地AI #LLM #SwiftUI #开发工具 #系统监控 #ANE #MediaEngine #GitHub

    • ❤️2
  2. HTML Anything: 面向 Agent 工作流的本地优先 HTML 编辑器• 自动识别 8 种本地 coding agent CLI,直接复用已登录 session,快速把 Markdown、CSV、JSON、SQL 等内容生成可交付的 HTML• 内置 75 套 skill 模板和 9 类输出场景,覆盖杂志文章、Keynote PPT、Web 原型、数据报告、社交分享卡与 Hyperframes 视频帧• 支持 SSE 流式渲染、沙箱预览与一键导出,可直接复制到公众号、知乎、X,或下载 .html 与高分辨率 .png

    HTML Anything: 面向 Agent 工作流的本地优先 HTML 编辑器

    • 自动识别 8 种本地 coding agent CLI,直接复用已登录 session,快速把 Markdown、CSV、JSON、SQL 等内容生成可交付的 HTML

    • 内置 75 套 skill 模板和 9 类输出场景,覆盖杂志文章、Keynote PPT、Web 原型、数据报告、社交分享卡与 Hyperframes 视频帧

    • 支持 SSE 流式渲染、沙箱预览与一键导出,可直接复制到公众号、知乎、X,或下载 .html 与高分辨率 .png

    https://github.com/nexu-io/html-anything

    合集 群组 恰饭 联系推广

    #AI #HTML #Agent #本地优先 #内容生产 #可视化编辑 #设计系统 #GitHub #Next.js

    • ❤️4
  3. OpenBridge: 面向 macOS 的本地 AI Agent 工作台• 在本机运行编码与效率 Agent,支持接入 OpenAI、Anthropic、Gemini、GitHub Copilot 等多种模型与订阅服务• 通过 Sandbox VM 先审查文件改动再落盘到主机环境,适合代码生成、批量修改与自动化执行场景• 原生 SwiftUI 界面结合多任务状态追踪、本地 Skills 扩展与 Computer Use,覆盖聊天、执行、审阅的完整闭环

    OpenBridge: 面向 macOS 的本地 AI Agent 工作台

    • 在本机运行编码与效率 Agent,支持接入 OpenAI、Anthropic、Gemini、GitHub Copilot 等多种模型与订阅服务

    • 通过 Sandbox VM 先审查文件改动再落盘到主机环境,适合代码生成、批量修改与自动化执行场景

    • 原生 SwiftUI 界面结合多任务状态追踪、本地 Skills 扩展与 Computer Use,覆盖聊天、执行、审阅的完整闭环

    https://github.com/AFK-surf/OpenBridge

    合集 群组 恰饭 联系推广

    #OpenBridge #AI #Agent #macOS #本地优先 #代码助手 #Sandbox #SwiftUI #GitHub

    • ❤️4
  4. Operit: Android 上功能完备的 AI 智能助手感谢群友 @wuyiyii 的推荐• 内置完整 Ubuntu 24 环境,支持 vim、Python、Node.js 等本地工具,手机即可运行复杂 Linux 命令 • 本地 MNN/llama.cpp 模型离线推理,保护隐私数据,支持多模型切换 • 智能记忆系统自动分类管理对话,支持时间查询、导入导出、自动总结,提供个性化服务

    Operit: Android 上功能完备的 AI 智能助手

    感谢群友 @wuyiyii 的推荐

    • 内置完整 Ubuntu 24 环境,支持 vim、Python、Node.js 等本地工具,手机即可运行复杂 Linux 命令

    • 本地 MNN/llama.cpp 模型离线推理,保护隐私数据,支持多模型切换

    • 智能记忆系统自动分类管理对话,支持时间查询、导入导出、自动总结,提供个性化服务

    https://github.com/AAswordman/Operit

    合集 群组 恰饭 联系推广

    #AI #Android #Ubuntu #本地模型 #智能助手

    • ❤️4
    • 🌚1
  5. Craft Agents: 开源 Agent 工作流界面这...也来做 Agent 了...- 内置浏览器 相当于自带 Browser Use- 支持绑定 Telegram Bot- 支持自动化任务 所以你们小龙虾上最喜欢的抓新闻总结啥的 它直接就能干还不会跟 Alma 一样问题多

    Craft Agents: 开源 Agent 工作流界面

    这...也来做 Agent 了...

    - 内置浏览器 相当于自带 Browser Use

    - 支持绑定 Telegram Bot

    - 支持自动化任务

    所以你们小龙虾上最喜欢的抓新闻总结啥的 它直接就能干
    还不会跟 Alma 一样问题多

    https://github.com/lukilabs/craft-agents-oss

    合集 群组 恰饭 联系推广

    #AI #Agent #开源项目 #MCP #自动化 #本地模型 #GitHub

    • ❤️1
  6. OpenCode2API: 将运行在本地的 OpenCode 转换为 OpenAI 兼容 API ,以在任何 OpenAI 客户端中使用免费模型@awaEmpty 佬的项目更新了- 默认禁用 OpenCode 自带工具调用,优先保证安全,避免客户端请求直接触发本地内置工具- 它支持外部客户端传入 OpenAI 风格的 tools / function, 通过代理桥接转换成兼容的 tool_calls / function_call 返回- 为避免工具重名冲突,会用内部命名空间隔离外部工具,比如 web_fetch 不会误调用到 OpenCode 容器里的同名工具

    OpenCode2API: 将运行在本地的 OpenCode 转换为 OpenAI 兼容 API ,以在任何 OpenAI 客户端中使用免费模型

    @awaEmpty 佬的项目更新了

    - 默认禁用 OpenCode 自带工具调用,优先保证安全,避免客户端请求直接触发本地内置工具

    - 它支持外部客户端传入 OpenAI 风格的 tools / function, 通过代理桥接转换成兼容的 tool_calls / function_call 返回

    - 为避免工具重名冲突,会用内部命名空间隔离外部工具,比如 web_fetch 不会误调用到 OpenCode 容器里的同名工具

    https://github.com/TiaraBasori/opencode2api

    合集 群组 恰饭 联系推广

    #OpenCode #OpenAI #API #网关 #本地部署 #Docker #AI #代理 #GitHub #开发工具

    • 👍2
  7. Koharu: 基于 Rust 构建的本地优先漫画翻译工作台• 集成文本区域检测、OCR、去字修复与 LLM 翻译,覆盖漫画翻译的完整处理链路• 支持本地与远程模型后端,兼容 llama.cpp、OpenAI 兼容接口,以及 OpenAI、Gemini、Claude、DeepSeek 等服务• 提供竖排 CJK、RTL 文本渲染、可编辑 PSD 导出、Local HTTP API 与 MCP Server,方便接入自动化工作流

    Koharu: 基于 Rust 构建的本地优先漫画翻译工作台

    • 集成文本区域检测、OCR、去字修复与 LLM 翻译,覆盖漫画翻译的完整处理链路

    • 支持本地与远程模型后端,兼容 llama.cpp、OpenAI 兼容接口,以及 OpenAI、Gemini、Claude、DeepSeek 等服务

    • 提供竖排 CJK、RTL 文本渲染、可编辑 PSD 导出、Local HTTP API 与 MCP Server,方便接入自动化工作流

    https://github.com/mayocream/koharu

    合集 群组 恰饭 联系推广

    #漫画翻译 #OCR #机器学习 #Rust #LLM #本地优先 #图像处理 #MCP #GitHub

  8. OpenCode2API: 将本地 OpenCode 快速封装为 OpenAI 兼容 API 网关来自 @awaEmpty• 兼容 OpenAI 常用接口,包括 /v1/models、/v1/chat/completions 和 /v1/responses,可直接接入现有 OpenAI 客户端与工作流• 支持 SSE 流式输出与推理参数控制,适合需要 reasoning、实时返回和多模型切换的 AI 应用场景• 提供 Docker 一键部署与默认工具调用安全限制,在本地或生产环境中都更容易落地和运维

    OpenCode2API: 将本地 OpenCode 快速封装为 OpenAI 兼容 API 网关

    来自 @awaEmpty

    • 兼容 OpenAI 常用接口,包括 /v1/models、/v1/chat/completions 和 /v1/responses,可直接接入现有 OpenAI 客户端与工作流

    • 支持 SSE 流式输出与推理参数控制,适合需要 reasoning、实时返回和多模型切换的 AI 应用场景

    • 提供 Docker 一键部署与默认工具调用安全限制,在本地或生产环境中都更容易落地和运维

    https://github.com/TiaraBasori/opencode2api

    合集 群组 恰饭 联系推广

    #OpenCode #OpenAI #API #网关 #本地部署 #Docker #AI #代理 #GitHub #开发工具

  9. JANG: 面向 Apple Silicon 的 MLX 混合精度量化格式• 针对 MoE 与超大模型做按张量分配比特宽度,在接近 MLX 体积下优先保留 attention 与 router 精度,低比特场景下稳定性和效果更强• 支持 Qwen、Nemotron、MiniMax、DeepSeek 等架构,部分模型可在 16 GB 或 64 GB Mac 上运行,甚至实现 397B 级模型在 128 GB Mac 上推理• 原生兼容 MLX 生态,提供推理模式、VLM 支持、bfloat16 自动检测和开发者集成方案,适合在 Apple Silicon 上部署高压缩本地模型

    JANG: 面向 Apple Silicon 的 MLX 混合精度量化格式

    • 针对 MoE 与超大模型做按张量分配比特宽度,在接近 MLX 体积下优先保留 attention 与 router 精度,低比特场景下稳定性和效果更强

    • 支持 Qwen、Nemotron、MiniMax、DeepSeek 等架构,部分模型可在 16 GB 或 64 GB Mac 上运行,甚至实现 397B 级模型在 128 GB Mac 上推理

    • 原生兼容 MLX 生态,提供推理模式、VLM 支持、bfloat16 自动检测和开发者集成方案,适合在 Apple Silicon 上部署高压缩本地模型

    https://github.com/jjang-ai/jangq

    #AppleSilicon #MLX #模型量化 #混合精度量化 #本地大模型 #MoE #推理优化 #Mac #AI #GitHub GitHub - jjang-ai/jangq: JANG — GGUF for MLX. YOU MUST USE JANG_Q RUNTIME. Adaptive Mixed-Precision Quantization + Runtime for…

    • ❤️3
  10. GELab-Zero: 面向移动端的全开源 GUI Agent 基础设施与模型方案• 同时开源 Agent 模型与工程基础设施,支持本地部署,无需依赖云端,兼顾隐私控制与即插即用体验• 针对 Mac M 系列芯片与 NVIDIA RTX 4060 优化,支持消费级硬件运行,并可通过 ADB 打通 Android 设备自动化执行• 提供多设备管理、任务分发、ReAct 循环、多智能体协作与 MCP Server 能力,适合从原型验证快速走向真实业务落地

    GELab-Zero: 面向移动端的全开源 GUI Agent 基础设施与模型方案

    • 同时开源 Agent 模型与工程基础设施,支持本地部署,无需依赖云端,兼顾隐私控制与即插即用体验

    • 针对 Mac M 系列芯片与 NVIDIA RTX 4060 优化,支持消费级硬件运行,并可通过 ADB 打通 Android 设备自动化执行

    • 提供多设备管理、任务分发、ReAct 循环、多智能体协作与 MCP Server 能力,适合从原型验证快速走向真实业务落地

    https://github.com/stepfun-ai/gelab-zero

    #GUIAgent #移动端 Agent #本地部署 #开源项目 #Android 自动化 #ADB #MCP #多智能体 #AI #GitHub

  11. Qwen3.5-9B-Claude-4.6-Opus-Uncensored-Distilled-GGUF: 面向本地部署的轻量级创意与推理模型🔞可用于本地涩涩等场景• 基于 Qwen 3.5 9B,并融入 Claude Opus 4.6 蒸馏思路,主打更强的创意表达、对话表现与角色扮演场景• 提供 GGUF 与低显存友好的 Q4_K_M 量化版本,作者反馈在 RTX 3060 12 GB 上可达约 38 tok/s,适合本地聊天、游戏 NPC 与 Home Lab 部署• 模型采用 Apache 2.0 许可证,便于社区测试与二次集成

    Qwen3.5-9B-Claude-4.6-Opus-Uncensored-Distilled-GGUF: 面向本地部署的轻量级创意与推理模型

    🔞可用于本地涩涩等场景

    • 基于 Qwen 3.5 9B,并融入 Claude Opus 4.6 蒸馏思路,主打更强的创意表达、对话表现与角色扮演场景

    • 提供 GGUF 与低显存友好的 Q4_K_M 量化版本,作者反馈在 RTX 3060 12 GB 上可达约 38 tok/s,适合本地聊天、游戏 NPC 与 Home Lab 部署

    • 模型采用 Apache 2.0 许可证,便于社区测试与二次集成

    https://www.reddit.com/r/LocalLLaMA/comments/1runlpf/qwen359bclaude46opusuncensoreddistilledgguf

    #AI #Uncensored #本地大模型 #模型蒸馏 #GGUF #Qwen #Claude #LMStudio #量化模型 #低显存部署 #角色扮演 #LocalLLaMA [Mature Content] From the LocalLLaMA community on Reddit: Qwen3.5-9B-Claude-4.6-Opus-Uncensored-Distilled-GGUF

    • ❤️5
  12. oMLX: 面向 Mac 本地部署的高性能 LLM 推理与管理工具• 基于 Apple Silicon 优化,支持连续批处理与分层 KV Cache,可将热缓存放在内存、冷缓存落到 SSD,显著提升本地大模型的响应效率与上下文复用能力• 同一服务可统一承载 LLM、VLM、Embedding 与 Reranker,支持模型自动发现、按需加载、LRU 淘汰、Pin 常驻和 TTL 卸载,适合多模型并行工作流• 提供 macOS 菜单栏应用与 Web 管理面板,兼容 OpenAI / Anthropic API,并内置模型下载、性能测试、聊天界面与 MCP 工具集成,降低本地 AI 服务运维门槛

    oMLX: 面向 Mac 本地部署的高性能 LLM 推理与管理工具

    • 基于 Apple Silicon 优化,支持连续批处理与分层 KV Cache,可将热缓存放在内存、冷缓存落到 SSD,显著提升本地大模型的响应效率与上下文复用能力

    • 同一服务可统一承载 LLM、VLM、Embedding 与 Reranker,支持模型自动发现、按需加载、LRU 淘汰、Pin 常驻和 TTL 卸载,适合多模型并行工作流

    • 提供 macOS 菜单栏应用与 Web 管理面板,兼容 OpenAI / Anthropic API,并内置模型下载、性能测试、聊天界面与 MCP 工具集成,降低本地 AI 服务运维门槛

    https://github.com/jundot/omlx

    #本地大模型 #Mac AI #Apple Silicon #LLM 推理 #KV Cache #多模型服务 #OpenAI API #Anthropic API #MCP #GitHub #AI

    • 👍1
  13. 还有个对应的 lora 能用我看别人在用

    还有个对应的 lora 能用
    我看别人在用 https://huggingface.co/renderartist/Technically-Color-Z-Image-Turbo/blob/main/Technically_Color_Z_Image_Turbo_v1_renderartist_2000.safetensors

    https://t.me/zhetengsha/4814 折腾啥

    • ❤️1
  14. MindCraft Studio: 面向 Apple Silicon 的本地 AI 影像工作室 还有个对应的 lora 能用我看别人在用

    MindCraft Studio: 面向 Apple Silicon 的本地 AI 影像工作室

    还有个对应的 lora 能用
    我看别人在用 https://huggingface.co/renderartist/Technically-Color-Z-Image-Turbo/blob/main/Technically_Color_Z_Image_Turbo_v1_renderartist_2000.safetensors

    • 本地运行 Z-Image Turbo、FLUX、SDXL 等模型,基于 MLX 与 Metal 加速,生成更快且不出网
    • 一体化工作流覆盖 txt2img、img2img、ControlNet、In-Context 编辑与 4x 超分,细节控制更精确
    • 支持 LoRA 适配器与 Redux 风格参考,便于做一致风格与批量变体生成

    https://themindstudio.cc/mindcraft

    #本地推理 #AI 作图 #图像生成 #Apple Silicon #Mac #MLX #FLUX #SDXL #ControlNet #LoRA

    • ❤️1
  15. opencode-to-openai: 把 OpenCode CLI 变成 OpenAI 兼容 REST API 的轻量网关• 将 OpenCode 的免费模型统一转换为标准 /v1 接口,直接接入 Cursor、Claude Code、OpenClaw 等支持 OpenAI 格式的客户端 • 支持 OpenClaw 插件原生集成与独立 Server 两种部署方式,提供 /health、/v1/models 等自检接口便于排障 • 默认禁用工具调用并支持 API Key 鉴权,可按需开启调试日志与隔离 HOME 配置以兼顾安全与稳定

    opencode-to-openai: 把 OpenCode CLI 变成 OpenAI 兼容 REST API 的轻量网关

    • 将 OpenCode 的免费模型统一转换为标准 /v1 接口,直接接入 Cursor、Claude Code、OpenClaw 等支持 OpenAI 格式的客户端
    • 支持 OpenClaw 插件原生集成与独立 Server 两种部署方式,提供 /health、/v1/models 等自检接口便于排障
    • 默认禁用工具调用并支持 API Key 鉴权,可按需开启调试日志与隔离 HOME 配置以兼顾安全与稳定

    https://github.com/dxxzst/opencode-to-openai

    相关: OpenCode AI Proxy: OpenCode 2 API

    #API 网关 #OpenAI 兼容 #OpenCode #OpenClaw #Node.js #AI 客户端 #本地部署 #模型接入 #开源工具 #MIT License GitHub - dxxzst/opencode-to-openai

    • ❤️2
  16. BetterAudio: 把 macOS 的声音控制做成菜单栏级的“专业调音台”• 支持按应用单独调节音量、快速切换输入/输出设备,外接显示器音量也能直接控制 • 内置本地 AI 听写与转写(Parakeet 模型),更隐私也更高效 • 可自定义 HUD 提示、快捷键与媒体按键路由,减少打断专注的操作步骤

    BetterAudio: 把 macOS 的声音控制做成菜单栏级的“专业调音台”

    • 支持按应用单独调节音量、快速切换输入/输出设备,外接显示器音量也能直接控制
    • 内置本地 AI 听写与转写(Parakeet 模型),更隐私也更高效
    • 可自定义 HUD 提示、快捷键与媒体按键路由,减少打断专注的操作步骤

    https://github.com/rokartur/BetterAudio

    #macOS #音频管理 #菜单栏工具 #效率工具 #本地AI #Parakeet #Spotify #AppleMusic #DDC #GitHub

    • ❤️6