Search: #LLM

  1. Moeka Translator: 基于 LLM 的多语言词典与桌面翻译工具• 基于 LLM 提供翻译、润色、单词释义一体化体验,适合阅读、写作与语言学习• 支持全球 35 种语言,结合例句、释义和关联词图谱,提升词汇理解与复习效率• 面向 macOS 提供全局取词、快捷键呼出和轻量配置,接入自有 API Key 即可使用

    Moeka Translator: 基于 LLM 的多语言词典与桌面翻译工具

    • 基于 LLM 提供翻译、润色、单词释义一体化体验,适合阅读、写作与语言学习

    • 支持全球 35 种语言,结合例句、释义和关联词图谱,提升词汇理解与复习效率

    • 面向 macOS 提供全局取词、快捷键呼出和轻量配置,接入自有 API Key 即可使用

    https://translator.moeka.app/zh-cn

    合集 群组 恰饭 联系推广

    #翻译工具 #词典应用 #LLM #语言学习 #macOS

    • 👍1
  2. Octopus: 面向个人部署的 LLM API 聚合与统一管理服务• 主要更新了协议转换, 增加了透传, 拦截上游报错不打断 agent 客户端任务, 可视化完整的请求链路

    Octopus: 面向个人部署的 LLM API 聚合与统一管理服务

    • 主要更新了协议转换, 增加了透传, 拦截上游报错不打断 agent 客户端任务, 可视化完整的请求链路

    codex 接入 octopus 后进行对话
    codex 显示 working

    此时 octopus 日志端就会推送一条日志

    点击日志后显示重试请求详情,此时 octopus 会拦截所有的错误,不会返回给 codex, codex 仍在等待

    手动选择渠道后, 渠道正常响应, 透传或者协议转换后发送给 codex

    整个请求链路都是可视化的,任何错误信息都会被 octopus 拦截, 并且不会传给 codex, codex 不会因为上游错误而中止,完全不需要发送 继续


    https://github.com/bestruirui/octopus

    合集 群组 恰饭 联系推广

    #LLM #AI #API #聚合 #模型管理 #协议转换 #费用统计 #自托管 #GitHub #OpenAI #Anthropic

  3. SiliconScope: 专为 Apple Silicon 打造的可视化性能监控工具感谢群友 @rainyovo233 分享• 原生 SwiftUI 界面,实时监控 CPU、GPU、ANE、Media Engine、内存带宽等核心指标,无需 sudo 权限即可使用 • 内置 AI Workload 分析视图,可识别带宽瓶颈、计算瓶颈、热限制和内存压力,帮助定位本地 LLM 推理性能问题 • 支持显示模型加载情况、GPU/CPU 分流比例、统一内存占用与交换状态,适合 LM Studio 等本地 AI 工作负载调优

    SiliconScope: 专为 Apple Silicon 打造的可视化性能监控工具

    感谢群友 @rainyovo233 分享

    • 原生 SwiftUI 界面,实时监控 CPU、GPU、ANE、Media Engine、内存带宽等核心指标,无需 sudo 权限即可使用

    • 内置 AI Workload 分析视图,可识别带宽瓶颈、计算瓶颈、热限制和内存压力,帮助定位本地 LLM 推理性能问题

    • 支持显示模型加载情况、GPU/CPU 分流比例、统一内存占用与交换状态,适合 LM Studio 等本地 AI 工作负载调优

    https://github.com/kennss/SiliconScope

    合集 群组 恰饭 联系推广

    #AppleSilicon #macOS #性能监控 #本地AI #LLM #SwiftUI #开发工具 #系统监控 #ANE #MediaEngine #GitHub

    • ❤️2
  4. gemini-web2api: 将 Google Gemini 网页端转为 OpenAI 兼容 API • 零认证免密,支持可选 API Key 校验 • 完整 Function Calling 与流式 SSE 输出,兼容 OpenAI 与 Gemini CLI • 多模型与思考深度调节,内置联网搜索,跨平台纯 Python 实现

    gemini-web2api: 将 Google Gemini 网页端转为 OpenAI 兼容 API

    • 零认证免密,支持可选 API Key 校验

    • 完整 Function Calling 与流式 SSE 输出,兼容 OpenAI 与 Gemini CLI

    • 多模型与思考深度调节,内置联网搜索,跨平台纯 Python 实现

    https://github.com/Sophomoresty/gemini-web2api

    合集 群组 恰饭 联系推广

    #AI #OpenAI #Google #Gemini #Python #API #ChatGPT #LLM #开源 #代理

    • ❤️4
  5. talk-normal: 让 LLM 输出更短、更直接、更像真人表达的 system prompt这是第几个说人话项目了来着...• 一段通用 system prompt 即可优化 GPT、Gemini、LLaMA 等模型的回答风格,显著压缩篇幅并保留关键信息• 内置一套可实战迭代的表达规则,覆盖客套话清理、结论前置、条件式菜单收敛等高频输出问题• 提供 OpenClaw、ChatGPT 自定义指令、API 等多种接入方式,安装简单,适合个人工作流和 AI 应用集成

    talk-normal: 让 LLM 输出更短、更直接、更像真人表达的 system prompt

    这是第几个说人话项目了来着...

    • 一段通用 system prompt 即可优化 GPT、Gemini、LLaMA 等模型的回答风格,显著压缩篇幅并保留关键信息

    • 内置一套可实战迭代的表达规则,覆盖客套话清理、结论前置、条件式菜单收敛等高频输出问题

    • 提供 OpenClaw、ChatGPT 自定义指令、API 等多种接入方式,安装简单,适合个人工作流和 AI 应用集成

    https://github.com/hexiecs/talk-normal

    合集 群组 恰饭 联系推广

    #LLM #PromptEngineering #AI #SystemPrompt #开发工具 #效率工具 #GitHub GitHub - hexiecs/talk-normal: Make any LLM talk like a normal person. A system prompt that removes AI slop.

    • 👍2
    • ❤️1
  6. ToGo Agent: 面向 LLM 的多智能体协作开源平台• 支持多个 AI Agent 在统一群聊空间中实时协作,适合处理拆解、讨论、补位式的复杂任务• 提供角色、技能、性格等自定义能力,方便快速搭建贴近真实团队分工的 Agent 体系• 内置可视化 Web 控制台与多层级团队架构管理,覆盖任务执行、消息流转和组织配置全过程

    ToGo Agent: 面向 LLM 的多智能体协作开源平台

    • 支持多个 AI Agent 在统一群聊空间中实时协作,适合处理拆解、讨论、补位式的复杂任务

    • 提供角色、技能、性格等自定义能力,方便快速搭建贴近真实团队分工的 Agent 体系

    • 内置可视化 Web 控制台与多层级团队架构管理,覆盖任务执行、消息流转和组织配置全过程

    https://github.com/alexazhou/TogoAgent

    合集 群组 恰饭 联系推广

    #多智能体 #AI #Agent #LLM #开源项目 #协作系统 #可视化控制台 #GitHub

    • ❤️1
  7. Koharu: 基于 Rust 构建的本地优先漫画翻译工作台• 集成文本区域检测、OCR、去字修复与 LLM 翻译,覆盖漫画翻译的完整处理链路• 支持本地与远程模型后端,兼容 llama.cpp、OpenAI 兼容接口,以及 OpenAI、Gemini、Claude、DeepSeek 等服务• 提供竖排 CJK、RTL 文本渲染、可编辑 PSD 导出、Local HTTP API 与 MCP Server,方便接入自动化工作流

    Koharu: 基于 Rust 构建的本地优先漫画翻译工作台

    • 集成文本区域检测、OCR、去字修复与 LLM 翻译,覆盖漫画翻译的完整处理链路

    • 支持本地与远程模型后端,兼容 llama.cpp、OpenAI 兼容接口,以及 OpenAI、Gemini、Claude、DeepSeek 等服务

    • 提供竖排 CJK、RTL 文本渲染、可编辑 PSD 导出、Local HTTP API 与 MCP Server,方便接入自动化工作流

    https://github.com/mayocream/koharu

    合集 群组 恰饭 联系推广

    #漫画翻译 #OCR #机器学习 #Rust #LLM #本地优先 #图像处理 #MCP #GitHub

  8. Alice: 运行在 Telegram 上的常驻式 AI 社交陪伴体感谢群友 @awaEmpty 分享• 基于“压力场”模型驱动自主决策,让 AI 不再只会被动回复,而是能持续感知关系、承诺、记忆与上下文变化• 以 userbot 形态接入 Telegram,具备跨私聊、群组、频道的持续在线能力,可主动提醒、跟进对话、整理动态并维持社交联系• 支持 OpenAI 兼容接口与小模型运行,通过 LLM 直接生成 Shell Script 执行动作,兼顾实验性架构、低成本部署与可扩展技能系统

    Alice: 运行在 Telegram 上的常驻式 AI 社交陪伴体

    感谢群友 @awaEmpty 分享

    • 基于“压力场”模型驱动自主决策,让 AI 不再只会被动回复,而是能持续感知关系、承诺、记忆与上下文变化

    • 以 userbot 形态接入 Telegram,具备跨私聊、群组、频道的持续在线能力,可主动提醒、跟进对话、整理动态并维持社交联系

    • 支持 OpenAI 兼容接口与小模型运行,通过 LLM 直接生成 Shell Script 执行动作,兼顾实验性架构、低成本部署与可扩展技能系统

    https://github.com/LlmKira/Alice

    #Telegram #AI #Agent #数字陪伴 #自主决策 #用户机器人 #LLM #TypeScript #社交 #Bot #人形

    • 🥰2
  9. Coe: 面向 Linux 桌面的轻量级语音输入工具• 支持热键触发录音、ASR 转写与自动回填文本,适合在 Linux 桌面应用中实现接近原生体验的语音输入• 提供 Fcitx5 与 GNOME 两条集成路径,可直接 CommitString 上屏,或通过 clipboard / paste 回写到当前焦点应用• 兼容 OpenAI、SenseVoice 与本地 Whisper.cpp,并可接入 LLM 对转写结果做纠错清洗,兼顾灵活性与可用性

    Coe: 面向 Linux 桌面的轻量级语音输入工具

    • 支持热键触发录音、ASR 转写与自动回填文本,适合在 Linux 桌面应用中实现接近原生体验的语音输入

    • 提供 Fcitx5 与 GNOME 两条集成路径,可直接 CommitString 上屏,或通过 clipboard / paste 回写到当前焦点应用

    • 兼容 OpenAI、SenseVoice 与本地 Whisper.cpp,并可接入 LLM 对转写结果做纠错清洗,兼顾灵活性与可用性

    https://github.com/quailyquaily/coe

    #Linux #语音输入 #桌面工具 #Fcitx5 #GNOME #ASR #Whisper.cpp #OpenAI #LLM #Wayland GitHub - quailyquaily/coe: A zero-GUI Linux voice input tool. Press a hotkey, speak, press again, and the corrected text is pasted…

  10. llm_benchmark: 面向复杂推理与长文本场景的 LLM 中文能力基准项目• 聚焦高难度任务设计,覆盖符号推导、规则归纳、代码阅读、日志分析、长文本总结等多类真实问题,更适合检验模型的综合推理能力• 题目设置强调指令遵循与复杂约束处理,包含生产日志、棋局解读、工具组合、寻路规划等场景,对模型实用性评估更有参考价值• 基于 GitHub 开源发布,适合用于大模型评测、能力对比、提示词测试与中文推理 benchmark 构建

    llm_benchmark: 面向复杂推理与长文本场景的 LLM 中文能力基准项目

    • 聚焦高难度任务设计,覆盖符号推导、规则归纳、代码阅读、日志分析、长文本总结等多类真实问题,更适合检验模型的综合推理能力

    • 题目设置强调指令遵循与复杂约束处理,包含生产日志、棋局解读、工具组合、寻路规划等场景,对模型实用性评估更有参考价值

    • 基于 GitHub 开源发布,适合用于大模型评测、能力对比、提示词测试与中文推理 benchmark 构建

    https://github.com/llm2014/llm_benchmark

    #大模型评测 #中文基准 #推理能力 #长文本 #代码阅读 #日志分析 #GitHub #LLM #Benchmark #AI

  11. 豆腐 ( Doufu ): iPhone 上的本地 HTML 项目查看与编辑工具老朋友 App 君的新作品, 简单说就是 AI 自动写 Web AppTestFlight 亲友限定内测了一段时间 现在上架了你可以直接在设备上创建、管理和预览 HTML、CSS 和 JavaScript 项目每个项目运行在沙盒化的本地服务器中

    豆腐 ( Doufu ): iPhone 上的本地 HTML 项目查看与编辑工具

    老朋友 App 君的新作品, 简单说就是 AI 自动写 Web App

    TestFlight 亲友限定内测了一段时间 现在上架了

    你可以直接在设备上创建、管理和预览 HTML、CSS 和 JavaScript 项目

    每个项目运行在沙盒化的本地服务器中


    https://apps.apple.com/app/id6760194187

    #iOS #AI #前端 #Web #App #开发工具 #LLM

    • ❤️5
  12. oMLX: 面向 Mac 本地部署的高性能 LLM 推理与管理工具• 基于 Apple Silicon 优化,支持连续批处理与分层 KV Cache,可将热缓存放在内存、冷缓存落到 SSD,显著提升本地大模型的响应效率与上下文复用能力• 同一服务可统一承载 LLM、VLM、Embedding 与 Reranker,支持模型自动发现、按需加载、LRU 淘汰、Pin 常驻和 TTL 卸载,适合多模型并行工作流• 提供 macOS 菜单栏应用与 Web 管理面板,兼容 OpenAI / Anthropic API,并内置模型下载、性能测试、聊天界面与 MCP 工具集成,降低本地 AI 服务运维门槛

    oMLX: 面向 Mac 本地部署的高性能 LLM 推理与管理工具

    • 基于 Apple Silicon 优化,支持连续批处理与分层 KV Cache,可将热缓存放在内存、冷缓存落到 SSD,显著提升本地大模型的响应效率与上下文复用能力

    • 同一服务可统一承载 LLM、VLM、Embedding 与 Reranker,支持模型自动发现、按需加载、LRU 淘汰、Pin 常驻和 TTL 卸载,适合多模型并行工作流

    • 提供 macOS 菜单栏应用与 Web 管理面板,兼容 OpenAI / Anthropic API,并内置模型下载、性能测试、聊天界面与 MCP 工具集成,降低本地 AI 服务运维门槛

    https://github.com/jundot/omlx

    #本地大模型 #Mac AI #Apple Silicon #LLM 推理 #KV Cache #多模型服务 #OpenAI API #Anthropic API #MCP #GitHub #AI

    • ❤️1
    • 👍1
  13. Squirrel: 企业级 LLM 网关, 统一代理 OpenAI、Anthropic 及兼容 API• 一次接入统一 API, 兼容 OpenAI Chat、OpenAI Responses 与 Anthropic Messages, 并支持请求/响应/流式互转 • 智能路由与高可用, 支持规则路由、负载均衡、自动重试与故障转移, 可按成本或优先级自动选模型 • 全面可观测性 + 管理面板, 记录 Token 用量/延迟/成本与请求日志, 提供 Next.js 管理后台做供应商、模型映射与 API Key 管理

    Squirrel: 企业级 LLM 网关, 统一代理 OpenAI、Anthropic 及兼容 API

    • 一次接入统一 API, 兼容 OpenAI Chat、OpenAI Responses 与 Anthropic Messages, 并支持请求/响应/流式互转
    • 智能路由与高可用, 支持规则路由、负载均衡、自动重试与故障转移, 可按成本或优先级自动选模型
    • 全面可观测性 + 管理面板, 记录 Token 用量/延迟/成本与请求日志, 提供 Next.js 管理后台做供应商、模型映射与 API Key 管理

    https://github.com/mylxsw/llm-gateway

    #LLM #AI #网关 #代理服务 #OpenAI #Anthropic #可观测性 #负载均衡 #故障转移 #成本优化 #Docker #Nextjs #Python

    • ❤️2
  14. Reader: 面向 LLM Agent 的开源生产级 Web 抓取与爬取引擎• 内置 Cloudflare/Turnstile 等反爬绕过能力,包含 TLS 指纹、DNS over TLS、WebRTC 掩蔽 • 抓取后直接输出干净的 Markdown/HTML,自动抽取正文并清理导航栏、弹窗、Cookie 横幅等噪音 • 同时提供 CLI 与 Node.js API,支持并发批量抓取、站点 BFS 爬取、浏览器池与代理轮换用于稳定上线

    Reader: 面向 LLM Agent 的开源生产级 Web 抓取与爬取引擎

    • 内置 Cloudflare/Turnstile 等反爬绕过能力,包含 TLS 指纹、DNS over TLS、WebRTC 掩蔽
    • 抓取后直接输出干净的 Markdown/HTML,自动抽取正文并清理导航栏、弹窗、Cookie 横幅等噪音
    • 同时提供 CLI 与 Node.js API,支持并发批量抓取、站点 BFS 爬取、浏览器池与代理轮换用于稳定上线

    https://github.com/vakra-dev/reader

    #网页抓取 #网络爬虫 #LLM #Agent #Cloudflare #Nodejs #CLI #Proxy #GitHub #开源工具 #生产环境

    • ❤️4
  15. Voratiq Agent Leaderboard: 面向真实工程任务的 AI 代理对战排行榜• 基于真实工程规格让多个 agent 正面对比,人工复核结果并合并最优方案 • 用评分与 90% 置信区间量化表现,同时展示任务用时分布与效率 • 提供可视化散点图与完整排名,便于快速定位高质量模型与性价比选项

    Voratiq Agent Leaderboard: 面向真实工程任务的 AI 代理对战排行榜

    • 基于真实工程规格让多个 agent 正面对比,人工复核结果并合并最优方案
    • 用评分与 90% 置信区间量化表现,同时展示任务用时分布与效率
    • 提供可视化散点图与完整排名,便于快速定位高质量模型与性价比选项

    https://voratiq.com/leaderboard

    #AI #Agent #排行榜 #工程效率 #基准测试 #LLM #GitHub Copilot #Claude #Gemini #OpenAI

  16. LM Speed: 一键测出你的 LLM API 到底快不快当然我知道大多数人是去看有什么 API 可以白嫖的...

    LM Speed: 一键测出你的 LLM API 到底快不快

    当然我知道大多数人是去看有什么 API 可以白嫖的... https://lmspeed.net/zh/category?q=%E5%85%8D%E8%B4%B9

    • 多提示词综合测速,量化首字延迟、吞吐(Tokens/s)、总耗时等关键指标
    • 支持自定义 Base URL + API Key,兼容官方与各类 OpenAI 兼容代理端点
    • 内置实时排行榜与可视化分析,快速对比不同 Provider / Model 的性能差异

    https://lmspeed.net/zh

    #大模型 #API测速 #性能分析 #延迟优化 #吞吐量 #排行榜 #LLM #OpenAI #AI

    • 👍3
  17. Darwin Eligibility Override项目旨在不禁用系统完整性保护 (SIP) 或者仅禁用一次的情况下 实现永久在任意 Mac 上使用 Xcode LLM / Apple Intelligence

    Darwin Eligibility Override

    项目旨在不禁用系统完整性保护 (SIP) 或者仅禁用一次的情况下 实现永久在任意 Mac 上使用 Xcode LLM / Apple Intelligence。


    Kyle-Ye/XcodeLLMEligible

    频道资源合集 恰饭推荐 群组

    #mac #macOS #AI #ChatGPT #Intelligence #LLM GitHub - Kyle-Ye/XcodeLLMEligible