exo: 在家用日常设备运行自己的 AI 集群 📱💻 🖥⌚️

有点意思

要运行 exo，唯一的要求是您的所有设备必须具备足够的内存，以便将整个模型加载到内存中。例如，若您使用的是 llama 3.1 8B（fp16），那么在所有设备上需至少拥有总计为16GB的内存。以下任何一种配置均可满足此要求，因为它们的总内存均超过了16GB：

- 两台配备8GB内存的M3 MacBook Air

- 一台配备16GB显卡NVIDIA RTX 4070 Ti的笔记本电脑

- 两台各自拥有4GB RAM的Raspberry Pi 400（通过CPU运行）加上一台8GB Mac Mini


exo-explore/exo

频道资源合集 恰饭推荐 群组

#GitHub #开源 #AI #集群