跳转至

国产双开源：让Mac成为你的私人AI工作站

Ch01.606 国产双开源：让Mac成为你的私人AI工作站

📊 Level ⭐⭐ | 10.3KB | entities/国产双开源让mac成为你的私人ai工作站.md

国产双开源：让Mac成为你的私人AI工作站

来源: 机器之心

发布日期: 2026-05-06

原文链接: https://mp.weixin.qq.com/s/eLN0bUO-hGAxEwPFQ7zsjg

编辑｜panda、+0

2026 年 3 月底，Ollama 发布了一则更新公告：其 Mac 版本的底层推理引擎，将从沿用多年的 llama.cpp 切换为苹果的 MLX 框架。

这条消息在开发者社区引发了激烈讨论，原因很简单：数字太好看了。在搭载 M5 芯片的 Mac 上，切换到 MLX 后，prefill 速度提升超过 57%，生成速度接近翻倍，部分场景下，生成第一个 token 的等待时间（TTFT）缩短至原先的四分之一。一位开发者在社区里写道，他的 Mac 的「解码速度提升了 93%」。

为什么性能提升如此之大？背后的原因其实并不神秘。Apple Silicon 采用的是统一内存架构，即 CPU、GPU 共享同一块物理内存，数据无需在不同存储池之间搬运。MLX 正是为这种架构专门设计的框架，因此天然获得了传统框架在 Mac 上得不到的底层优势。

从 M5 芯片开始，苹果还在每个 GPU 核心里嵌入了专门的矩阵乘法单元 Neural Accelerator，通过 Metal 4 的 TensorOps API 来调用，这是苹果首次在 GPU 层面提供可编程的、专属于 AI 推理的硬件加速。

Cider：为 Apple Silicon 补齐端侧 AI 生态

Cider 是明略科技自研并开源的端侧推理加速框架，构建于 MLX 之上，专为 macOS 与 Apple Silicon 设计。

核心创新：Cider 提供了 MLX 原生框架缺失的两种量化推理模式：

  • W8A8：权重和激活值同时量化至 INT8，直接利用 Apple GPU 的 TensorOps 完成矩阵乘法。在 Apple M5 Pro 上，单算子测试（10240×2560 矩阵）显示，相比原生 MLX W8A16 方案，序列长度 M=1024 时速度提升 1.82 倍，M=4096 时提升 1.84 倍，M=8192 时提升 1.86 倍。
  • W4A8：在 W8A8 基础上将权重进一步压缩至 INT4，权重内存占用减半。

两种模式均以「融合算子」（fused kernel）实现，将量化、矩阵乘法、反量化三步合并为一次 GPU 调度，避免中间结果的显存搬运开销。

在真实 VLM 模型的端到端测试中，以 Qwen3-VL-2B 进行 chunked prefill 推理，W8A8 模式整体 prefill 加速约 57%~61%。精度损失极小：Qwen3-8B 的 W8A8 量化后困惑度（PPL）为 9.756，与 FP16 原始精度（9.726）差距仅为 0.03。

兼容性：Qwen、Llama、Mistral 等主流开源模型，以及 Qwen3-VL 等 VLM 模型均可直接受益，只需一行代码 convert_model(model) 即可接入。Cider 的量化加速仅作用于 prefill 阶段，decode 阶段自动回落到原始权重，对输出质量无影响。

实验性 ANE+GPU 异构并行：Cider 尝试在 prefill 阶段将线性层的矩阵运算按输出维度拆分，ANE 负责约 65% 的通道，GPU 负责剩余 35%，在 M4 芯片上的 Qwen3-VL-2B prefill 测试中带来约 3%~17% 的速度提升。

Mano-P：让 Mac 长出「手」

Mano-P 是明略科技的 GUI-VLA 智能体模型，通过纯视觉理解让 AI 直接看懂屏幕并操作图形界面，不依赖 CDP 协议或 HTML 解析。

性能表现： - OSWorld 基准测试：Mano-P 1.0-72B 以 58.2% 成功率位列全球第一，领先第二名逾 13 个百分点 - WebRetriever Protocol I：以 41.7 分超越 Gemini 2.5 Pro Computer Use（40.9）和 Claude 4.5 Computer Use（31.3） - 端侧 4B 量化模型在 Apple M4 Pro 上实现 476 tokens/s prefill 和 76 tokens/s 解码，峰值内存仅 4.3GB

应用场景：在全自动编程流水线中，Mano-P 最直接的价值是替代人工完成 GUI 测试——Claude Code 写完代码，Mano-P 接手打开界面、点击验证、反馈结果，整个软件开发闭环不再需要人类介入。常规全自动编程流水线中 GUI 测试消耗的云端 token 占比超过 50%，Mano-P 端侧模型将这部分开销直接归零。

Cider + Mano-P = Private AI

两者叠加指向的是同一件事：Private AI——让 AI 真正属于使用它的人，而不是服务提供商。

  • Cider 解决「速度」问题：让端侧推理足够快，让本地运行成为一个真实的工程选项
  • Mano-P 解决「场景」问题：证明端侧 AI 可以在具体的高价值场景里真正可用

两者结合实现「数据零上云」：不调 API，不传截图，不花一分钱，成本可控、离线可用、数据完全自主。

深度分析

Apple Silicon + MLX 生态的战略转折点

Ollama 切换至 MLX 框架是一个标志性事件，它向整个开发者生态发出明确信号：Apple Silicon + MLX 正在成为本地 AI 推理的主流路线。Mac 开始从「连接云端的终端」变成「独立运行 AI 的工作站」。这一转变的核心驱动力是统一内存架构的天然优势——CPU 与 GPU 共享同一块物理内存，数据无需在不同存储池之间搬运。M5 芯片的 Neural Accelerator（通过 Metal 4 TensorOps API 调用）进一步巩固了这一方向。

Cider 的关键技术突破：补齐 MLX 的量化缺口

MLX 虽然为 Apple Silicon 优化，但其量化支持仅覆盖权重（W4A16/W8A16），计算过程中的激活值仍以 FP16 运行——这意味着苹果专门为 INT8 设计的 Neural Accelerator 硬件未被充分利用。Cider 填补了这一缺口，通过 W8A8/W4A8 激活量化让硬件潜能被更充分地激发。实测 1.8x 的单算子加速和 57-61% 的真实模型 prefill 加速，印证了"硬件已就绪，软件待补齐"这一判断。

端侧 GUI Agent 的生产力革命

Mano-P 的 58.2% OSWorld 基准成绩和端侧 4B 模型的 4.3GB 内存占用，表明端侧 GUI Agent 已到达可用临界点。最值得关注的是其在全自动编程流水线中的应用——GUI 测试通常是云端 token 消耗最大的环节（>50%），Mano-P 将这部分开销归零。这种"编码在云端，测试在本地"的混合架构，可能成为未来 AI 编程的主流范式。

硬件限制的现实：内存瓶颈与自动进化

Cider + Mano-P 组合并非无代价。在 16GB 内存设备上，W8A8 模式需同时保留原始权重与 INT8 权重，内存占用近似翻倍，可能引发换页抵消加速收益。官方建议 32GB+ 配置以发挥 Cider 优势。同时，明略科技提出的 Auto Agent Learning 方向（让本地小模型用自然语言持续更新参数）为端侧 AI 的长期演进提供了激动人心的前景——模型不再是静态的，而是能在用户设备上持续成长。

实践启示

  1. Apple Silicon Mac 已具备本地 AI 工作站的硬件基础：M5+ 芯片的统一内存架构和 Neural Accelerator 使得本地运行 4-8B 参数模型成为现实。开发者应优先考虑基于 MLX/Cider 的本地推理方案，而非默认将所有推理任务放在云端。

  2. Cider 的 W8A8 模式是端侧推理的首选配置：在 32GB+ 内存的 Mac 上，只需一行 convert_model(model) 即可获得 1.8x 加速，且精度损失极小（PPL 差距仅 0.03）。这是目前 MLX 生态中性价比最高的推理加速方案。

  3. 全自动编程流水线的"编码云端+测试本地"混合架构：利用 Claude Code 等在云端完成代码生成，Mano-P 在本地完成 GUI 验证，可显著降低 token 消耗并提升迭代速度。这种模式特别适合需要频繁 GUI 回归测试的 Web 应用开发。

  4. 关注硬件配置与加速方案的匹配：Cider 的 W8A8 模式在 16GB 内存设备上可能因内存换页抵消加速收益。选择推理加速方案前，应先评估设备内存余量——建议预留超出模型体积 4GB 以上的空间。

  5. Private AI 的落地路径已清晰：Cider（速度）+ Mano-P（场景）+ Auto Agent Learning（进化）构成了端到端的 Private AI 技术栈。对于关注数据隐私和离线能力的团队，这提供了一个可立即落地的参考架构。

相关实体

  • Claude Code GUI 自动化测试
  • Agent 模型本地部署实践
  • Apple Silicon MLX 推理优化
  • Private AI 本地推理架构

→ 原文存档

关联