Strata 现已支持 macOS，还能运行更轻量的 Qwen3.6-35B-A3B 大模型了 - 小众软件

本文转自「小众软件」，内容为转载摘录，版权归原作者所有，已去除外部链接。

1. Strata 现已支持 macOS，还能运行更轻量的 Qwen3.6-35B-A3B 大模型了 （当前文章）
2. 8GB显存就够，Strata 让普通电脑也能运行千亿参数大模型

之前，小众软件介绍过 Strata，一款可以让家用普通显卡运行本地 AI 大模型的本地推理工具，此前主要是 125B 大小的 Qwen3.8-Flash-Next，激活参数 6B

最近 Strata 连续更新，不仅开始支持 Apple Silicon Mac，还新增了体积更小的 Qwen3.6-35B-A3B 模型。再次降低了硬件准入门槛。

目录

哪些显卡能用？

目前 Strata 支持 NVIDIA、AMD 显卡，同时也为 Intel Arc 和 Apple Silicon 提供了实验性支持。

| 显卡 | 支持情况 | |---|---| | NVIDIA RTX 20 系列 | 支持 | | NVIDIA RTX 30 系列 | 支持 | | NVIDIA RTX 40 系列 | 支持 | | NVIDIA RTX 50 系列 | 支持 | | AMD RX 6000 系列部分型号 | 支持 | | AMD RX 7000 系列部分型号 | 支持 | | AMD RX 9000 系列部分型号 | 支持 | | Intel Arc | 实验性支持 | | Apple Silicon M1～M5 | 实验性支持 |

官方建议使用至少 12GB 显存的 NVIDIA 或 AMD 显卡。更老的也不是不行，但…很卡那种。

另外，新增的 Qwen3.6-35B-A3B 目前仅支持 NVIDIA 和 AMD，不支持 Intel Arc 和 Mac 上的 Strata。

需要多大内存

Strata 把显卡的门槛降低了，但实际上需求还在，所以需要至少32GB内存才可以运行，青小蛙也是刚刚新增了8GB显存，才用了起来。

Strata 推荐至少使用 12GB 显存、32GB 系统内存。显存越大，能够缓存的模型参数越多，通常运行速度也越快。对于只有 12GB 显存的用户，推荐尝试 35B 模型的低量化版本。

根据 Strata 官方发布说明，两款模型不同量化版本需要的内存及性能对比：

| 模型 | 量化版本 | 内存需求或推荐配置 | 模型特点 | |---|---|---|---| | 35B-A3B | UD-Q4\_K\_XL | 32GB | 体积小，推荐入门 | | 35B-A3B | UD-Q6\_K\_XL | 44GB | 精度更高 | | 35B-A3B | Q8\_0 | 52GB | 精度最高，资源需求较大 | | Flash-Next | Q2\_0 | 48GB | 速度最快 | | Flash-Next | IQ2\_XS | 48GB | 官方推荐，速度与质量均衡 | | Flash-Next | IQ3\_XXS | 64GB | 质量更好，速度稍慢 | | Flash-Next | IQ3\_S | 64GB | 质量最好，运行较慢 | | Flash-Next | UD-IQ4\_XS | 96GB 及以上更合适 | 约 4-bit，更接近原始模型 |

Qwen3.6-35B-A3B 与 Flash-Next 性能对比

两款模型均采用 MoE（混合专家）架构，但参数规模存在较大差异。

| 对比 | Qwen3.6-35B-A3B | Qwen3.8-Flash-Next | |---|---|---| | 总参数量 | 约 35B | 125B | | 激活参数量 | 3B | 6B | | 模型规模 | 较小 | 较大 | | 复杂推理 | 相对较弱 | 更强 | | 编程能力 | 适合日常编程 | 更适合复杂任务 | | 系统资源占用 | 较低 | 较高 | | MTP 推测解码 | 支持 | 支持 |

尽管 35B 模型规模更小，它仍然具备较强的日常对话、文字处理和编程能力。

而且，Strata 为它提供了 MTP（多 Token 预测）加速。在官方使用 AMD Radeon AI PRO R9700 的测试中：

| 推理模式 | 生成速度 | |---|---| | 普通推理 | 83 tokens/s | | 开启 MTP 2 | 161 tokens/s |

开启 MTP 2 后，生成速度提高了约 94%。

Strata 现在也支持 Mac 了

从 Strata v0.1.44 版本开始， 加入原生 Metal 后端，支持 Apple Silicon M1～M5 芯片，要求 macOS 15 或更新版本。

目前属于实验性支持，需要在 Mac 上克隆代码后，运行 ./setup.sh，由安装程序从源码编译推理引擎。

现阶段 Mac 版本还有一些限制：只支持单个并发请求、官方仅验证了最高 32K 上下文，Qwen3.6-35B-A3B 暂未适配。

官方提供了两组值得参考的测试数据：

| 设备 | 模型 | 生成速度 | |---|---|---| | Mac mini M4，32GB | Flash-Next Q2\_0 | 8～14 tokens/s | | Mac M5 Max，128GB | Flash-Next IQ3\_S | 95～103 tokens/s |

依旧，最低档内存限制是 32GB

存储空间需求

最后，还需要准备不小的硬盘空间，用来存储模型文件本身：

| 模型 | 量化版本 | 模型大小 | 推荐系统内存 | |---|---|---|---| | Qwen3.6-35B-A3B | UD-Q4\_K\_XL | 22.4GB | 32GB | | 35B-A3B | UD-Q6\_K\_XL | 31.8GB | 44GB | | 35B-A3B | Q8\_0 | 36.9GB | 52GB | | Flash-Next 125B | Q2\_0 | 66.4GB | 48GB | | Flash-Next | IQ2\_XS | 68.0GB | 48GB | | Flash-Next | IQ3\_XXS | 75.8GB | 64GB | | Flash-Next | IQ3\_S | 83.6GB | 64GB | | Flash-Next | UD-IQ4\_XS | 93.7GB | 96GB |

青小蛙运行了 IQ2\_XS 量化版本，使用了大概100GB的 SSD 存储空间：

获取 & 安装

Strata 除了降低硬件门槛，也降低了使用门槛，你可以将安装交给 AI：

为我在这台 PC 上设置 Strata：https://github.com/Niko1221/Strata - 关注该存储库中的docs/AI_SETUP.md。

或者直接下载源码，然后运行：

• Windows: 双击 START-HERE.bat
• Linux / macOS: 运行 ./setup.sh

根据页面提示就行了，成功之后，会自动弹出浏览器，可以对话：

还可以把模型拿给其他应用使用：

快去试试吧，有问题可以来留言讨论。

不过，当运行成功之后，系统内存也消耗殆尽了，所以需要买更多的内存。

原文：