在 Mac mini 上运行本地 AI:小企业的私密方案
简短回答 可以,Mac mini 能在您的办公室里运行 AI 模型,不向外发送任何数据。按内存来买:16GB 能跑小模型,32GB 能跑中型模型,64GB(M5 Pro)留有余量。安装 Ollama 或 LM Studio,下载一次模型,之后就可以离线使用。请把它的输出当作需要核对的草稿,别指望达到云端模型的水平。
想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。
预约通话Mac mini 能为小企业运行 AI 吗?
能,用来起草、总结和整理文字都没问题。本地 AI 模型(即存放在您自己电脑上的大语言模型,简称 LLM)回答问题时,不会把您输入的内容发送到任何人的服务器。Ollama 自己的常见问题页面写道:
"Ollama runs locally. We don't see your prompts or data when you run locally." (Ollama docs: Local FAQ) 译文:“Ollama 在本地运行。您在本地运行时,我们看不到您的提示词或数据。”
决定 AI 好坏的是内存。模型工作时会整个加载到 Mac 的内存里(Apple 称之为统一内存)。在预算内尽量买大,因为内存以后无法加装。
| Mac mini(2026 年 11 月) | 内存 | 起售价 | 能轻松运行 |
|---|---|---|---|
| M6 | 16GB | US$899 / C$1,249 | 小模型,例如 Gemma 4 E4B(6.6–9.5GB) |
| M6 升级款 | 24GB 或 32GB | 更高(在 Apple 官网商店自选配置) | 中型模型,例如在 32GB 上运行 Gemma 4 26B(16–19GB)或 31B(19–20GB) |
| M5 Pro | 24GB 至 64GB | US$1,699 / C$2,399 | 中型模型,并有余量处理长文档或同时运行两个模型 |
价格取自 2026 年 11 月 16 日 Apple 美国和加拿大官网商店。内存范围取自 Apple 规格页面。模型大小取自 Ollama 模型库。
经验法则:模型文件必须能装进内存,并给 macOS 和其他应用留出几 GB。一个 20GB 的模型放在 24GB 的 Mac 上,只剩约 4GB,比较紧张。
为什么在本地运行 AI,而不用云端?
当数据不能离开您的办公场所,或者很多人都需要各买一个付费席位时,就在本地运行。隐私是最常见的原因,但要先看清您在和什么作比较。
| 本地 Mac mini | 个人版 ChatGPT(Free、Go、Plus、Pro) | ChatGPT Business | |
|---|---|---|---|
| 您输入的内容去向 | 留在 Mac 上 | OpenAI 的服务器 | OpenAI 的服务器 |
| 是否用于训练模型 | 否 | 是,除非您选择退出 | 否 |
| 费用 | 一次性硬件费用,加电费 | 免费或按月付费 | 按用户、按月付费 |
| 回答质量 | 模型较小;每个回答都要核对 | 大型云端模型 | 大型云端模型 |
| 能否离线使用 | 能,下载模型之后 | 否 | 否 |
OpenAI 的价格页面对 Free、Go、Plus 和 Pro 标注了“Content is used to train our models”(内容会用于训练我们的模型),并注明“Opt-out available”(可选择退出)。它的 Business 页面写道:“Your data is never used for training our models.”(您的数据绝不会用于训练我们的模型。)所以,如果您唯一担心的是训练问题,云端商业版可能就能解决。只有当规定是客户文件完全不能离开办公室时,本地方案才更胜一筹。
如果您处理病人记录,本地方案也不等于万事大吉。在把这类记录放进任何 AI 工具之前,请先阅读 ChatGPT 符合 HIPAA 吗?。
运行成本是多少?
很低。按 Apple 公布的功耗数据,M6 Mac mini(16GB、256GB)待机 4 瓦,最高 70 瓦;M5 Pro(64GB、8TB)待机 6 瓦,最高 145 瓦(Apple Support: Mac mini power consumption)。
真正的成本在别处:预先购买的内存、存放模型的硬盘空间(Ollama 的 macOS 文档提醒,模型“can be tens to hundreds of GB”(可能有几十到几百 GB)),以及您设置和核对结果所花的时间。
需要什么软件?
一个免费应用就够了。您不需要 PyTorch 这类编程框架,那是给开发模型的人用的。
| 应用 | 最适合 | 费用与条款 | 注意事项 |
|---|---|---|---|
| LM Studio | 想要像 ChatGPT 那样聊天窗口的老板 | 自 2025 年 7 月 8 日起“both at home and at work”(在家和工作中都)免费;条款允许“personal and / or internal business purposes”(个人和/或企业内部用途) | 仅限内部使用;不能用于您向客户出售的服务 |
| Ollama | 把 AI 接入您网络中的其他工具 | 免费应用;需要 macOS Sonoma(14)或更新版本 | 也提供云端模型,会把提示词发送到 Ollama 的服务器 |
LM Studio 的离线指南写道:“Nothing you enter into LM Studio when chatting with LLMs leaves your device.”(您在 LM Studio 中与 LLM 聊天时输入的任何内容都不会离开您的设备。)Ollama 的云端模型是个陷阱:一旦选用,您的提示词就会发出去。Ollama 的常见问题说明了关闭方法:在 ~/.ollama/server.json 中设置 "disable_ollama_cloud": true,或设置 OLLAMA_NO_CLOUD=1,然后重启。
如何在 Mac mini 上设置本地 AI?
大约一小时,用 LM Studio 不需要写代码。
- 按内存来买。 如果要粘贴长文档,买 32GB;16GB 只适合简短任务。
- 安装一个应用。 从 lmstudio.ai 安装 LM Studio,或把 Ollama 拖进“应用程序”文件夹。
- 联网时下载模型。 Gemma 4 适合先试:Google 以开放权重发布它,并表示允许“responsible commercial use”(负责任的商业使用)。它的许可证链接指向 Apache 2.0。在 Ollama 中输入
ollama run gemma4。 - 确认模型用的是图形芯片。 在 Ollama 中,
ollama ps会显示 Processor 一栏;在 Mac 上,您要看到的是“100% GPU”。 - 处理长文件时调大上下文窗口。 上下文窗口是模型一次能读取的文字量。Ollama 默认是 4,096 个 token(一个 token 是一个词或词的一部分)。用
OLLAMA_CONTEXT_LENGTH设置调大;窗口越大,占用的内存越多。 - 用真实工作测试。 给它上个月您做过的十项任务,把它的草稿和您当时发出的内容对比。
- 需要的话就离线。 LM Studio 表示它“can operate entirely offline”(可以完全离线运行)。搜索和下载模型以及更新应用仍需联网。
整个团队都能用吗?
能,在办公室网络内使用,但要小心。Ollama 默认只接受这台 Mac 自身的访问(地址 127.0.0.1,端口 11434)。要让其他电脑访问,它的常见问题说明要修改 OLLAMA_HOST 设置。只在办公室网络内开放。不要把这个端口开放到互联网:任何发现它的人都能用您的 AI。
网站上的客户聊天机器人也是同样道理。用办公室里的电脑为公众提供服务,就意味着把办公室网络暴露出去。托管工具通常更安全;请参阅 小企业的 AI 接待员。
本地 AI 擅长什么,不擅长什么?
| 适合 | 不适合 |
|---|---|
| 总结不能上传的合同、会议记录或客户邮件 | 模型训练日期之后的事实(除非您另外加上搜索功能,否则它无法上网搜索) |
| 起草邮件、帖子和服务页面文字的初稿 | 未经人工核对就发布的任何内容 |
| 把客户反馈按主题分类 | 必须全天候在线的公共聊天机器人 |
| 按您的品牌语气改写文字 | 大型云端模型的准确度比隐私更重要的任务 |
要为每项营销任务选择合适的模型,请参阅 AI 营销模型。内容发出前要检查什么,请参阅 AI 营销中的人工监督。
示例
以下为示意案例,数字均为虚构。
一家会计事务所(美元)
按事务所的规定,客户的税务信件不能上传到云端服务。一台 32GB 的 M6 Mac mini 在 LM Studio 中运行 Gemma 4 26B。员工粘贴信件,得到一份通俗的摘要再加以核对。成本:一次性购买 Mac,加上每年不到 $10 的电费(按每天 8 小时、每千瓦时 20 美分、平均功耗 15 瓦计算)。
温哥华附近的一家装修承包商(加元)
老板想用 AI 跟进报价。客户姓名并不敏感,且只有两个人会用。ChatGPT Business 比一台 C$1,249 的 Mac 加上设置时间更省事。这种情况下本地 AI 不值得。
一家有五名员工的律师事务所
他们在一台 64GB 的 M5 Pro 上设置 Ollama,关闭云端功能,只在办公室网络内共享。草稿在发出前仍由律师审阅。
常见问题
本地 AI 需要特殊电脑吗?
不需要。Ollama 也能在 Windows 和 Linux 上运行。在 Mac 上,图形芯片和其他部分共用同一块内存,所以您买的内存大小决定了能运行多大的模型。
本地 AI 需要联网吗?
只有下载应用和模型时需要。之后,LM Studio 和 Ollama 的本地模型都可以离线使用。
我能在 Mac mini 上训练自己的 AI 吗?
没必要。对大多数老板来说,把您的文档或示例粘贴到聊天中,模型就能了解您的情况,无需任何训练。
本地 AI 和 ChatGPT 一样好吗?
要看任务。最大的 Gemma 4 模型是 31B,在 Ollama 中下载约 19–20GB。正式依赖它之前,先用十项真实任务测试。
您的情况不同?
- 您处理病人记录:ChatGPT 符合 HIPAA 吗?。
- 您想知道哪种 AI 适合哪项营销工作:AI 营销模型。
- 您想让 AI 接电话或回复聊天:小企业的 AI 接待员。
- 您在收集客户数据以配合 AI 使用:AI 营销中的第一方数据。
- 您宁愿把营销工作交给别人做,而不是自己运行模型:SEO 与 GEO 智能体。