Kane
发布于 2024-11-18 / 4 阅读
0
0

Run LLM on M4 MAX 128 and Apple Intelligence

港版 HK Version M4 MAX 128G 到货,迁移老 Mac(Intel)的数据,开始各种折腾

1. Run Apple Intelligence

  • 必须使用 美区 Apple ID 登录 iCloud 和 App Store 才能启用,用大陆区账号登录没有加入 waitlist

  • 在 Setting join waitlist 大概 3 分钟就通过了,目前只支持英文

  • Siri 的搜索还是只能使用百度,还没研究到怎么修改成 Google,感觉根据地理位置来?

2. Ollama runs qwen2.5-coder: 32b on M4 MAX 128G without pressure

  • Ollama 的 Mac M 系列只能在本地 terminal 跑,本来想用 docker 跑的,好像还不支持

  • model 都下载到 ~/.ollama/models

  • 下了qwen2.5-coder: 32b 跑,输出的速度真 牛逼,一体内存占了 48%,推理时风扇终于响了(老 Mac 开个 vscode 都一直在响)

3. todo: 研究 vscode 的 continue 插件和 codeium 的Windsurf 对比


评论