· 1 分钟

在安卓、苹果手机上运行3B及以下AI LLM大语言模型APP

PocketAI是一个可以在移动设备上离线本地运行小型语言模型的软件,软件内可以直接下载Meta、阿里等3B及以下的语言模型,同时支持本地导入其他语言模型。

目前软件内提供:

  • Gemma

  • Danube

  • Phi

  • Qwen

  • Llama

实测iPhone 12 Pro Max可以运行,但随着对话条数增多响应明显卡顿,未卸载语言模型切换后台任务直接卡死无响应。8G 运行内存M2芯片的iPad可以流畅运行且不需要卸载模型即可随意切换后台任务。

安卓版下载 (https://github.com/a-ghorbani/PocketPal-feedback)

苹果版下载 (https://apps.apple.com/us/app/pocketpal-ai/id6502579498)

返回文章列表