termux本地部署ollama与gemma,让你的手机离线跑ai
1、安装termux https://github.com/termux/termux-app/releases 下载arm64版本安装 [图片] 2、设置存储权限与换软件源 在termux里输入termux-setup-storage回车,然后再y确定回车,接着会有弹窗请求存储权限,点允许就行 [图片] 输入termux-change-repo回车进入切换软件源的窗口,上下左右移动光标,空格是选中,回车是确定。这里我选的是阿里云的软件源。 [图片] [图片] 3、用proot-distro 安装debi
2024-05-22 01:56:26
如何在手机上使用ai
1、安装termux
https://github.com/termux/termux-app/releases
下载arm64版本安装
2、设置存储权限与换软件源
在termux里输入termux-setup-storage回车,然后再y确定回车,接着会有弹窗请求存储权限,点允许就行
输入termux-change-repo回车进入切换软件源的窗口,上下左右移动光标,空格是选中,回车是确定。这里我选的是阿里云的软件源。
3、用proot-distro 安装debian
先执行pkg install proot-distro 安装这个包
再proot-distro install debian 在termux里安装debian
之所以在termux里安装debian那是因为没有手机root权限,用debian可以模拟root
4、安装ollama
ollama是一个运行ai模型的软件,类似于chat4all
执行proot-distro login debian 进入debian
再执行这条命令安装ollama
curl -fsSL https://ollama.com/install.sh | sh
4、用ollama运行gemma:2b
跑完进度执行一下 ollama -v就可以看到ollama版本号
这里会发现它提示连接不上ollama服务
先执行ollama serve启动服务
然后在termux左上角往右划,左下角有个新建窗口
在新建的窗口里输入proot-distro login debian
然后输入ollama run gemma:2b 等进度条跑完下载就行了,记得冒号是英文的不是中文
左划上面那排按键可以切换到输入框里输入中文
到这里手机本地部署gemma就结束了,你也可以跑脸书母公司meta推出的llama2模型
只要把命令替换成ollama run llama2:2b就行了
如果后面不跟:2b的话默认就是7b的模型,对手机性能要求比较高
投诉或建议