志鸢
Published on 2024-05-22 / 175 Visits
0
0

termux本地部署ollama与gemma,让你的手机离线跑ai


  • termux本地部署ollama与gemma,让你的手机离线跑ai

  • https://www.bilibili.com/read/cv32453978/?jump_opus=1

  • 1、安装termux https://github.com/termux/termux-app/releases 下载arm64版本安装 [图片] 2、设置存储权限与换软件源 在termux里输入termux-setup-storage回车,然后再y确定回车,接着会有弹窗请求存储权限,点允许就行 [图片] 输入termux-change-repo回车进入切换软件源的窗口,上下左右移动光标,空格是选中,回车是确定。这里我选的是阿里云的软件源。 [图片] [图片] 3、用proot-distro 安装debi

  • 2024-05-22 01:56:26


如何在手机上使用ai

1、安装termux

https://github.com/termux/termux-app/releases

下载arm64版本安装

read-normal-img

2、设置存储权限与换软件源

在termux里输入termux-setup-storage回车,然后再y确定回车,接着会有弹窗请求存储权限,点允许就行

read-normal-img

输入termux-change-repo回车进入切换软件源的窗口,上下左右移动光标,空格是选中,回车是确定。这里我选的是阿里云的软件源。

read-normal-img

read-normal-img

3、用proot-distro 安装debian

先执行pkg install proot-distro 安装这个包

再proot-distro install debian 在termux里安装debian

read-normal-img

之所以在termux里安装debian那是因为没有手机root权限,用debian可以模拟root

4、安装ollama

ollama是一个运行ai模型的软件,类似于chat4all

执行proot-distro login debian 进入debian

再执行这条命令安装ollama

curl -fsSL https://ollama.com/install.sh | sh

4、用ollama运行gemma:2b

跑完进度执行一下 ollama -v就可以看到ollama版本号

read-normal-img

这里会发现它提示连接不上ollama服务

先执行ollama serve启动服务

然后在termux左上角往右划,左下角有个新建窗口

read-normal-img

在新建的窗口里输入proot-distro login debian

然后输入ollama run gemma:2b 等进度条跑完下载就行了,记得冒号是英文的不是中文

左划上面那排按键可以切换到输入框里输入中文

read-normal-img

到这里手机本地部署gemma就结束了,你也可以跑脸书母公司meta推出的llama2模型

只要把命令替换成ollama run llama2:2b就行了

如果后面不跟:2b的话默认就是7b的模型,对手机性能要求比较高

投诉或建议


Comment