本文将提供以下教程:使用Ollama在本地电脑快速安装部署Gemma大模型,无门槛,无需懂技术,一键部署Gemma模型。
电脑配置要求说明:运行7B模型需要显卡至少有8G显存,运行13B模型需要16G显存。
Gemma本地部署教程
1、下载Ollama客户端
Ollama是一个轻量级的框架,用于在本地电脑上部署和运行大语言模型,当然也包括最新的Gemma模型。Ollama可以自动下载、安装、配置和管理Gemma模型,让您无需担心底层的基础设施和运维。Ollama还提供了多种语言和框架的客户端库,让您可以方便地在您的代码中调用Gemma模型的功能。
Ollama客户端下载地址:https://ollama.com/download ,支持系统:macOS、Linux、Windows。
2、安装Ollama客户端
下载到本地以后双击安装包,然后根据提示完成软件安装。最后启动该软件。
3、安装Gemma模型并运行
打开系统自带的命令行软件,执行下面命令行会自动安装并运行Gemma模型。
ollama run gemma
常见错误解决
1、运行时报下面错误,library:
后面为乱码。
Error: Unable to load dynamic library: Unable to load dynamic server library: �Ҳ���ָ����ģ
报错原因:Windows C盘的用户目录名为中文导致的,需要改为英文方可解决此问题。(补充:新版ollama已修复此问题)
解决办法:参考这个知乎教程修改即可 (注意:修改前请先做好系统备份和系统还原点,以防遇到系统崩溃时可以快速还原)
温馨提醒:本人使用上面教程修改C盘用户,结果失败了,建议各位也不要再尝试更改C盘用户名这种方法了(微软官方社区也说了一经创建后不再支持修改;毕竟存在很多注册表依赖的问题)。(建议直接新建一个英文名的用户,然后登录该用户来运行Ollama就可以了,这种方法更加稳定和安全。两个用户可以同时登录,互不影响。)
其他
视频教程:Ollama本地运行Gemma | Google最新开放模型本地化(除了在命令行中使用以外,该教程还介绍了如何部署网页版直接在浏览器中使用)
评论