ollama

用Ollama 对 Gemma3多模态27B版本做功能、性能测试 谷歌刚刚推出的开放权重LLM：Gemma 3。它有四种大小，10亿、40亿、120亿和270亿个参数，有基础（预训练）和指令调优版本。Gemma 3 MultiModel人如其名，支持多模式！40亿、12亿和270亿参数模型可以处理图像和文本，而1B变体仅处理文本。 今天咱来试试看。 一、硬件环境 租的AutoDL的GPU服务器做的测试 •软件环境 PyTorch 2.5.1、Python 3.12(ubuntu22.04)、Cuda 12.1 •硬件环境 ￮GPU：RTX 4090(24GB) * 2 ￮CPU：64 vCPU Intel(R) Xeon(R) Gold 6430 ￮内存：480G（至少需要382G） ￮硬盘：1.8T（实际使用需要380G左右） 二、虚拟环境及vllm安装 默认认为你已经安装好了conda，如果还没安装的话，先搜索一下conda安装 三、安装Day0 transformers Gemma3依赖一些Google新提供的transformers的接口，因此必须先更新一下transformers。 建议走一下github加速器：ghfast.top 四、模型下载 export HF_HOME=”/root/autodl-tmp/HF_download” setproxy.py代码： 执行 python setproxy.py 设置代理环境变量 然后再下载： 共16个G多一点。慢慢来。 五、模型运行 用ollama来运行gemma3 运行前请确保ollama服务已启动，若未启动的话，请在另一个命令行中先启动一下： ollama serve 若ollama后台服务已经启动，则可以开始加载运行gemma3了 […]