下载

到官网下载安装包：
https://github.com/ollama/ollama/releases

将下载好的tar包上传到linux服务器指定路径上，例如 /opt

安装

解压安装包

cd /opt

tar -xzf ollama-linux-amd64.tgz

解压后ollama路径为 /opt/ollama

设置环境变量

在系统环境变量中加入ollama路径

修改 ~/.bashrc 文件，执行下面命令：

vim ~/.bashrc

在最下面加上如下指令

export PATH="/opt/ollama/bin:$PATH"

输入 :wq 保存退出

使环境变量生效

执行如下指令使其生效

source ~/.bashrc

创建服务文件

vim /etc/systemd/system/ollama.service

在文件中输入如下内容

Description=Ollama Service
After=network-online.target
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
# ollama执行文件路径
ExecStart="/opt/ollama/bin/ollama" serve
User=root
Group=root
Restart=always
RestartSec=3
[Install]
WantedBy=default.target

启动ollama服务命令

# 重启
systemctl daemon-reload
# 开机运行
systemctl enable ollama
# 启动服务
systemctl start ollama

验证ollama服务启动

获取版本号

ollama -v

执行结果如下，说明成功：

下载模型

git-lfs安装

Git 不支持直接下载大文件，会报错、卡住、失败，所以必须安装 git-lfs 插件

LFS = Large File Storage（大文件存储）

执行如下指令

#下载lfs安装包
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash

# git-lfs 安装
apt-get install git-lfs
git lfs install

创建大模型目录

mkdir -p /opt/models

cd /opt/models

下载Qwen大模型

下载Qwen3-0.6B-GGUF大模型
复制git指令，在任意路径下执行如下指令（本例中路径为 /opt/models）。

git clone 大模型的git地址

手动下载deepseek轻量大模型

下载地址：
Hugging Face（官方）
https://huggingface.co/bartowski/DeepSeek-R1-Distill-Qwen-1.5B-GGUF/resolve/main/DeepSeek-R1-Distill-Qwen-1.5B-Q4_K_M.gguf

国内镜像（魔搭 ModelScope，更快）
https://www.modelscope.cn/models/bartowski/DeepSeek-R1-Distill-Qwen-1.5B-GGUF/resolve/main/DeepSeek-R1-Distill-Qwen-1.5B-Q4_K_M.gguf

下载后将模型移动到下面目录：

/opt/models

模型部署Qwen3

进入 /opt/models 目录：

cd /opt/models

创建配置文件

在下载模型的根目录下，创建 ModelFile，名称类似 Qwen3_0_6B-Q8_0.mf，执行下面命令：

vim Qwen3_0_6B-Q8_0.mf

按 i 健

复制粘贴模型启动信息，如下：

# FROM PATH/TO/MODEL
FROM ./Qwen3_0_6B-Q8_0.gguf

# set the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 0.7
PARAMETER top_p 0.8
PARAMETER repeat_penalty 1.05
PARAMETER top_k 20

TEMPLATE """{{ if .Messages }}
{{- if or .System .Tools }}<|im_start|>system
{{ .System }}
{{- if .Tools }}

# Tools

You are provided with function signatures within <tools></tools> XML tags:
<tools>{{- range .Tools }}
{"type": "function", "function": {{ .Function }}}{{- end }}
</tools>

For each function call, return a json object with function name and arguments within <tool_call></tool_call> XML tags:
<tool_call>
{"name": <function-name>, "arguments": <args-json-object>}
</tool_call>
{{- end }}<|im_end|>
{{ end }}
{{- range $i, $_ := .Messages }}
{{- $last := eq (len (slice $.Messages $i)) 1 -}}
{{- if eq .Role "user" }}<|im_start|>user
{{ .Content }}<|im_end|>
{{ else if eq .Role "assistant" }}<|im_start|>assistant
{{ if .Content }}{{ .Content }}
{{- else if .ToolCalls }}<tool_call>
{{ range .ToolCalls }}{"name": "{{ .Function.Name }}", "arguments": {{ .Function.Arguments }}}
{{ end }}</tool_call>
{{- end }}{{ if not $last }}<|im_end|>
{{ end }}
{{- else if eq .Role "tool" }}<|im_start|>user
<tool_response>
{{ .Content }}
</tool_response><|im_end|>
{{ end }}
{{- if and (ne .Role "assistant") $last }}<|im_start|>assistant
{{ end }}
{{- end }}
{{- else }}
{{- if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
{{ end }}{{ .Response }}{{ if .Response }}<|im_end|>{{ end }}"""

# set the system message
SYSTEM """You are Qwen, created by Alibaba Cloud. You are a helpful assistant."""

加载与运行模型

#加载模型
ollama create Qwen3-0.6B-Q8_0 -f Qwen3_0_6B-Q8_0.mf

运行模型

完成本地推理

#运行模型
ollama run Qwen3-0.6B-Q8_0

在控制台中问问题，如：

你可以干什么？

模型部署 deepseek 轻量模型