核心内容摘要
YSL水蜜桃86：十八岁的甜蜜，永不止步的唇间魔法
Ollama 本地部署 Deepseek R1 模型概念Ollama是在Github上的一个开源项目其项目定位是一个本地运行大模型的集成框架目前主要针对主流的LLaMA架构的开源大模型设计通过将模型权重、配置文件和必要数据封装进由Modelfile定义的包中从而实现大模型的下载、启动和本地运行的自动化部署及推理流程此外Ollama内置了一系列针对大模型运行和推理的优化策略目前作为一个非常热门的大模型托管平台基本主流的大模型应用开发框架如LangChain、AutoGen、Microsoft GraphRAG及热门项目AnythingLLM、OpenWebUI等高度集成。
Ollama官方地址https://ollama.com/Ollama Github开源地址https://github.com/ollama/ollamaOllama项目本地安装windows电脑直接点击ollama下载按钮就可以安装好一个命令行界面。
在这里我们不细讲我们主要是看任何在linux系统中安装ollama。
我们可以执行以下命令来对ollama进行安装curl -fsSL https://ollama.com/install.sh | sh这个过程会比较慢拉取的文件约2G左右如果安装过程中未出现任何错误信息通常情况下能够表明安装已成功。
可以通过执行以下命令来检查Ollama服务的运行状态systemctl status ollama我们可以使用以下命令来查看ollama的版本sudo ollama -vOllama部署DeepSeek我们可以使用以下命令下载DeepSeekollama run deepseek-r1:
5b此外我们可以使用ollama list 查看ollama的模型列表使用DeepSeek在Ollama的机制中使用run命令时系统会首先检查本地是否已经存在指定的模型如果本地没有找到该模型Ollama会自动执行ollama pull model_name命令从远程仓库下载该模型下载完成后将模型存储为GGUF格式供后续使用。
最后当成功下载后Ollama会继续执行run命令启动模型并进行推理或生成任务。
这里要重点说明两点其一是DeepSeek R1作为推理模型其返回结果是包含的里面包含的是思考推理的内容其二也会存在中为空这其实是因为DeepSeek-R1系列模型倾向于绕过思维模式即输出” \ n \ n ”,因此一个使用的技巧是每个输出的开头强制模型以 “\n” 开头。
此问题我们在代码环节在给大家讲解实现的方式多GPU部署级Server启动如果想加载多张显卡且做到负载均衡可以去修改ollama的SystemD配置服务首先找到当前服务器上GPU的ID执行命令如下nvidia-smi如果想加载多张显卡且做到负载均衡可以去修改ollama的SystemD配置服务执行如下代码systemctl edit ollama.service编辑并填写如下内容EnvironmentCUDA_VISIBLE_DEVICES0,1,2,3 # 这里根据你自己实际的 GPU标号来进行修改 EnvironmentOLLAMA_SCHED_SPREAD1 # 这个参数是做负载均衡保存退出后重新加载systemd并重新启动Ollama服务使其配置生效执行如下命令systemctl daemon-reload systemctl restart ollamaOllama Rest Api 服务启动及其调用fromopenaiimportOpenAI clientOpenAI(base_urlhttp://localhost:11434/v1/,api_keyollama,# 这里随便写但是api_key字段一定要有)chat_completionclient.chat.completions.create(modeldeepseek-r1:
5b,# 这里要修改成 你 ollama 启动模型的名称messages[{role:user,content:你好请你介绍一下你自己,}],)print(chat_completion)这里需要注意的一点是如果Ollama启动和执行调用的代码是同一台机器上述代码是可以的跑通的。
比如Ollama服务在云服务器、局域网的服务器上等情况则无法通过http://localhost:11434/v1/来进行访问因为网络不通。
正如上述的报错我的Ollama模型服务是在局域网的服务器上因此我需要修改Ollama REST API的请求地址操作方法如下修改ollama的SystemD配置服务执行如下代码systemctl edit ollama.service编辑并填写如下内容EnvironmentOLLAMA_HOST
0.
0.
011434保存退出后重新加载systemd并重新启动Ollama服务使其配置生效执行如下命令systemctl daemon-reload systemctl restart ollamaollama基本命令命令描述serve启动 Ollama 服务create从 Modelfile 创建一个模型show显示模型的信息run运行一个模型stop停止正在运行的模型pull从注册表中拉取一个模型push将一个模型推送到注册表list列出所有模型ps列出正在运行的模型cp复制一个模型rm删除一个模型help显示关于任何命令的帮助信息通过上述关于Ollama的安装、模型下载及启动推理的介绍和实践我们可以感受到Ollama极大地简化了大模型部署的过程也降低了大模型在使用上的技术门槛。
然而对大部分用户而言命令行界面并不够友好。
正如我们之前提到的在大模型的应用开发框架下使用到的往往是其API调用形式为此Ollama也是可以集成多个开源项目包括Web界面、桌面应用和终端工具等方式提升使用体验并满足满足不同用户的偏好和需求。
我们可以感受到Ollama极大地简化了大模型部署的过程也降低了大模型在使用上的技术门槛。
然而对大部分用户而言命令行界面并不够友好。
正如我们之前提到的在大模型的应用开发框架下使用到的往往是其API调用形式为此Ollama也是可以集成多个开源项目包括Web界面、桌面应用和终端工具等方式提升使用体验并满足满足不同用户的偏好和需求。