核心内容摘要
144447ï¼
本文介绍如何使用 Ollama 在本地部署 Llama
1:8B 模型并通过 OpenWeb UI 和 Spring AI 来增强模型交互体验和简化 API 的调用过程。
OllamaOllama 是一个开源的大语言模型服务工具旨在简化大模型的本地部署和运行过程。
用户只需要输入一行命令如ollama run llama
1即可在本地硬件环境中部署和使用大语言模型。
Ollama 还提供了 REST API 接口下文中会介绍如何使用 Spring AI 集成 Ollama实现与大模型 API 接口的交互。
Ollama 支持下载 Llama、Gemma、qwen 和 glm4 等多种主流大语言模型和代码语言模型我们可以在 官网 查看 Ollama 支持的所有模型及其相关信息和使用命令。
本机运行 7B 参数量的模型至少需要 8GB 内存运行 13B 参数量的模型至少需要 16GB 内存运行 33B 参数量的模型至少需要 32GB 内存。
模型参数大小使用命令Llama
18B
7GBollama run llama
1Llama
170B40GBollama run llama
1:70bLlama
1405B231GBollama run llama
1:405bGemma 29B
5GBollama run gemma2Gemma 227B16GBollama run gemma2:27bqwen27B
4GBollama run qwen2qwen272B41GBollama run qwen2:72bglm49B
5GBollama run glm4下载访问 Ollama 官网选择操作系统然后点击 download 按钮进行下载。
操作系统要求 MacOS 11 和 Windows 10 及以上版本。
下载完成后的 Ollama 其实是一个命令行工具我们可以直接在终端中使用 Ollama。
执行ollama --help可查看 Ollama 提供的的命令部署 Llama
1在终端中执行命令ollama run llama
1即可下载 Llama
1:8B 模型。
模型下载完成后会自动启动大模型进入命令行交互模式直接输入指令就可以和模型进行对话了。
通过 Ollama我们轻松的实现了本地大模型的部署和命令行式的交互但是为了更好的使用大模型以及对大模型进行管理和配置等方面的需求就需要借助 Ollama 社区中一些强大的工具了其中代表性的工具之一是 OpenWeb UI之前称为 Ollama WebUI。
OpenWeb UIOpenWeb UI 是一个功能丰富且易于使用的大模型管理工具它为用户提供了一个直观的图形化界面以及广泛的功能和灵活的配置选项。
方便部署使用 Docker 实现简单快捷的部署。
用户友好的页面国际化多语言支持提供多种主题样式响应式设计模型参数、Prompt 等便捷配置。
功能丰富本地 RAG 支持Web 浏览功能可以在对话中访问网站语音交互等。
API 支持支持 OpenAI API 和其他兼容 API。
多模型支持支持同时管理和操作多个大语言模型。
下载部署 OpenWeb UI 需要使用 Docker 环境我本机的 Docker 版本是
24.
2。
OpenWeb UI 提供了集成 Ollama 的部署方式 因为 Ollama 已经下载到我本机上了所以只需要执行以下命令即可完成部署。
sh 代码解读 复制代码 docker run -d -p 3000:8080 --add-hosthost.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main容器启动成功后可以访问 3000 端口查看页面。
首次登陆需要先填写邮箱和密码注册账号。
登陆进来后可以看到OpenWeb UI 已经自动加载到了我们本地部署的 Llama
1 模型。
在模型编辑页面我们可以修改模型的配置参数和 Prompt 等信息并利用 Document 和 Tools 等工具来增强模型的能力和使用体验。
Spring AISpring AI 是 Spring 生态里人工智能方向的应用框架它提供了与各种大语言模型交互的高级抽象接口极大地简化了Java 人工智能应用程序的开发过程让 Java 开发者也能够开发 AI 应用。
接下来将详细介绍 Spring AI 的使用流程以及如何调用 Ollama 的 API 接口与我们本地的 Llama
1 进行交互。
集成 Ollama创建一个新的 Spring Boot 项目版本要求 Spring Boot 3 JDK 17。
引入 Spring AI Ollama 依赖。
xml 代码解读 复制代码 ?xml version
0 encodingUTF-8? project xmlnshttp://maven.apache.org/POM/
4.
0 xmlns:xsihttp://www.w
org/2001/XMLSchema-instance xsi:schemaLocationhttp://maven.apache.org/POM/
4.
0 https://maven.apache.org/xsd/maven-
4.
0.
xsd modelVersion
4.
0/modelVersion parent groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-parent/artifactId version
3.
1/version relativePath/ !-- lookup parent from repository -- /parent groupIdcom.cleaner/groupId artifactIdculture-ai/artifactId version
0.
1-SNAPSHOT/version nameCleaner-ai/name descriptionculture-ai/description properties java.version17/java.version spring-ai.version
1.
0-SNAPSHOT/spring-ai.version /properties dependencies !-- ollama -- dependency groupIdorg.springframework.ai/groupId artifactIdspring-ai-ollama-spring-boot-starter/artifactId /dependency dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-web/artifactId /dependency dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-test/artifactId scopetest/scope /dependency /dependencies dependencyManagement dependencies !-- spring ai -- dependency groupIdorg.springframework.ai/groupId artifactIdspring-ai-bom/artifactId version${spring-ai.version}/version typepom/type scopeimport/scope /dependency /dependencies /dependencyManagement build plugins plugin groupIdorg.springframework.boot/groupId artifactIdspring-boot-maven-plugin/artifactId /plugin /plugins /build repositories !-- spring ai -- repository idspring-milestones/id nameSpring Milestones/name urlhttps://repo.spring.io/milestone/url snapshots enabledfalse/enabled /snapshots /repository repository idspring-snapshots/id nameSpring Snapshots/name urlhttps://repo.spring.io/snapshot/url releases enabledfalse/enabled /releases /repository /repositories /project编写 application.yaml 配置文件添加 Ollama 的相关配置。
yaml 代码解读 复制代码 server: port: 8888 spring: application: name: Cleaner-AI ai: ollama: # ollama API Server 地址 base-url: http://localhost:11434 chat: enabled: true # 使用的模型名称 model: llama
1:8b options: temperature:
7编写接口。
java 代码解读 复制代码 package com.cleaner.ai.controller; import jakarta.annotation.Resource; import org.springframework.ai.chat.messages.UserMessage; import org.springframework.ai.chat.model.ChatResponse; import org.springframework.ai.chat.prompt.Prompt; import org.springframework.ai.ollama.OllamaChatModel; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RequestMapping; import org.springframework.web.bind.annotation.RequestParam; import org.springframework.web.bind.annotation.RestController; import reactor.core.publisher.Flux; RestController RequestMapping(/ollama) public class OllamaController { Resource private OllamaChatModel ollamaChatModel; /** * 流式对话 * * param message 用户指令 * return */ GetMapping(/streamChat) public FluxChatResponse generateStream(RequestParam(message) String message) { message 请使用中文简体回答 message; Prompt prompt new Prompt(new UserMessage(message)); return ollamaChatModel.stream(prompt); } /** * 普通对话 * param message 用户指令 * return */ GetMapping(/chat) public String generate(RequestParam(message) String message) { message 请使用中文简体回答 message; Prompt prompt new Prompt(new UserMessage(message)); ChatResponse chatResponse ollamaChatModel.call(prompt); String content chatResponse.getResult().getOutput().getContent(); System.out.println(content content); return chatResponse.toString(); } }调用接口可以看到 API 接口调用成功。
8B 模型生成的回答内容还是比较有限
总结本地部署的大模型可以脱离网络离线使用但是要达到实际使用的要求还需要对模型进行细致化的配置当然部署模型的参数量越大使用效果会更好但也要考虑本机电脑的配置限制。
对于学习了解大模型及其相关的技术知识而言在条件允许的情况下本机部署确实是一个不错的选择。
想入门 AI 大模型却找不到清晰方向备考大厂 AI 岗还在四处搜集零散资料别再浪费时间啦2026 年AI 大模型全套学习资料已整理完毕从学习路线到面试真题从工具教程到行业报告一站式覆盖你的所有需求现在全部免费分享扫码免费领取全部内容
学习必备100本大模型电子书26 份行业报告 600 套技术PPT帮你看透 AI 趋势想了解大模型的行业动态、商业落地案例大模型电子书这份资料帮你站在 “行业高度” 学 AI
100本大模型方向电子书
26 份行业研究报告覆盖多领域实践与趋势报告包含阿里、DeepSeek 等权威机构发布的核心内容涵盖职业趋势《AI 职业趋势报告》《中国 AI 人才粮仓模型解析》商业落地《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》领域细分《AGI 在金融领域的应用报告》《AI GC
实践案例集》行业监测《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。
600套技术大会 PPT听行业大咖讲实战PPT 整理自
年热门技术大会包含百度、腾讯、字节等企业的一线实践安全方向《端侧大模型的安全建设》《大模型驱动安全升级腾讯代码安全实践》产品与创新《大模型产品如何创新与创收》《AI 时代的新范式构建 AI 产品》多模态与 Agent《Step-Video 开源模型视频生成进展》《Agentic RAG 的现在与未来》工程落地《从原型到生产AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。
求职必看大厂 AI 岗面试 “弹药库”300 真题 107 道面经直接抱走想冲字节、腾讯、阿里、蔚来等大厂 AI 岗这份面试资料帮你提前 “押题”拒绝临场慌
107 道大厂面经覆盖 Prompt、RAG、大模型应用工程师等热门岗位面经整理自
年真实面试场景包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题每道题都附带思路解析
102 道 AI 大模型真题直击大模型核心考点针对大模型专属考题从概念到实践全面覆盖帮你理清底层逻辑
97 道 LLMs 真题聚焦大型语言模型高频问题专门拆解 LLMs 的核心痛点与解决方案比如让很多人头疼的 “复读机问题”
路线必明 AI 大模型学习路线图1 张图理清核心内容刚接触 AI 大模型不知道该从哪学起这份「AI大模型 学习路线图」直接帮你划重点不用再盲目摸索路线图涵盖 5 大核心板块从基础到进阶层层递进一步步带你从入门到进阶从理论到实战。
L1阶段:启航篇丨极速破界AI新时代L1阶段了解大模型的基础知识以及大模型在各个行业的应用和分析学习理解大模型的核心原理、
关键技术以及大模型应用场景。
L2阶段攻坚篇丨RAG开发实战工坊L2阶段AI大模型RAG应用开发工程主要学习RAG检索增强生成包括Naive RAG、Advanced-RAG以及RAG性能评估还有GraphRAG在内的多个RAG热门项目的分析。
L3阶段跃迁篇丨Agent智能体架构设计L3阶段大模型Agent应用架构进阶实现主要学习LangChain、 LIamaIndex框架也会学习到AutoGPT、 MetaGPT等多Agent系统打造Agent智能体。
L4阶段精进篇丨模型微调与私有化部署L4阶段大模型的微调和私有化部署更加深入的探讨Transformer架构学习大模型的微调技术利用DeepSpeed、Lamam Factory等工具快速进行模型微调并通过Ollama、vLLM等推理部署框架实现模型的快速部署。
L5阶段专题集丨特训篇 【录播课】