核心内容摘要
5G时代，精彩生活，尽在掌握
自从DeepSeek-R1火出圈以来很多个人和公司开始尝试本地化部署以解决原来一些内部资料安全和隐私问题我们也尝试在本地进行相关部署以验证本地知识库是否可行最终达到以下目的所有知识库内容不通过公网流转用户可以通过和智能助手聊天的方式来了解各种内部知识在不增加太多的成本下实现技术原理前置概念了解大模型系统推理模型Embedding 模型Rerank 模型语音转文字模型本地模型调度OllamavLLM流程编排Dify知识库RAG硬件及环境准备主机配置必备软件说明
192.
168.
1
1显卡支持CUDA的显卡均可显存根据模型大小选择推荐大小48G显存 CPU不限 内存大于8G 注如果没有足够大的显存ollama会使用内存和CPU进行模型调度但速度非常慢-用于安装Ollama
192.
168.
1
2CPU4核 内存大于16GDockerGit用于安装Dify模型选择模型作用qwq用于推理deepseek-r1:32b用于推理备选bge-m3用于处理知识库嵌入向量qwen
5:14b用于分词开始本地部署安装 OllamaOllama可以很好的管理和调度本地大模型安装也相对简单官网下载地址Download Ollama on macOS 根据操作系统选择合适的安装即可安装完成后需配置几个环境变量OLLAMA_HOST设置为
0.
0.
0表示所有主机都可以访问当非本机访问时需要设置OLLAMA_KEEP_ALIVE表示模型在显存中保存的时间设置为24h表示保留24小时OLLAMA_MAX_LOADED_MODELS同时加载模型最大数量大于这个数量最早加载的模型会被卸载OLLAMA_MODELS模型文件保存目录windows默认在C盘建议指定一个速度快的磁盘因模型文件很大需要有足够的空间Ollama安装完成后可以开始下载模型可到官网进行模型选择Ollama Search使用以下命令下载模型ollama pull deepseek-r1:32b模型文件非常大下载时需要保持网络畅通模型文件下载完成后使用以下命令进行使用测试ollama run deepseek-r1:32b如果成功运行就可以进行对话了需要下载以下模型qwqbge-m3qwen
5:14b安装 Dify如果只有Ollama无法很好的进行日常使用还需要上层的工具来进行管理这里就用到了Dify官网介绍Dify 是一款开源的大语言模型(LLM) 应用开发平台。
它融合了后端即服务Backend as Service和 LLMOps 的理念使开发者可以快速搭建生产级的生成式 AI 应用。
即使你是非技术人员也能参与到 AI 应用的定义和数据运营过程中。
由于 Dify 内置了构建 LLM 应用所需的
关键技术栈包括对数百个模型的支持、直观的 Prompt 编排界面、高质量的 RAG 引擎、稳健的 Agent 框架、灵活的流程编排并同时提供了一套易用的界面和 API。
这为开发者节省了许多重复造轮子的时间使其可以专注在创新和业务需求上。
目前Dify社区版的主要安装方式是使用Docker Compose详情可参考官网Docker Compose 部署 - Dify Docs克隆 Dify 源代码git clone https://github.com/langgenius/dify.git进入 Dify 源代码的 Docker 目录并复制示例配置文件cd dify/docker cp .env.example .env启动Difydocker compose up -d第一次需要从网络上拉取很多内容所以速度比较慢需耐心等待观察所有容器的状态没有错误表示启动完成类似这样[] Running 11/11 ✔ Network docker_ssrf_proxy_network Created
1s ✔ Network docker_default Created
0s ✔ Container docker-redis-1 Started
4s ✔ Container docker-ssrf_proxy-1 Started
8s ✔ Container docker-sandbox-1 Started
7s ✔ Container docker-web-1 Started
7s ✔ Container docker-weaviate-1 Started
4s ✔ Container docker-db-1 Started
7s ✔ Container docker-api-1 Started
5s ✔ Container docker-worker-1 Started
4s ✔ Container docker-nginx-1 Started
1s启动完成后即可访问这台主机http://
192.
168.
1
2第一次访问会提示创建管理员用户输入需要的用户名和密码完成配置想入门 AI 大模型却找不到清晰方向备考大厂 AI 岗还在四处搜集零散资料别再浪费时间啦2026 年AI 大模型全套学习资料已整理完毕从学习路线到面试真题从工具教程到行业报告一站式覆盖你的所有需求现在全部免费分享扫码免费领取全部内容
学习必备100本大模型电子书26 份行业报告 600 套技术PPT帮你看透 AI 趋势想了解大模型的行业动态、商业落地案例大模型电子书这份资料帮你站在 “行业高度” 学 AI
100本大模型方向电子书
26 份行业研究报告覆盖多领域实践与趋势报告包含阿里、DeepSeek 等权威机构发布的核心内容涵盖职业趋势《AI 职业趋势报告》《中国 AI 人才粮仓模型解析》商业落地《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》领域细分《AGI 在金融领域的应用报告》《AI GC
实践案例集》行业监测《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。
600套技术大会 PPT听行业大咖讲实战PPT 整理自
年热门技术大会包含百度、腾讯、字节等企业的一线实践安全方向《端侧大模型的安全建设》《大模型驱动安全升级腾讯代码安全实践》产品与创新《大模型产品如何创新与创收》《AI 时代的新范式构建 AI 产品》多模态与 Agent《Step-Video 开源模型视频生成进展》《Agentic RAG 的现在与未来》工程落地《从原型到生产AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。
求职必看大厂 AI 岗面试 “弹药库”300 真题 107 道面经直接抱走想冲字节、腾讯、阿里、蔚来等大厂 AI 岗这份面试资料帮你提前 “押题”拒绝临场慌
107 道大厂面经覆盖 Prompt、RAG、大模型应用工程师等热门岗位面经整理自
年真实面试场景包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题每道题都附带思路解析
102 道 AI 大模型真题直击大模型核心考点针对大模型专属考题从概念到实践全面覆盖帮你理清底层逻辑
97 道 LLMs 真题聚焦大型语言模型高频问题专门拆解 LLMs 的核心痛点与解决方案比如让很多人头疼的 “复读机问题”
路线必明 AI 大模型学习路线图1 张图理清核心内容刚接触 AI 大模型不知道该从哪学起这份「AI大模型 学习路线图」直接帮你划重点不用再盲目摸索路线图涵盖 5 大核心板块从基础到进阶层层递进一步步带你从入门到进阶从理论到实战。
L1阶段:启航篇丨极速破界AI新时代L1阶段了解大模型的基础知识以及大模型在各个行业的应用和分析学习理解大模型的核心原理、
关键技术以及大模型应用场景。
L2阶段攻坚篇丨RAG开发实战工坊L2阶段AI大模型RAG应用开发工程主要学习RAG检索增强生成包括Naive RAG、Advanced-RAG以及RAG性能评估还有GraphRAG在内的多个RAG热门项目的分析。
L3阶段跃迁篇丨Agent智能体架构设计L3阶段大模型Agent应用架构进阶实现主要学习LangChain、 LIamaIndex框架也会学习到AutoGPT、 MetaGPT等多Agent系统打造Agent智能体。
L4阶段精进篇丨模型微调与私有化部署L4阶段大模型的微调和私有化部署更加深入的探讨Transformer架构学习大模型的微调技术利用DeepSpeed、Lamam Factory等工具快速进行模型微调并通过Ollama、vLLM等推理部署框架实现模型的快速部署。
L5阶段专题集丨特训篇 【录播课】