核心内容摘要
Qwen3-ForcedAligner-0.6B模型结构详解：从理论到实践
本期先不谈AI底层原理直接上手用AI。
说说如何在本地部署大模型操作步骤很简单草履虫都会的那种。
以下是本文的目录:
安装Ollama
下载大模型
管理大模型关于本地部署大模型瓦特本地部署大模型用电脑和手机APP就可以直接云端调用最强大模型最大尺寸大模型性能最强如DeepSeek-r1:671B为啥还要费劲在本地部署阉割版大模型由于个人机器显存有限只能部署小尺寸大模型模型性能普通如Deepseek-r1:
5B让人难以理解。
其实本地部署大模型可能有以下场景**
对于公司**包括科研机构及涉密单位团队私有数据是非常重要且不能泄漏的不方便联网上传内部文本资料,又需要利用大模型辅助科研。
对于个人您告诉大模型你的职业习惯喜好经历价值观甚至问了些令人羞耻的问题时肯定希望这些信息保存在个人本地的硬件上而不是交给互联网巨头保存在互联网联想下平时我们是怎么被打骚扰电话的别人又是怎么获取的您的号码。
一句话
总结就是AI平权您要问我对本地部署大模型的态度我的答案是沙壁云端大模型那么好用还要什么个人隐私。
但这并不妨碍我水这篇推文介绍如何本地部署大模型。
01 本地下载安装Ollama
什么是Ollama?Ollama 是一个开源框架专为在本地机器上便捷部署和运行大语言模型LLM而设计。
核心功能是本地模型管理、高效推理、多接口访问、环境变量配置等
如何下载Ollama?登陆官网https://ollama.com即可根据个人电脑系统下载ollama。
图片来源https://ollama.com安装完成后Windows系统的盆友记得点击右下角任务栏的ollama图标选择“设置-模型下载地址”修改模型下载地址未非系统盘C盘默认模型文件下载在C盘否则系统盘会被填满电脑变卡。
MacOS系统的盆友不用修改因为只有一个盘。
图片来源桌面截图
验证Ollama是否安装成功启动系统终端执行“ollama -v”命令如果返回ollama版本号则安装成功Windos用户终端调用快捷键WinR打开运行输入cmd即可启动终端图片来源桌面截图至此ollama安装成功。
02 本地下载大模型
选择模型安装好Ollama后返回Ollama官网点击models按钮即可跳转至模型下载界面无需注册和登录。
图片来源https://ollama.com选择较火的DeepSeek-r1模型发现有8种模型尺寸可供下载模型尺寸越大性能越强所需要的内存也就越大我滴妈deepseek-r1:671b内存占用竟然有惊人的404G很多人的电脑硬盘也才500G。
图片来源https://ollama.com要下载哪种尺寸的模型非常有讲究具体判断依据是您电脑显卡的显存大小Windows用户按下快捷键CtrlShiftEsc打开任务管理器-选择【性能】-点击左侧【GPU】可见如“NVIDIA GeForce RTX 3060 显存: 12GB”。
在《AI笔记02》中我已经演示过一次如何根据模型尺寸计算显存需求这里不再计算。
这里直接说结论deepseek-r1:
5b的模型一般电脑都能完美运行7b或8b显存大的盆友可以尝试14b以上的模型就不建议下载了会把电脑累坏开个玩笑会报错无法运行。
图片来源百度图片
下载模型复制官网下载命令“ollama run deepseek-r1”将命令修改为指定的模型尺寸如“ollama run deepseek-r1:
5b”。
启动终端执行命令即可本地下载等待下载完成即可。
图片来源https://ollama.com桌面截图下载完成后我问了模型一个非常羞耻的问题谁是这个世界上最帅的男人它竟然不会这也是小尺寸模型的问题能力没那么强时不时会抽风。
图片来源终端截图其他大模型的配置方式均与上述相同感兴趣的盆友可以多多下载试用看看哪个模型最智障。
03 管理本地大模型管理本地大模型可以通过终端执行以下命令还有更多命令可自行探索命令单词用空格分隔
查看本地所有模型ollama list
显示模型信息ollama show deepseek-r1:
5b
删除****大模型ollama rm deepseek-r1:
5b
退出当前模型control z以上是在终端下载管理大模型方法实际本地部署大模型除了在终端运行外也可以像在线使用deepseek一样有个简洁美观的UI交互界面需要自行安装Web UI这里就不介绍了感兴趣的盆友可以摸索一下。
图片来源https://www.deepseek.com想入门 AI 大模型却找不到清晰方向备考大厂 AI 岗还在四处搜集零散资料别再浪费时间啦2025 年AI 大模型全套学习资料已整理完毕从学习路线到面试真题从工具教程到行业报告一站式覆盖你的所有需求现在全部免费分享扫码免费领取全部内容
学习必备100本大模型电子书26 份行业报告 600 套技术PPT帮你看透 AI 趋势想了解大模型的行业动态、商业落地案例大模型电子书这份资料帮你站在 “行业高度” 学 AI
100本大模型方向电子书
26 份行业研究报告覆盖多领域实践与趋势报告包含阿里、DeepSeek 等权威机构发布的核心内容涵盖职业趋势《AI 职业趋势报告》《中国 AI 人才粮仓模型解析》商业落地《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》领域细分《AGI 在金融领域的应用报告》《AI GC
实践案例集》行业监测《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。
600套技术大会 PPT听行业大咖讲实战PPT 整理自
年热门技术大会包含百度、腾讯、字节等企业的一线实践安全方向《端侧大模型的安全建设》《大模型驱动安全升级腾讯代码安全实践》产品与创新《大模型产品如何创新与创收》《AI 时代的新范式构建 AI 产品》多模态与 Agent《Step-Video 开源模型视频生成进展》《Agentic RAG 的现在与未来》工程落地《从原型到生产AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。
求职必看大厂 AI 岗面试 “弹药库”300 真题 107 道面经直接抱走想冲字节、腾讯、阿里、蔚来等大厂 AI 岗这份面试资料帮你提前 “押题”拒绝临场慌
107 道大厂面经覆盖 Prompt、RAG、大模型应用工程师等热门岗位面经整理自
年真实面试场景包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题每道题都附带思路解析
102 道 AI 大模型真题直击大模型核心考点针对大模型专属考题从概念到实践全面覆盖帮你理清底层逻辑
97 道 LLMs 真题聚焦大型语言模型高频问题专门拆解 LLMs 的核心痛点与解决方案比如让很多人头疼的 “复读机问题”
路线必明 AI 大模型学习路线图1 张图理清核心内容刚接触 AI 大模型不知道该从哪学起这份「AI大模型 学习路线图」直接帮你划重点不用再盲目摸索路线图涵盖 5 大核心板块从基础到进阶层层递进一步步带你从入门到进阶从理论到实战。
L1阶段:启航篇丨极速破界AI新时代L1阶段了解大模型的基础知识以及大模型在各个行业的应用和分析学习理解大模型的核心原理、
关键技术以及大模型应用场景。
L2阶段攻坚篇丨RAG开发实战工坊L2阶段AI大模型RAG应用开发工程主要学习RAG检索增强生成包括Naive RAG、Advanced-RAG以及RAG性能评估还有GraphRAG在内的多个RAG热门项目的分析。
L3阶段跃迁篇丨Agent智能体架构设计L3阶段大模型Agent应用架构进阶实现主要学习LangChain、 LIamaIndex框架也会学习到AutoGPT、 MetaGPT等多Agent系统打造Agent智能体。
L4阶段精进篇丨模型微调与私有化部署L4阶段大模型的微调和私有化部署更加深入的探讨Transformer架构学习大模型的微调技术利用DeepSpeed、Lamam Factory等工具快速进行模型微调并通过Ollama、vLLM等推理部署框架实现模型的快速部署。
L5阶段专题集丨特训篇 【录播课】