核心内容摘要
纲手17775;35558
本文详细介绍了使用Ollama工具在Mac和Windows系统上本地部署大模型的完整教程无需编程基础即可操作。
文章解释了本地部署的优势隐私保护、断网可用、不触发屏蔽词等提供了两种部署方式的详细步骤比较了本地与云端部署的适用场景并列举了本地大模型在文案优化、文本处理、学习辅助等方面的实用价值是小白入门大模型部署的必学指南。
本期目录全是干货
新手做本地部署之前一定要看
部署本地大模型教程MacWin含常用指令整理
本地部署 VS 云端部署普通人怎么选
部署本地大模型能做什么Part.01新手做本地部署之前一定要看为什么要部署本地大模型开源大模型虽然公开了源代码但如果要拉到自己电脑里跑起来往往需要复杂的环境配置而通过本地部署你可以拥有① 完全属于自己的大模型② 不会触发各种屏蔽词③ 断网也可以用④ 不用担心你的文稿、论文、数据被上传泄露其实你并不需要特别懂代码也不一定非得是数据工程师也不用阅读冗长的技术文档。
今天我们就用一篇教程把部署大模型本地这件事讲得简单易操作让你从0开始也能把一个可用的大模型跑在自己的电脑上。
只要你提前做好以下几点就可以顺利进行啦
保证你的网络稳定性
按教程复制命令时一定要完整复制
本地模型很强但不要太贪多
立即开始【必看】① 在下方步骤演示中安装思路是一样的。
Mac和Windows有操作不同的界面大头会用颜色和字母来帮大家区分哈。
②如果没有界面操作对比图说明该步骤页面长得差不多大家直接往下进行即可~●M代表Mac系统●W代表Windows系统Part.02部署本地大模型保姆级教程
关键工具Ollama羊驼为了让新手也可以轻松部署模型有一家公司做出了一个非常好用的工具——Ollama。
你可以把它理解为一个专门用来装大模型的盒子。
只要模型开源了一般都能在ollama上下载并本地运行。
下载安装 Ollama羊驼1打开浏览器访问https://ollama.commacOS还是Windows根据你的电脑系统来选。
2进入页面后点击「Download」下载速度取决于你的网速耐心等待一会~3下载成功后点击这个“文件夹”图标打开它。
MW4在Mac上的「应用程序」里找到「Ollama.dmg」安装包双击它。
在Windows系统中点击「install」来安装可以直接进入到第8步。
Windows安装可以直接选默认路径MW5Mac安装会多一步即把左边这个可爱的羊驼用鼠标向右拖到蓝色文件里。
6你的Mac「应用程序」里就会多了一个安装好的Ollama软件双击它。
7Mac系统可能会向你提问选择「打开」。
如果没有该窗口可以继续往下走8打开Ollama后界面长这个样子都差不多哈MW
两种部署模型的方式方式一用软件界面直接下载模型1点击对话框右边写有「gemma3:4b」的按键我们会看到一列长长的清单这些是已经开源的大模型。
比如我们能看到deepseek千问GPT等等。
这些大模型旁边出现的“云朵”标记代表这些大模型还没有下载到电脑上。
可以鼠标上下滑动选一个2b或4b大小的模型下载试试看点击箭头即可。
MW2如果你此前完全没有注册过也可以点击页面出现的「Sign In」完成注册。
3如果你已注册过直接登录即可如果没有点击页面最下方的「注册」。
4注册流程选择你的常用邮箱设置密码直到完成注册后看到下方的页面就表示成功完成。
5Ollama会自动识别到你的电脑你会看到你的电脑名称、密码然后选择「Connect」连接它。
6接下来进入Ollama对话页面点一下模型就能直接开始对话。
7你会发现得到回答的速度真的非常非常非常快一定要自己来体验方式二下载更多模型使用命令行对话有时候你想安装的模型在Ollama的对话界面里没有找到可以再次进入Ollama官方首页下载更多、更全的新模型~1进入官网https://ollama.com 点击左上角的「Models」。
2进入模型页之后页面下方会提供多个版本的大模型文件有2B、7B、14B 等不同大小。
3以下载「qwen3-vl」为例我们点击选择该模型进入如下页面4继续下滑页面找到Models有不同大小的版本可以下载可按需选择。
如果你只是想体验一下可以下载个最小的2B版本试试。
操作为复制该版本的命令行5复制上面的命令行之后需要打开系统的命令行应用程序Mac方法为点开Mac桌面导航栏的「聚焦搜索」图标为放大镜 → 在搜索栏输入「终端」两个字选择下方的图标打开它。
Windows方法为在Windows的搜索放大镜图标中输入「cmd」选择「命令提示符」双击打开。
6看到下图就进入了命令行环境两个系统界面大差不大使用逻辑都是一样的MW7接着要确认我们的Ollama是打开的在Mac系统桌面上方导航栏能看到小羊驼的标识就可以在Windows系统要保持Ollama窗口是打开的哈。
8把刚刚复制的命令行复制CtrlC到终端对话框中点击「回车」开始下载模型。
MW9下载中的界面长这样我们能看到进度条需要等一等。
MW10看到如下界面出现「success」和「」就代表大模型下载完成了MW11这时候我们可以用命令行的方式和大模型对话在「」后面输入你的指令比如“请介绍一下你自己”。
Mac和Window两个系统操作一样12Qwen的回答同样特别特别快还会显示思考过程一定要去试试
常用指令整理1查看已安装的所有模型指令为【ollama list】【回车】MW如①处所示发送指令后在②处就可以查看已经有的大模型列表。
2运行指定模型指令为【ollama run】【空格】【模型名称】【回车】具体操作在①处输入「ollama run 」单击空格复制②处列表其中的一个模型全称粘贴到③处点击「回车」就可以运行该大模型了。
MW想要进行对话可以在「 」后面输入指令再点回车。
可以看到思考过程和回答3卸载某个模型Mac和Windows操作相同下方就不放对比图拉指令为【ollama rm】【空格】【模型名称】具体操作在①处输入「ollama rm 」空格复制②处列表其中的一个模型全称粘贴到③处点击「回车」就可以删除该大模型了。
看到出现「deleted 」后跟着模型的名称就代表已经成功删除这些指令的操作非常干净相当于模型被装在这个盒子里后就像一个一个的文件夹删了就是删了~Part.03本地部署 VS 云端部署普通人应该怎么选到底是本地部署更好还是云端部署更好只要抓住两点你要用什么模型、你要在哪个场景用
本地部署核心特点完全属于你不依赖网络速度快响应稳定。
尤其是你的电脑配置越高体验就越好。
适合人群① 在意你的信息隐私性比如你正在写论文、你在处理关键的核心数据等② 电脑还不错~③ 想随时随地使用大模型不希望受网络限制希望这个大模型是完全属于自己的AI助手。
云端部署核心特点云端部署虽然不是今天这篇的重点但是大头后续也会推出相关的教程请大家一定要关注呀① 轻运行、轻设备、高性能。
低成本跑高性能模型的一种方式。
② 不占用电脑资源你只需要有网络就能用云端调用算力。
③ 跨设备可用电脑、平板、手机都可以访问不受到什么硬件限制。
适合人群① 电脑配置低② 想体验更大更强的模型③ 需要多人协作或者多设备访问④ 想用低成本获得更高算力综合下来对于普通人来说最具有性价比的方案就是先本地部署解决隐私、断网不可用、屏蔽词的问题。
再结合云端获得更高性能的支持。
Part.04部署本地大模型能做什么大家完成本地部署后一定也很想知道自己可以用它做什么。
大头帮你列一个清单普通工作学习场景中能用到的需求基本都可以涵盖了。
文案优化改写论文、润色文稿、优化报告、整理笔记、提炼重点
深度文本处理文本
总结、关键信息抽取、文本结构化、反向提问、资料阅读理解
没网也随便用继续写稿、优化简历、解释专业术语、策划方案、解决专业概念AI大模型从0到精通全套学习大礼包我在一线互联网企业工作十余年里指导过不少同行后辈。
帮助很多人得到了学习和成长。
只要你是真心想学AI大模型我这份资料就可以无偿共享给你学习。
大模型行业确实也需要更多的有志之士加入进来我也真心希望帮助大家学好这门技术如果日后有什么学习上的问题欢迎找我交流有技术上面的问题我是很愿意去帮助大家的如果你也想通过学大模型技术去帮助就业和转行可以扫描下方链接大模型重磅福利入门进阶全套104G学习资源包免费分享
从入门到精通的全套视频教程包含提示词工程、RAG、Agent等技术点
AI大模型学习路线图还有视频解说全过程AI大模型学习路线
学习电子书籍和技术文档市面上的大模型书籍确实太多了这些是我精选出来的
大模型面试题目详解
这些资料真的有用吗?这份资料由我和鲁为民博士共同整理鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利同时还斩获了吴文俊人工智能科学技术奖。
目前我正在和鲁博士共同进行人工智能的研究。
所有的视频由智泊AI老师录制且资料与智泊AI共享相互补充。
这份学习大礼包应该算是现在最全面的大模型学习资料了。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。
智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念通过动态追踪大模型开发、数据标注伦理等前沿技术趋势构建起前沿课程智能实训精准就业的高效培养体系。
课堂上不光教理论还带着学员做了十多个真实项目。
学员要亲自上手搞数据清洗、模型调优这些硬核操作把课本知识变成真本事如果说你是以下人群中的其中一类都可以来智泊AI学习人工智能找到高薪工作一次小小的“投资”换来的是终身受益应届毕业生无工作经验但想要系统学习AI大模型技术期待通过实战项目掌握核心技术。
零基础转型非技术背景但关注AI应用场景计划通过低代码工具实现“AI行业”跨界。
业务赋能 突破瓶颈传统开发者Java/前端等学习Transformer架构与LangChain框架向AI全栈工程师转型。
获取方式有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】