核心内容摘要
91隐私：数字时代的隐形守护者，你的数据安全有多重要？
大模型简介大语言模型LLMLarge Language Model也称大型语言模型是一种旨在理解和生成人类语言的人工智能模型。
我将他理解为一种黑盒模型他可以输入人类语言输出人类语言黑盒里面是什么呢是一种大型神经网络。
yw1x1w2x2w3x3byw_1x_1w_2x_2w_3x_3byw1x1w2x2w3x3bw
w
w3w_
w_
w_3w1、w2、w3是权重x
x
x3x_
x_
x_3x1、x2、x3是输入只有当yyy大于某个值的时候才会输出【出去玩】这个结论这是一个简单的神经网络的例子。
对我们学生来说可能“考完试了”这个占的权重是
8 我们更可能考完试就出去玩。
当然这只是一个简单的神经网络这里面的权重数字例如刚刚说到的
8 是我们手动设置的事实上你可以统计你出去玩的所有因素数据化最后可以得到一个线性回归的方程这里面的权重符合你自己的情况。
python import networkx as nx import matplotlib.pyplot as plt # 创建一个空的有向图 G nx.DiGraph() # 添加节点 layers [10, 10, 13, 12,8,13,5,7,8,10,6,1] for i in range(len(layers)): for j in range(layers[i]): G.add_node((i, j)) # 添加边 for i in range(len(layers) -
: for j in range(layers[i]): for k in range(layers[i 1]): G.add_edge((i, j), (i 1, k)) # 绘制图 pos {} for node in G.nodes: pos[node] node nx.draw(G, pos, with_labelsFalse, node_colorwhite,edgecolorsblack) # 显示图 plt.show()但如此大型的神经网络的构建是很复杂的而大模型大型语言模型里面构建了成千上万个更复杂的各种各样的神经元。
科学家用人类所有的语言数据作为输入训练得到一个权重这个权重放在黑盒中我们再输入一些问题黑盒就会返回一些回答。
私以为现在学术界、市场上的各种大模型他们的差异只在两点神经元构建方式不同训练数据不同神经元构建的不同但都旨在模拟人类大脑好比不同画家临摹一幅画画家各不同但画出来的画如果画家合格那应该没有什么大差别。
而花画得画画石得石。
大模型应用开发是这样的科学家只要训练模型就行了而我们开发者要思考的就多了。
科学家已经为黑盒模型提供了调用接口我们只要像以往调用 api 一样开发即可。
LangChainLangChain旨在帮助开发者们快速构建基于大型语言模型的端到端应用程序或工作流程人生苦短我用 Python LangChain 库可以帮助我们快速开发大模型应用。
RAG检索增强生成RAG, Retrieval-Augmented Generation他的诞生是为了解决两点大模型输入窗口的token有限大模型幻觉问题以我在科大讯飞实习的经历来看23年暑假我在数字员工部门实习当时我们部门做 RPA 大模型这是一个拿了中国信通院的大模型优秀应用案例的项目。
环境配置环境配置较为简单具体来说你需要一台服务器或者自己的电脑也行。
我这里使用了阿里云的学生服务器免费我还有另外一台腾讯云的但我在那里部署了我的博客。
另外azure 的学生服务器也可以使用。
现在云服务也很便宜。
我第一次接触云服务器是高二寒假那时疫情在家上网课无意中接触到的。
你已经使用 vscode 连接上了远程服务器。
可参考VSCode 连接远程服务器配置 git生成ssh keybash ssh-keygen -t rsa -C youremailexample.com将公钥添加到 githubbash cat ~/.ssh/id_rsa.pub复制输出内容复制输出内容打开 github点击右上角头像选择 settings - SSH and GPG keys - New SSH key将复制的内容粘贴到 key 中点击 Add SSH key配置 conda安装bash mkdir -p ~/miniconda3 wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_
sh -O ~/miniconda3/miniconda.sh bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3 rm -rf ~/miniconda3/miniconda.sh初始化bash ~/miniconda3/bin/conda init bash ~/miniconda3/bin/conda init zsh检查bash conda --version新建一个终端此命令会输出conda版本新建虚拟环境bash conda create -n llm-universe python
10激活虚拟环境bash conda activate llm-universe克隆仓库bash git clone gitgithub.com:datawhalechina/llm-universe.git配置仓库bash cd llm-universe pip install -r requirements.txt下载 NLTK 相关资源我们在使用开源词向量模型构建开源词向量的时候需要用到第三方库 nltk 的一些资源。
正常情况下其会自动从互联网上下载但可能由于网络原因会导致下载中断。
当我们使用 nltk 时就会报错。
此处我们从国内仓库镜像地址下载相关资源。
bash cd /root git clone https://gitee.com/yzy0612/nltk_data.git --branch gh-pages cd nltk_data mv packages/* ./ cd tokenizers apt install unzip -y unzip punkt.zip cd ../taggers unzip averaged_perceptron_tagger.zip
配置 jupterlab 的内核服务器为刚刚创建的llm 当你打开一个 ipynb 文件点击右上角选择内核选择 Python 解释器再选择 llm-universe 环境想入门 AI 大模型却找不到清晰方向备考大厂 AI 岗还在四处搜集零散资料别再浪费时间啦2025 年AI 大模型全套学习资料已整理完毕从学习路线到面试真题从工具教程到行业报告一站式覆盖你的所有需求现在全部免费分享扫码免费领取全部内容
学习必备100本大模型电子书26 份行业报告 600 套技术PPT帮你看透 AI 趋势想了解大模型的行业动态、商业落地案例大模型电子书这份资料帮你站在 “行业高度” 学 AI
100本大模型方向电子书
26 份行业研究报告覆盖多领域实践与趋势报告包含阿里、DeepSeek 等权威机构发布的核心内容涵盖职业趋势《AI 职业趋势报告》《中国 AI 人才粮仓模型解析》商业落地《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》领域细分《AGI 在金融领域的应用报告》《AI GC
实践案例集》行业监测《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。
600套技术大会 PPT听行业大咖讲实战PPT 整理自
年热门技术大会包含百度、腾讯、字节等企业的一线实践安全方向《端侧大模型的安全建设》《大模型驱动安全升级腾讯代码安全实践》产品与创新《大模型产品如何创新与创收》《AI 时代的新范式构建 AI 产品》多模态与 Agent《Step-Video 开源模型视频生成进展》《Agentic RAG 的现在与未来》工程落地《从原型到生产AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。
求职必看大厂 AI 岗面试 “弹药库”300 真题 107 道面经直接抱走想冲字节、腾讯、阿里、蔚来等大厂 AI 岗这份面试资料帮你提前 “押题”拒绝临场慌
107 道大厂面经覆盖 Prompt、RAG、大模型应用工程师等热门岗位面经整理自
年真实面试场景包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题每道题都附带思路解析
102 道 AI 大模型真题直击大模型核心考点针对大模型专属考题从概念到实践全面覆盖帮你理清底层逻辑
97 道 LLMs 真题聚焦大型语言模型高频问题专门拆解 LLMs 的核心痛点与解决方案比如让很多人头疼的 “复读机问题”
路线必明 AI 大模型学习路线图1 张图理清核心内容刚接触 AI 大模型不知道该从哪学起这份「AI大模型 学习路线图」直接帮你划重点不用再盲目摸索路线图涵盖 5 大核心板块从基础到进阶层层递进一步步带你从入门到进阶从理论到实战。
L1阶段:启航篇丨极速破界AI新时代L1阶段了解大模型的基础知识以及大模型在各个行业的应用和分析学习理解大模型的核心原理、
关键技术以及大模型应用场景。
L2阶段攻坚篇丨RAG开发实战工坊L2阶段AI大模型RAG应用开发工程主要学习RAG检索增强生成包括Naive RAG、Advanced-RAG以及RAG性能评估还有GraphRAG在内的多个RAG热门项目的分析。
L3阶段跃迁篇丨Agent智能体架构设计L3阶段大模型Agent应用架构进阶实现主要学习LangChain、 LIamaIndex框架也会学习到AutoGPT、 MetaGPT等多Agent系统打造Agent智能体。
L4阶段精进篇丨模型微调与私有化部署L4阶段大模型的微调和私有化部署更加深入的探讨Transformer架构学习大模型的微调技术利用DeepSpeed、Lamam Factory等工具快速进行模型微调并通过Ollama、vLLM等推理部署框架实现模型的快速部署。
L5阶段专题集丨特训篇 【录播课】