核心内容摘要
ERNIE-4.5-0.3B-PT零基础教程：5分钟用vllm+chainlit搭建对话机器人
你是否也有这样的桌面为了方便找材料全部放到了桌面最后结果就是“用起一时爽找起火葬场”图片来源于网络你是否也是盘即个人电脑磁使再怎么不够用也舍不得删除几年前做的运维方案、架构方案、设计方案文档最后即使文档都保存了存云盘了到用的时候依旧发现找不到找的也不是想要的。
|大模型知识库来袭现在不用再担心了找不到材料文档了GitHub开源了一款可离线支持检索增强生成(RAG)大模型的知识库项目。
虽然开源时间不长但是势头很猛已经斩获25K Star。
具备以下特点* 项目利用 langchain 思想实现的基于本地知识库的问答应用目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案 * 项目支持的开源 LLM 与 Embedding 模型本项目可实现全部使用开源模型离线私有部署。
与此同时本项目也支持 OpenAI GPT API 的调用并将在后续持续扩充对各类模型及模型 API 的接入 * 项目方案采用Apache License可以免费商用无需付费。
总结下重点就是支持中文可私有化部署免费商用支持中文可私有化部署免费商用支持中文可私有化部署免费商用重要的事情说三遍********项目名称Langchain-Chatchat项目地址https://github.com/chatchat-space/Langchain-Chatchat 原理介绍视频点击可看视频从文档处理角度来看实现流程如下技术路线图Langchain 应用基础React形式的Agent实现包括调用计算器等Langchain 自带的Agent实现和调用智能调用不同的数据库和联网知识Bing 搜索DuckDuckGo 搜索Metaphor 搜索接入非结构化文档结构化数据接入分词及召回.txt, .rtf, .epub, .srt.eml, .msg.html, .xml, .toml, .mhtml.json, .jsonl.md, .rst.docx, .doc, .pptx, .ppt, .odt.enex.pdf.jpg, .jpeg, .png, .bmp.py, .ipynb.csv, .tsv.xlsx, .xls, .xlsd接入不同类型 TextSplitter优化依据中文标点符号设计的 ChineseTextSplitter本地数据接入搜索引擎接入Agent 实现LLM 模型接入支持通过调用 FastChat api 调用 llm支持 ChatGLM API 等 LLM API 的接入支持 Langchain 框架支持的LLM API 接入Embedding 模型接入支持调用 HuggingFace 中各开源 Emebdding 模型支持 OpenAI Embedding API 等 Embedding API 的接入支持 智谱AI、百度千帆、千问、MiniMax 等在线 Embedding API 的接入基于 FastAPI 的 API 方式调用Web UI基于 Streamlit 的 Web UI**|**大模型知识库来袭Docker 部署一行代码搞定但是建议网速不好的同学不要尝试docker run -d --gpus all -p 80:8501 registry.cn-beijing.aliyuncs.com/chatchat/chatchat:
0.
7常规模式本地部署方案
环境配置# 首先确信你的机器安装了 Python
8 -
10 版本$ python --versionPython
3.
13 # 如果低于这个版本可使用conda安装环境$ conda create -p /your_path/env_name python
8 # 激活环境$ source activate /your_path/env_name # 或conda安装不指定路径, 注意以下都将/your_path/env_name替换为env_name$ conda create -n env_name python
8$ conda activate env_name # Activate the environment # 更新py库$ pip3 install --upgrade pip # 关闭环境$ source deactivate /your_path/env_name # 删除环境$ conda env remove -p /your_path/env_name接着开始安装项目的依赖# 拉取仓库$ git clone --recursive https://github.com/chatchat-space/Langchain-Chatchat.git # 进入目录$ cd Langchain-Chatchat # 安装全部依赖$ pip install -r requirements.txt # 默认依赖包括基本运行环境FAISS向量库。
以下是可选依赖- 如果要使用 milvus/pg_vector 等向量库请将 requirements.txt 中相应依赖取消注释再安装。
- 如果要开启 OCR GPU 加速请安装 rapidocr_paddle[gpu]- 如果要使用在线 API 模型请安装对用的 SDK此外为方便用户 API 与 webui 分离运行可单独根据运行需求安装依赖包。
如果只需运行 API可执行$ pip install -r requirements_api.txt # 默认依赖包括基本运行环境FAISS向量库。
如果要使用 milvus/pg_vector 等向量库请将 requirements.txt 中相应依赖取消注释再安装。
如果只需运行 WebUI可执行$ pip install -r requirements_webui.txt
模型下载如需在本地或离线环境下运行本项目需要首先将项目所需的模型下载至本地通常开源 LLM 与 Embedding 模型可以从 HuggingFace 下载。
以本项目中默认使用的 LLM 模型 THUDM/ChatGLM
B 与 Embedding 模型 BAAI/bge-large-zh 为例下载模型需要先安装 Git LFS 然后运行$ git lfs install$ git clone https://huggingface.co/THUDM/chatglm
b$ git clone https://huggingface.co/BAAI/bge-large-zh
初始化知识库和配置文件按照下列方式初始化自己的知识库和简单的复制配置文件$ python copy_config_example.py$ python init_database.py --recreate-vs
一键启动按照以下命令启动项目$ python startup.py -a最轻模式本地部署方案该模式的配置方式与常规模式相同但无需安装 torch 等重依赖通过在线API实现 LLM 和 Ebeddings 相关功能适合没有显卡的电脑使用。
$ pip install -r requirements_lite.txt$ python startup.py -a --liteDemo示例Web UI 对话界面Web UI 知识库管理页面想入门 AI 大模型却找不到清晰方向备考大厂 AI 岗还在四处搜集零散资料别再浪费时间啦2026 年AI 大模型全套学习资料已整理完毕从学习路线到面试真题从工具教程到行业报告一站式覆盖你的所有需求现在全部免费分享扫码免费领取全部内容
学习必备100本大模型电子书26 份行业报告 600 套技术PPT帮你看透 AI 趋势想了解大模型的行业动态、商业落地案例大模型电子书这份资料帮你站在 “行业高度” 学 AI
100本大模型方向电子书
26 份行业研究报告覆盖多领域实践与趋势报告包含阿里、DeepSeek 等权威机构发布的核心内容涵盖职业趋势《AI 职业趋势报告》《中国 AI 人才粮仓模型解析》商业落地《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》领域细分《AGI 在金融领域的应用报告》《AI GC
实践案例集》行业监测《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。
600套技术大会 PPT听行业大咖讲实战PPT 整理自
年热门技术大会包含百度、腾讯、字节等企业的一线实践安全方向《端侧大模型的安全建设》《大模型驱动安全升级腾讯代码安全实践》产品与创新《大模型产品如何创新与创收》《AI 时代的新范式构建 AI 产品》多模态与 Agent《Step-Video 开源模型视频生成进展》《Agentic RAG 的现在与未来》工程落地《从原型到生产AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。
求职必看大厂 AI 岗面试 “弹药库”300 真题 107 道面经直接抱走想冲字节、腾讯、阿里、蔚来等大厂 AI 岗这份面试资料帮你提前 “押题”拒绝临场慌
107 道大厂面经覆盖 Prompt、RAG、大模型应用工程师等热门岗位面经整理自
年真实面试场景包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题每道题都附带思路解析
102 道 AI 大模型真题直击大模型核心考点针对大模型专属考题从概念到实践全面覆盖帮你理清底层逻辑
97 道 LLMs 真题聚焦大型语言模型高频问题专门拆解 LLMs 的核心痛点与解决方案比如让很多人头疼的 “复读机问题”
路线必明 AI 大模型学习路线图1 张图理清核心内容刚接触 AI 大模型不知道该从哪学起这份「AI大模型 学习路线图」直接帮你划重点不用再盲目摸索路线图涵盖 5 大核心板块从基础到进阶层层递进一步步带你从入门到进阶从理论到实战。
L1阶段:启航篇丨极速破界AI新时代L1阶段了解大模型的基础知识以及大模型在各个行业的应用和分析学习理解大模型的核心原理、
关键技术以及大模型应用场景。
L2阶段攻坚篇丨RAG开发实战工坊L2阶段AI大模型RAG应用开发工程主要学习RAG检索增强生成包括Naive RAG、Advanced-RAG以及RAG性能评估还有GraphRAG在内的多个RAG热门项目的分析。
L3阶段跃迁篇丨Agent智能体架构设计L3阶段大模型Agent应用架构进阶实现主要学习LangChain、 LIamaIndex框架也会学习到AutoGPT、 MetaGPT等多Agent系统打造Agent智能体。
L4阶段精进篇丨模型微调与私有化部署L4阶段大模型的微调和私有化部署更加深入的探讨Transformer架构学习大模型的微调技术利用DeepSpeed、Lamam Factory等工具快速进行模型微调并通过Ollama、vLLM等推理部署框架实现模型的快速部署。
L5阶段专题集丨特训篇 【录播课】