核心内容摘要
从零搭建可过ISO/IEC 17025认证的Python缺陷检测系统：5大合规模块设计+审计日志自动生成（附CNAS评审要点对照表）
文章介绍使用Opik工具监控和评估RAG应用系统解决LLM应用性能不稳定问题。
涵盖Opik配置、LlamaIndex集成、RAG应用构建、数据集创建及评估指标定义等步骤。
通过Opik的追踪评估功能开发者可全面监控检索质量和生成效果识别幻觉问题优化系统性能确保大语言模型应用的可靠性和一致性解决RAG应用时而精准时而胡说八道的玄学表现。
随着LLM系统规模的扩大确保其性能保持稳当可靠成为真正的挑战。
因此构建可靠且高效的基于LLM的应用系统需要的不仅仅是部署一个模型还需要持续评估以确保质量和可观察性以便能够在部署后发现问题。
很多团队在兴奋地搭完 RAG 管道后却发现效果“玄学”同样一套数据和模型时而答得精准时而胡说八道线上用户反馈也忽好忽坏。
到底是检索质量不行还是生成阶段崩了抑或上下文过长导致注意力稀释配置Opik监控浏览器访问https://www.comet.com并创建一个账户。
完成后将进入Opik的监控面板在右侧“个人信息”找到API_KEY管理。
在当前工作目录创建一个.env文件,写入以下配置OPIK_API_KEYq4AFia9yxMN3qOYHGxxxxxx需要进行Opik配置import opik opik.configure(use_localFalse) #本地监控设置use_localTrue这段配置执行完成会在用户目录创建一个配置文件生成配置内容[opik] url_override https://www.comet.com/opik/api/ workspace xxxxx api_key q4AFia9yxMN3qOYHGnaxxxxx使用Opik进行RAG追踪
安装开发依赖使用pip安装Opik Python SDK开发包和LlamaIndex的集成模块pip install opik pip install llama-index
定义数据集准备一个用于评估的数据集数据集包含输入查询及其对应的预期输出。
能够衡量LLM应用程序在一致性、事实性等多个参数上的表现。
运行试验每个查询项都将通过RAG应用程序进行处理以生成相应。
在检索过程中必须先向向量数据库中检索一些上下文信息再生成相应使用预定义的评估指标把应用程序的输出与预期输出进行比较从而生成反馈分数。
此外还将比较预期上下文和减速到的上下文以评估检索流程。
追踪实验进展Opik将跟踪和监控试验在其仪表盘中记录每个数据集项的输出输出和分数以便于分析。
将LlamaIndex与Opik集成将LlamaIndex与Opik集成能够跟踪LlamaIndex操作例如文档分块和索引以生成查询和检索。
需要配置一个Opik回调处理程序回调程序充当LlamaIndex和Opik之间的桥梁实时记录所有操作。
从LlamaIndex和Opik开发包导入处理程序callbackManager、LlamaIndexCallBackHandlerfrom llama_index.core import Settings from llama_index.core.callbacks import CallbackManager from opik.integrations.llama_index import LlamaIndexCallbackHandler创建一个LlamaIndexCallBackHandler实例实例会
总结将所偶LlamaIndex所有操作记录到Opik。
最后使用LlamaIndexx的Setting来集成CallbackManager确保LlamaIndex执行的每个操作都会被跟踪。
Settings.callback_manager CallbackManager([opik_callback_handler])构建RAG应用程序使用LlamaIndex加载文档、构建索引并查询索引获得响应。
# Step 1: Load the documents documents SimpleDirectoryReader(./data/paul_graham).load_data() # Step 2: Create the index index VectorStoreIndex.from_documents(documents) # Step 3: Create a query engine query_engine index.as_query_engine() response query_engine.query(What did the author do growing up?) print(response)使用SimpleDirectoryReader读取下载目录中的所有文档。
文档加载完成后VectorStoreIndex遍创建了索引作为高校检索的基础。
索引将问文档内容映射到存储在内存中的向量空间。
索引准备就绪后即可创建一个查询引擎用于执行语义搜索并根据索引数据回答特定问题。
使用Opik进行RAG评估和跟踪创建数据集创建一个数据集来对其进行评估数据集包括一个问题、一个答案以及得出该答案的背景信息。
创建数据集项自定义字段使用Opik监控RAG应用from opik import track track def my_llm_application(input: str) - str: response query_engine.query(input) return str(response)使用track装饰器定义一个函数函数接收用户查询并提供一个字符串输出即RAG应用的输出。
这个函数可以是RAG、multimodal RAG、Agentic RAG等。
定义评估指标from opik.evaluation.metrics import ( Hallucination, AnswerRelevance, ContextPrecision, ContextRecall ) hallucination_metric Hallucination() answer_relevance_metric AnswerRelevance() context_precision_metric ContextPrecision() context_recall_metric ContextRecall()根据预期输出和应用程序给出的输出将获得LLM应用程序的反馈分数。
将所有内容整合到一起-数据集、评估任务、评分指标以及实验配置还制定了用作评估系统的模型该模型充当评判者监控RAG问答是如何工作的。
from opik.evaluation import evaluate evaluation evaluate( datasetdataset, taskevaluation_task, scoring_metrics[hallucination_metric, answer_relevance_metric, context_precision_metric, context_recall_metric], experiment_config{ model: MODEL } )由此得出评估结果另外还可以在Opik控制面板“实验”部分查看这些结果当出现幻觉时还可以查看更多细节以及生成特定分数的原因更多
使用方法请参考Opik官方使用文档。
如何系统的学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。
但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。
这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。
我在一线互联网企业工作十余年里指导过不少同行后辈。
帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。
但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
一直在更新更多的大模型学习和面试资料已经上传带到CSDN的官方了有需要的朋友可以扫描下方二维码免费领取【保证100%免费】
大模型风口已至月薪30K的AI岗正在批量诞生2025年大模型应用呈现爆发式增长根据工信部最新数据国内大模型相关岗位缺口达47万初级工程师平均薪资28K数据来源BOSS直聘报告70%企业存在能用模型不会调优的痛点真实案例某二本机械专业学员通过4个月系统学习成功拿到某AI医疗公司大模型优化岗offer薪资直接翻3倍
大模型 AI 学习和面试资料1️⃣ 提示词工程把ChatGPT从玩具变成生产工具2️⃣ RAG系统让大模型精准输出行业知识3️⃣ 智能体开发用AutoGPT打造24小时数字员工熬了三个大夜整理的《AI进化工具包》送你✔️ 大厂内部LLM落地手册含58个真实案例✔️ 提示词设计模板库覆盖12大应用场景✔️ 私藏学习路径图0基础到项目实战仅需90天第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。
大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-
5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。
快速开发一个完整的基于 agent 对话机器人。
掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。
为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。
到此为止大概2个月的时间。
你已经成为了一名“AI小子”。
那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。
硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。
天道酬勤你越努力就会成为越优秀的自己。
如果你能在15天内完成所有的任务那你堪称天才。
然而如果你能完成
% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。
这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】