核心内容摘要
基因和蛋白书写规范
想象一下你现在是一家大型电商平台的AI架构师。
双十一期间你的智能客服系统每天要处理千万级的用户咨询。
每个问题都要调用昂贵的GPT-API响应慢、成本高用户投诉飙升……这时候你会怎么做我们会发现一个奇怪的现象——每天有30%的问题是完全相同的用户都在问快递几天能到、怎么退货、商品有保修吗……每个问题都要调用GPT-4每次花费
03美元一天就是数万美元更糟的是相同的回答用户要等
秒才能看到……解决方案引入缓存机制如下使用sqlite当缓存数据库当用户问道相同问题时从缓存里直接给出答案不用将问题在送给大模型既节约金钱成本也节约时间成本。
直接看代码from langchain_community.cache import SQLiteCache from langchain.globals import set_llm_cache from langchain_openai import ChatOpenAI import os #指定缓存 对比提问同样的问题返回时间 set_llm_cache(SQLiteCache(database_pathlangchain_demo.db)) llm ChatOpenAI( api_keyos.getenv(DEEPSEEK_API_KEY), base_urlos.getenv(DEEP_URL), # Deepseek 的 API 基础地址 modeldeepseek-v3:671b, # Deepseek 对话模型可选deepseek-chat-pro 等高级模型 temperature
7, # 温度参数
越低越稳定 max_tokens1024 # 最大生成 tokens ) #这时会向数据库里插入一条数据 response llm.invoke(hello world) print(response.content) #再插入一条数据 注是否插入要根据提示词和调用的模型模型参数改变也会认为是不同 response llm.invoke(how are you) print(response.content) #这时就会从缓存里直接出结果不会送往大模型数据库里也不会新插入一条数据 response llm.invoke(hello world) print(response.content)运行结果可以看到 第一次的回答和第三次的回答是完全一样的。
Hello! How can I assist you today? Whether you have questions, need help with a task, or just want to chat, Im here for you! Hey there! Thanks for asking! Im functioning at full capacity and ready to help you out. While I dont experience feelings in the way humans do, I genuinely enjoy our conversations and am always excited to learn and assist. How can I support you today? Im all ears! Hello! How can I assist you today? Whether you have questions, need help with a task, or just want to chat, Im here for you! 我们可以看到虽然我么提问了三次问题但是缓存数据库里只有两条数据说明第三次提问回答是从缓存里走的。