枪舞破长空，云缨以心铸就非凡：探索信仰的力量

在AI应用中缓存机制的ç»�æµ�价值ä¸�仅节çœ�Tokenæˆ�本还能消除用户等待焦虑ã€�æ��å�‡ç³»ç»Ÿå��å��é‡�ã€�ä¿�éšœæœ�务稳定性——这æ‰�是ä¼�业级应用的真正痛点。当用户æ��出一个常è§�问题时首次调用大模å�‹éœ€è¦�ç»�å�†ç½‘ç»œä¼ è¾“ã€�æ�’队等待ã€�模å�‹æ�¨ç�†ç­‰å®Œæ•´é“¾è·¯å“�应时间通常在1至3秒。这个时长已超过人类对“æµ�畅交互â€�的心ç�†é˜ˆå€¼200毫秒用户会æ˜�显感知到“å�¡é¡¿â€�和“等待焦虑â€�。而å�¯ç”¨ç¼“å­˜å��相å�Œé—®é¢˜çš„å��续请求直æ�¥ä»�本地数æ�®åº“读å�–结æ�œå“�应时间骤é™�至10毫秒以内——这ç§�â€œæ— æ„Ÿç§’å›�â€�的体验让用户感觉系统始终在线ã€�å��应迅æ�·æ��大æ��å�‡äº†äº§å“�专业度和信任感。下é�¢çœ‹çœ‹è¿™æ®µä»£ç �就能清晰的体ç�°ä½¿ç”¨ç¼“å­˜å��能æ��å�‡çš„用户体验。å�Œä¸€ä¸ªé—®é¢˜é—®å¤§æ¨¡å�‹ä¸‰æ¬¡ç¬¬ä¸€æ¬¡æ²¡æœ‰ç¼“å­˜å��两次有缓存import os import time from langchain_community.cache import SQLiteCache from langchain_openai import ChatOpenAI from langchain.globals import set_llm_cache, get_llm_cache #

清�旧缓存确�演示纯净 CACHE_DB langchain_demo.db if os.path.exists(CACHE_DB): os.remove(CACHE_DB) print(f 已清�旧缓存: {CACHE_DB}) #

�用缓存 set_llm_cache(SQLiteCache(database_pathCACHE_DB)) print(f 缓存已�用: {get_llm_cache()}\n) #

�置 LLM llm ChatOpenAI( api_keyos.getenv(DEEPSEEK_API_KEY), base_urlos.getenv(DEEP_URL), # Deepseek 的 API 基础地� modeldeepseek-v3:671b, # Deepseek 对�模��选deepseek-chat-pro 等高级模� temperature

7, # 温度�数

越�越稳定 max_tokens1024 # 最大生� tokens ) #

æ ¸å¿ƒæ¼”ç¤ºå‡½æ•° def demonstrate_cache_effect(query: str, repeat: int

: 演示缓存效�首次调用慢 vs �续调用快 Args: query: ��问的问题 repeat: ��调用次数第1次未缓存�续应命中缓存 print( *

print(f 测试问题: \{query}\) print(f å°†é‡�å¤�调用 {repeat} 次第1æ¬¡æ— ç¼“å­˜å��续应命中缓存) print( * 60 \n) durations [] for i in range(repeat): print(f\n[第 {i 1} 次调用]) start time.perf_counter() # 高精度计时 # 关键使用完全相å�Œçš„输入触å�‘缓存 response llm.invoke(query) duration (time.perf_counter() - start) * 1000 # 转为毫秒 durations.append(duration) # 判断是å�¦å‘½ä¸­ç¼“存通过耗时阈值粗略判断 is_cached i 0 # 首次通常 500ms缓存通常 50ms if i 0: print(缓存命中,耗时str(duration)) else: print(真å®�请求,耗时str(duration)) print(f å›�ç­”: {response.content[:60]}...) #

执行演示 if __name__ __main__: # æµ‹è¯•æ ‡å‡†é—®é¢˜ç¡®ä¿�完全相å�Œçš„字符串 demonstrate_cache_effect(太阳系哪个行星最大, repeat

è¿�行结æ�œå·²æ¸…ç�†æ—§ç¼“å­˜: langchain_demo.db缓存已å�¯ç”¨: langchain_community.cache.SQLiteCache object at 0x000001D668B50410测试问题: 太阳系哪个行星最大将é‡�å¤�调用 3 次第1æ¬¡æ— ç¼“å­˜å��续应命中缓存[第 1 次调用]真å®�请求,耗时

1

118000000093�答: 太阳系中最大的行星是**木星**。以下是关�木星的一些关键信�### 木星的基本特�

**体积�质�** ...[第 2 次调用]缓存命中,耗时

4

93799999998737�答: 太阳系中最大的行星是**木星**。以下是关�木星的一些关键信�### 木星的基本特�

**体积�质�** ...[第 3 次调用]缓存命中,耗时

475199999731558�答: 太阳系中最大的行星是**木星**。以下是关�木星的一些关键信�### 木星的基本特�

**体积ä¸�è´¨é‡�** ...结论ä»�æ—¶é—´æ¶ˆè€—ä¸Šçœ‹ç¼“å­˜å‘½ä¸­å‡ ä½•å€�数的缩短了用户等待时间æ��å�‡äº†ç”¨æˆ·çš„使用体验。

半糖视频vlog-半糖视频应用