通义千问1.5-1.8B-Chat-GPTQ-Int4:重装系统后的AI开发环境快速恢复指南

核心内容摘要

ChatTTS默认音色优化实战:如何提升语音合成的自然度与效率
Dify生产环境Token治理终极框架:融合成本、安全、合规三维度的12项Checklist(含AWS/GCP/Azure多云适配版)

ai辅助开发:让kimi和deepseek帮你迭代更聪明的win11右键菜单优化脚本

本节内容我们来看一下OpenAI Compatibility。

OpenAI的API接口是大模型应用开发中最常用、且集成度最高的API接口规范其兼容接口主要包括chat/completionscompletionsmodelsembeddings我们上两节课程内容中介绍的/api/generate和/api/chat接口其实就是Ollama兼容OpenAI的REST API接口的底层实现。

其中:/api/generate接口对应OpenAI的completions接口/api/chat接口对应OpenAI的chat/completions接口因此我们现在再来看ollama中的OpenAI compatibility的API接口调用就非常容易理解了。

非流式调用from openai import OpenAI # type: ignore client OpenAI( base_urlhttp://

127.

0.

1:11434/v1/, # 这里修改成可访问的 IP api_keyollama, # 这里随便写但是api_key字段一定要有 ) chat_completion client.chat.completions.create( modeldeepseek-r1:

5b, messages[ { role: user, content: 你好请你介绍一下什么是人工智能, } ], ) print(chat_completion.choices[0].message.content)流式调用from openai import OpenAI client OpenAI( base_urlhttp://

127.

0.

1:11434/v1/, api_keyollama, ) messages [ { role: user, content: 你好请你介绍一下什么是人工智能, } ] try: # 调用聊天接口 stream client.chat.completions.create( modeldeepseek-r1:

5b, messagesmessages, streamTrue ) # 处理流式响应 for chunk in stream: if chunk.choices[0].delta.content is not None: print(chunk.choices[0].delta.content, end, flushTrue) except Exception as e: print(f发生错误: {str(e)})支持的功能功能描述聊天完成Chat completions流媒体StreamingJSON模式JSON mode可再现的输出Reproducible outputs视觉Vision工具Tools支持的请求字段请求字段描述model模型messages消息frequency_penalty频率惩罚presence_penalty存在惩罚response_format响应格式seed种子stop停止stream流式输出stream_options流式选项include_usage包含使用情况temperature温度top_pTop-p 采样max_tokens最大令牌数tools工具

一起草cad网站视频-一起草cad网站视频应用

百度百家号客服电话人工服务

123 123 123 123 123 123 123 123 123 123 123 123 123 123 123 123 123 123 123 123 123 123 123 123 123 123 123 123 123 123 123 123 123 123 123 123 123 123 123 123 123