模型提供方

DB-GPT 同时支持 API 模型提供方和本地运行时。对于第一次部署，除非你明确需要本地推理，否则建议优先选择 API 提供方。

:::info 快速建议 如果你不确定该选哪个，建议先从 OpenAI 或 DeepSeek 开始：它们配置快、无需 GPU。若你希望在本地运行模型且尽量简化配置，可以选择 Ollama。 :::

提供方对比

模型配置是如何组织的

所有模型都通过 configs/ 目录下的 TOML 文件配置。一个配置文件通常定义：

• LLM(s)：聊天与推理使用的大模型
• Embedding(s)：RAG 和知识检索使用的向量模型
• Reranker(s)：可选的重排序模型，用于提高检索质量

[models]

# 语言模型
[[models.llms]]
name = "model-name"
provider = "provider-type"
api_key = "your-api-key"

# 向量模型
[[models.embeddings]]
name = "embedding-model-name"
provider = "provider-type"
api_key = "your-api-key"

:::tip 环境变量 你可以在 TOML 中使用环境变量语法："${env:VARIABLE_NAME:-default_value}"，避免把密钥直接写死在配置文件中。 :::

提供方指南

• OpenAI —— 首次部署最常见、最省心的默认方案
• DeepSeek —— 强推理能力，兼容 OpenAI 代理模式
• Qwen (Tongyi) —— 阿里云 / DashScope 方案
• SiliconFlow —— 适合国内环境的 API 方案
• Ollama —— 简单本地模型运行方式
• vLLM —— GPU 驱动的高性能本地推理方案

更多提供方

DB-GPT 还可以通过代理体系接入更多模型提供方。详见 Advanced LLM Configuration，包括：

• Azure OpenAI
• Google Gemini
• Anthropic Claude
• Baichuan
• Spark（讯飞星火）
• 以及更多兼容提供方

Source: docs/i18n/zh-CN/docusaurus-plugin-content-docs/current/getting-started/providers/index.md