模型提供方

DB-GPT 同时支持 API 模型提供方和本地运行时。对于第一次部署，除非你明确需要本地推理，否则建议优先选择 API 提供方。

:::info 快速建议如果你不确定该选哪个，建议先从 OpenAI 或 DeepSeek 开始：它们配置快、无需 GPU。若你希望在本地运行模型且尽量简化配置，可以选择 Ollama。 :::

提供方对比

提供方	类型	是否需要 GPU	适合场景
OpenAI	API 代理	否	生产质量、最快完成首跑
DeepSeek	API 代理	否	性价比高、推理能力强
Qwen (Tongyi)	API 代理	否	中文场景、阿里云用户
SiliconFlow	API 代理	否	国内可用、模型选择多
Ollama	本地代理	可选	本地模型、注重隐私、部署简单
vLLM	本地运行时	是（NVIDIA）	更高吞吐的生产级本地推理

模型配置是如何组织的

所有模型都通过 configs/ 目录下的 TOML 文件配置。一个配置文件通常定义：

LLM(s)：聊天与推理使用的大模型
Embedding(s)：RAG 和知识检索使用的向量模型
Reranker(s)：可选的重排序模型，用于提高检索质量

[models]

# 语言模型
[[models.llms]]
name = "model-name"
provider = "provider-type"
api_key = "your-api-key"

# 向量模型
[[models.embeddings]]
name = "embedding-model-name"
provider = "provider-type"
api_key = "your-api-key"

:::tip 环境变量你可以在 TOML 中使用环境变量语法："${env:VARIABLE_NAME:-default_value}"，避免把密钥直接写死在配置文件中。 :::

提供方指南

OpenAI —— 首次部署最常见、最省心的默认方案
DeepSeek —— 强推理能力，兼容 OpenAI 代理模式
Qwen (Tongyi) —— 阿里云 / DashScope 方案
SiliconFlow —— 适合国内环境的 API 方案
Ollama —— 简单本地模型运行方式
vLLM —— GPU 驱动的高性能本地推理方案

模型提供方

提供方对比

模型配置是如何组织的

提供方指南

更多提供方