API 参考

包

• vllm.ai/v1alpha1

vllm.ai/v1alpha1

Package v1alpha1 包含了 v1alpha1 API 组的 API Schema 定义

资源类型

• IntelligentPool
• IntelligentPoolList
• IntelligentRoute
• IntelligentRouteList

Decision

Decision 定义了基于规则组合的路由决策

出现于

• IntelligentRouteSpec

字段	描述	默认值	验证
name string	Name 是该决策的唯一标识符		最大长度: 100 最小长度: 1 必填: {}
priority integer	Priority 定义了该决策的优先级（数值越高 = 优先级越高） 当策略为 "priority" 时使用	0	最大值: 1000 最小值: 0
description string	Description 提供该决策的人类可读描述		最大长度: 500
signals SignalCombination	Signals 定义了信号组合逻辑		必填: {}
modelRefs ModelRef 数组	ModelRefs 定义了该决策的模型引用（目前仅支持一个模型）		最大项数: 1 最小项数: 1 必填: {}
plugins DecisionPlugin 数组	Plugins 定义了应用于该决策的插件		最大项数: 10

DecisionPlugin

DecisionPlugin 定义了决策的插件配置

出现于

• Decision

字段	描述	默认值	验证
type string	Type 是插件类型 (semantic-cache, jailbreak, pii, system_prompt, header_mutation)		枚举: [semantic-cache jailbreak pii system_prompt header_mutation] 必填: {}
configuration RawExtension	Configuration 是作为原始 JSON 对象的插件特定配置		无模式 (Schemaless): {}

DomainSignal

DomainSignal 定义了用于分类的领域类别

出现于

• Signals

字段	描述	默认值	验证
name string	Name 是该领域的唯一标识符		最大长度: 100 最小长度: 1 必填: {}
description string	Description 提供该领域的人类可读描述		最大长度: 500

EmbeddingSignal

EmbeddingSignal 定义了基于嵌入的信号提取规则

出现于

• Signals

字段	描述	默认值	验证
name string	Name 是该信号的唯一标识符		最大长度: 100 最小长度: 1 必填: {}
threshold float	Threshold 是匹配的相似度阈值 (0.0-1.0)		最大值: 1 最小值: 0 必填: {}
candidates string 数组	Candidates 是用于语义匹配的候选短语列表		最大项数: 100 最小项数: 1 必填: {}
aggregationMethod string	AggregationMethod 定义了如何聚合多个候选相似度	max	枚举: [mean max any]

IntelligentPool

IntelligentPool 定义了包含其配置的模型池

出现于

• IntelligentPoolList

字段	描述	默认值	验证
apiVersion string	vllm.ai/v1alpha1
kind string	IntelligentPool
metadata ObjectMeta	有关 metadata 的字段，请参阅 Kubernetes API 文档。
spec IntelligentPoolSpec
status IntelligentPoolStatus

IntelligentPoolList

IntelligentPoolList 包含 IntelligentPool 的列表

字段	描述	默认值	验证
apiVersion string	vllm.ai/v1alpha1
kind string	IntelligentPoolList
metadata ListMeta	有关 metadata 的字段，请参阅 Kubernetes API 文档。
items IntelligentPool 数组

IntelligentPoolSpec

IntelligentPoolSpec 定义了 IntelligentPool 的期望状态

出现于

• IntelligentPool

字段	描述	默认值	验证
defaultModel string	DefaultModel 指定当没有选择特定模型时使用的默认模型		最大长度: 100 最小长度: 1 必填: {}
models ModelConfig 数组	Models 定义了此池中可用模型的列表		最大项数: 100 最小项数: 1 必填: {}

IntelligentPoolStatus

IntelligentPoolStatus 定义了 IntelligentPool 的观测状态

出现于

• IntelligentPool

字段	描述	默认值	验证
conditions Condition 数组	Conditions 表示 IntelligentPool 状态的最新可用观测结果
observedGeneration integer	ObservedGeneration 反映了最近观测到的 IntelligentPool 的生成版本
modelCount integer	ModelCount 表示池中模型的数量

IntelligentRoute

IntelligentRoute 定义了智能路由规则和决策

出现于

• IntelligentRouteList

字段	描述	默认值	验证
apiVersion string	vllm.ai/v1alpha1
kind string	IntelligentRoute
metadata ObjectMeta	有关 metadata 的字段，请参阅 Kubernetes API 文档。
spec IntelligentRouteSpec
status IntelligentRouteStatus

IntelligentRouteList

IntelligentRouteList 包含 IntelligentRoute 的列表

字段	描述	默认值	验证
apiVersion string	vllm.ai/v1alpha1
kind string	IntelligentRouteList
metadata ListMeta	有关 metadata 的字段，请参阅 Kubernetes API 文档。
items IntelligentRoute 数组

IntelligentRouteSpec

IntelligentRouteSpec 定义了 IntelligentRoute 的期望状态

出现于

• IntelligentRoute

字段	描述	默认值	验证
signals Signals	Signals 定义了用于路由决策的信号提取规则
decisions Decision 数组	Decisions 定义了基于信号组合的路由决策		最大项数: 100 最小项数: 1 必填: {}

IntelligentRouteStatus

IntelligentRouteStatus 定义了 IntelligentRoute 的观测状态

出现于

• IntelligentRoute

字段	描述	默认值	验证
conditions Condition 数组	Conditions 表示 IntelligentRoute 状态的最新可用观测结果
observedGeneration integer	ObservedGeneration 反映了最近观测到的 IntelligentRoute 的生成版本
statistics RouteStatistics	Statistics 提供关于已配置决策和信号的统计信息

KeywordSignal

KeywordSignal 定义了基于关键词的信号提取规则

出现于

• Signals

字段	描述	默认值	验证
name string	Name 是该规则的唯一标识符（也用作类别名称）		最大长度: 100 最小长度: 1 必填: {}
operator string	Operator 定义了关键词的逻辑运算符 (AND/OR)		枚举: [AND OR] 必填: {}
keywords string 数组	Keywords 是要匹配的关键词列表		最大项数: 100 最小项数: 1 必填: {}
caseSensitive boolean	CaseSensitive 指定关键词匹配是否区分大小写	false

LoRAConfig

LoRAConfig 定义了 LoRA 适配器配置

出现于

• ModelConfig

字段	描述	默认值	验证
name string	Name 是该 LoRA 适配器的唯一标识符		最大长度: 100 最小长度: 1 必填: {}
description string	Description 提供该 LoRA 适配器的人类可读描述		最大长度: 500

ModelConfig

ModelConfig 定义了单个模型的配置

出现于

• IntelligentPoolSpec

字段	描述	默认值	验证
name string	Name 是该模型的唯一标识符		最大长度: 100 最小长度: 1 必填: {}
reasoningFamily string	ReasoningFamily 指定推理语法家族（例如 "qwen3"、"deepseek"） 必须在全局静态配置的 ReasoningFamilies 中定义		最大长度: 50
pricing ModelPricing	Pricing 定义了该模型的成本结构
loras LoRAConfig 数组	LoRAs 定义了该模型可用的 LoRA 适配器列表		最大项数: 50

ModelPricing

ModelPricing 定义了模型的计费结构

出现于

• ModelConfig

字段	描述	默认值	验证
inputTokenPrice float	InputTokenPrice 是每个输入 token 的成本		最小值: 0
outputTokenPrice float	OutputTokenPrice 是每个输出 token 的成本		最小值: 0

ModelRef

ModelRef 定义了不带评分的模型引用

出现于

• Decision

字段	描述	默认值	验证
model string	Model 是模型的名称（必须存在于 IntelligentPool 中）		最大长度: 100 最小长度: 1 必填: {}
loraName string	LoRAName 是要使用的 LoRA 适配器名称（必须存在于该模型的 LoRAs 中）		最大长度: 100
useReasoning boolean	UseReasoning 指定是否为此模型启用推理模式	false
reasoningDescription string	ReasoningDescription 提供何时使用推理的上下文		最大长度: 500
reasoningEffort string	ReasoningEffort 定义推理努力程度 (low/medium/high)		枚举: [low medium high]

RouteStatistics

RouteStatistics 提供关于 IntelligentRoute 配置的统计信息

出现于

• IntelligentRouteStatus

字段	描述	默认值	验证
decisions integer	Decisions 表示决策的数量
keywords integer	Keywords 表示关键词信号的数量
embeddings integer	Embeddings 表示嵌入信号的数量
domains integer	Domains 表示领域信号的数量

SignalCombination

SignalCombination 定义了如何组合多个信号

出现于

• Decision

字段	描述	默认值	验证
operator string	Operator 定义了组合条件的逻辑运算符 (AND/OR)		枚举: [AND OR] 必填: {}
conditions SignalCondition 数组	Conditions 定义了信号条件的列表		最大项数: 50 最小项数: 1 必填: {}

SignalCondition

SignalCondition 定义了单个信号条件

出现于

• SignalCombination

字段	描述	默认值	验证
type string	Type 定义了信号类型 (keyword/embedding/domain)		枚举: [keyword embedding domain] 必填: {}
name string	Name 是引用的信号名称		最大长度: 100 最小长度: 1 必填: {}

Signals

Signals 定义了信号提取规则

出现于

• IntelligentRouteSpec

字段	描述	默认值	验证
keywords KeywordSignal 数组	Keywords 定义了基于关键词的信号提取规则		最大项数: 100
embeddings EmbeddingSignal 数组	Embeddings 定义了基于嵌入的信号提取规则		最大项数: 100
domains DomainSignal 数组	Domains 定义了用于分类的 MMLU 领域类别		最大项数: 14