🏆论文与演讲

我们提出了一种语义路由器，它可以根据查询的推理需求对其进行分类，并仅在有益时选择性地应用推理。

我们提出了一种类别感知语义缓存，其中相似性阈值、TTL 和配额随查询类别而变化，并采用混合架构将内存中 HNSW 搜索与外部文档存储分离。

本文档详细说明了语义推理路由协议 (SIRP)，这是一个用于 AI 推理系统中内容级分类和语义路由的框架。

本文档规定了智能体 AI 推理 API 的多提供商扩展。发布日期：2025 年 10 月 20 日。拟定状态：信息化。到期日期：2026 年 4 月 23 日。

这场研究驱动的演讲介绍了一种新型架构范式，补充了近期在大语言模型及时智能推理路由方面的进展。

深入探讨 vLLM 语义路由器的功能，展示智能路由如何为高效的 LLM 推理开启新的可能性。

概述 vLLM 语义路由器中 AI 驱动的功能，展示最新进展和社区贡献。