跳转至主要内容
vLLM Logo

AI 驱动的 vLLM 语义路由 (vLLM Semantic Router)

系统级 智能路由器,专为 模型混合 (Mixture-of-Models) 打造 🧠🧬 神经网络⚡ LLM 路由♻️ 逐 Token 单位经济效益

终端

🧠 神经处理架构

由前沿 AI 技术提供动力,包括纯编码器模型 (Encoder Only Models)、小语言模型 (SLM) 和大语言模型 (LLM),以及用于智能模型路由和选择的高级语义理解。

🤖小语言模型
🧬神经网络处理
实时推理
🎯语义理解
AIMLNNLLM
神经处理单元嵌入 • 分类 • 相似度

🏗️ 架构

Architecture

🎯 我们的目标

构建模型混合 (MoM) 的系统级智能,为 LLM 系统引入集体智慧

vLLM Semantic Router Banner
1
如何捕获请求、响应和上下文中的缺失信号?
2
如何组合信号以做出更好的决策?
3
如何在不同模型之间实现更高效的协作?
4
如何保护现实世界和 LLM 系统免受越狱、隐私泄露 (PII) 和幻觉的侵害?
5
如何收集有价值的信号并构建自学习系统?

📍 所处位置

它存在于现实世界与模型之间

Where vLLM Semantic Router Lives

👥 认识我们的团队

vLLM Semantic Router 背后的卓越团队

Huamin Chen维护者

陈华民 (Huamin Chen)

杰出工程师 @Red Hat

Chen Wang维护者

王晨 (Chen Wang)

资深主任研究科学家 @IBM

Yue Zhu维护者

朱越 (Yue Zhu)

主任研究科学家 @IBM

Xunzhuo Liu维护者

刘训茁 (Xunzhuo Liu)

智能路由 @vLLM

Senan Zedan提交者

Senan Zedan

研发经理 @Red Hat

samzong提交者

samzong

AI 基础设施 / 云原生产品经理 @DaoCloud

Liav Weiss提交者

Liav Weiss

软件工程师 @Red Hat

Asaad Balum提交者

Asaad Balum

高级软件工程师 @Red Hat

Yehudit提交者

Yehudit

软件工程师 @Red Hat

Noa Limoy提交者

Noa Limoy

软件工程师 @Red Hat

JaredforReal提交者

JaredforReal

软件工程师 @Z.ai

Srinivas A提交者

Srinivas A

软件工程师 @Yokogawa

carlory提交者

carlory

开源工程师 @DaoCloud

Yossi Ovadia提交者

Yossi Ovadia

高级首席工程师 @Red Hat

Jintao Zhang提交者

张晋涛

高级软件工程师 @Kong

yuluo-yx提交者

yuluo-yx

独立贡献者

cryo-zd提交者

cryo-zd

独立贡献者

OneZero-Y提交者

OneZero-Y

独立贡献者

aeft提交者

aeft

独立贡献者

Huamin Chen维护者

陈华民 (Huamin Chen)

杰出工程师 @Red Hat

Chen Wang维护者

王晨 (Chen Wang)

资深主任研究科学家 @IBM

Yue Zhu维护者

朱越 (Yue Zhu)

主任研究科学家 @IBM

Xunzhuo Liu维护者

刘训茁 (Xunzhuo Liu)

智能路由 @vLLM

Senan Zedan提交者

Senan Zedan

研发经理 @Red Hat

samzong提交者

samzong

AI 基础设施 / 云原生产品经理 @DaoCloud

Liav Weiss提交者

Liav Weiss

软件工程师 @Red Hat

Asaad Balum提交者

Asaad Balum

高级软件工程师 @Red Hat

Yehudit提交者

Yehudit

软件工程师 @Red Hat

Noa Limoy提交者

Noa Limoy

软件工程师 @Red Hat

JaredforReal提交者

JaredforReal

软件工程师 @Z.ai

Srinivas A提交者

Srinivas A

软件工程师 @Yokogawa

carlory提交者

carlory

开源工程师 @DaoCloud

Yossi Ovadia提交者

Yossi Ovadia

高级首席工程师 @Red Hat

Jintao Zhang提交者

张晋涛

高级软件工程师 @Kong

yuluo-yx提交者

yuluo-yx

独立贡献者

cryo-zd提交者

cryo-zd

独立贡献者

OneZero-Y提交者

OneZero-Y

独立贡献者

aeft提交者

aeft

独立贡献者

Huamin Chen维护者

陈华民 (Huamin Chen)

杰出工程师 @Red Hat

Chen Wang维护者

王晨 (Chen Wang)

资深主任研究科学家 @IBM

Yue Zhu维护者

朱越 (Yue Zhu)

主任研究科学家 @IBM

Xunzhuo Liu维护者

刘训茁 (Xunzhuo Liu)

智能路由 @vLLM

Senan Zedan提交者

Senan Zedan

研发经理 @Red Hat

samzong提交者

samzong

AI 基础设施 / 云原生产品经理 @DaoCloud

Liav Weiss提交者

Liav Weiss

软件工程师 @Red Hat

Asaad Balum提交者

Asaad Balum

高级软件工程师 @Red Hat

Yehudit提交者

Yehudit

软件工程师 @Red Hat

Noa Limoy提交者

Noa Limoy

软件工程师 @Red Hat

JaredforReal提交者

JaredforReal

软件工程师 @Z.ai

Srinivas A提交者

Srinivas A

软件工程师 @Yokogawa

carlory提交者

carlory

开源工程师 @DaoCloud

Yossi Ovadia提交者

Yossi Ovadia

高级首席工程师 @Red Hat

Jintao Zhang提交者

张晋涛

高级软件工程师 @Kong

yuluo-yx提交者

yuluo-yx

独立贡献者

cryo-zd提交者

cryo-zd

独立贡献者

OneZero-Y提交者

OneZero-Y

独立贡献者

aeft提交者

aeft

独立贡献者

致谢

vLLM Semantic Router 诞生于开源,并构建于开源之上 ❤️