跳转至主要内容
版本: v0.1

我们的目标是什么？

我们正在为多模型混合 (MoM) 构建系统级智能，将集体智慧引入 LLM 系统。

核心问题​

我们的项目旨在解决 LLM 系统中的五个基本挑战

1. 如何捕获缺失的信号？​

在传统的 LLM 路由中，我们只关注用户的查询文本。但我们遗漏了大量其他信息：

  • 上下文信号：此查询属于哪个领域？（数学、代码、创意写作？）
  • 质量信号：此查询是否需要事实核查？用户是否提供了反馈？
  • 用户信号：用户的偏好是什么？他们的满意度如何？

我们的解决方案：一个全面的信号提取系统，可从请求、响应和上下文中捕获 6 类信号。

2. 如何组合信号？​

拥有多个信号固然很好，但我们如何将它们结合起来以做出更好的决策？

  • 如果我们同时检测到数学关键词和数学领域，是否应该路由到数学模型？
  • 如果我们检测到事实性问题或敏感领域，是否应该启用事实核查？

我们的解决方案：一个带有 AND/OR 运算符的灵活决策引擎，让您能以强大的方式组合信号。

3. 如何更高效地协作？​

不同的模型擅长不同的事情。我们如何让它们像团队一样协同工作？

  • 将数学问题路由到专门的数学模型
  • 将创意写作路由到更具创造力的模型
  • 将代码问题路由到在代码上训练过的模型
  • 对简单任务使用小型模型，对复杂任务使用大型模型

我们的解决方案：智能路由根据多种信号（而非简单的规则）将查询匹配到最合适的模型。

4. 如何保障系统安全？​

LLM 系统面临着独特的安全挑战

  • 越狱攻击：试图绕过安全护栏的对抗性提示词
  • PII 泄露：意外暴露敏感的个人身份信息
  • 幻觉：模型生成虚假或误导性信息

我们的解决方案：具有多个安全层（越狱检测、PII 过滤、幻觉检测）的插件链架构。

5. 如何收集有价值的信号？​

系统应该随着时间的推移不断学习和改进

  • 追踪哪些信号带来了更好的路由决策
  • 收集用户反馈以改进信号检测
  • 构建一个随使用而变得更聪明的自学习系统

我们的解决方案：全面的可观测性和反馈收集，并将其反馈至信号提取和决策引擎中。

愿景​

我们预见的未来中：

  • LLM 系统在系统层面具备智能，而不仅仅是在模型层面
  • 多个模型无缝协作，各自发挥所长
  • 安全是内置的，而非事后补救
  • 系统从每一次交互中学习并改进
  • 集体智慧从信号、决策和反馈的结合中涌现

为什么这很重要​

对于开发者​

  • 以更少的精力构建功能更强大的 LLM 应用
  • 无需复杂的编排即可利用多个模型
  • 获得内置的安全性和合规性

对于组织​

  • 通过路由到合适的模型来降低成本
  • 通过选择专业模型来提高质量
  • 通过内置的 PII 和安全控制满足合规要求

对于用户​

  • 获得更好、更准确的响应
  • 通过缓存体验更快的响应速度
  • 受益于改进的安全性和隐私保护

后续步骤​

了解更多核心概念