RouterBase
扫码查看

提供OpenAI兼容接口,接入200+大模型,支持智能路由、自动故障转移与统一计费。

RouterBase

综合介绍

RouterBase是一个AI模型网关服务。它把200多个大模型放在同一个入口后面,对外只提供一个OpenAI兼容的API接口。你不需要为每个模型单独注册账号、单独配置SDK,只要拿到RouterBase的一个密钥,就能调用所有接入的模型。

这个服务的核心思路很简单:把多模型接入的复杂工作收拢到一处。智能路由会自动判断哪个模型最适合当前请求,故障转移能在模型不可用时无缝切换,统一计费则把分散在不同服务商的账单合并成一份。对于开发者和技术团队来说,RouterBase解决的是模型管理层面的问题,让人把精力放在业务逻辑上,而不是来回切换各家API。

RouterBase的接口格式和OpenAI官方一致,这意味着现有的OpenAI SDK可以几乎不改代码直接对接。它适合那些需要灵活调度模型、追求服务稳定性、又不想被单一模型厂商绑定的场景。

功能列表

  1. OpenAI兼容接口:提供与OpenAI官方格式一致的API,支持Chat Completions等接口规范,现有代码可直接对接。
  2. 200+大模型接入:聚合主流厂商的模型服务,包括OpenAI、Anthropic、Google、Meta等,一个密钥全部调用。
  3. 智能路由:根据请求内容、模型价格、响应速度等条件,自动选择最合适的模型来处理请求。
  4. 自动故障转移:当某个模型服务不可用或响应异常时,自动将请求切换到备用模型,保证服务连续性。
  5. 统一计费:所有模型的调用费用集中记录和结算,提供清晰的消费明细,简化财务对账流程。
  6. 密钥管理:支持创建多个API密钥,可分别设置额度限制和权限范围,方便团队内部管理。
  7. 请求日志:记录每次调用的模型、耗时、Token用量和费用,便于排查问题和优化成本。

使用帮助

使用RouterBase的流程不复杂,大致分为三步:注册获取密钥、配置API地址、开始调用。下面逐步说明。

第一步:注册并获取API密钥

在RouterBase官网注册账号,登录后在控制台创建一个API密钥。密钥是一串字符串,调用接口时放在Authorization头里。建议为不同项目分别创建密钥,这样某个密钥泄露时可以单独吊销,不影响其他项目。

第二步:配置API地址

RouterBase的接口地址与OpenAI官方格式兼容。如果你用的是OpenAI官方的SDK,只需要修改base_url和api_key两个配置项。

以Python的openai库为例:

from openai import OpenAI

client = OpenAI(
    api_key="你的RouterBase密钥",
    base_url="https://api.routerbase.com/v1"
)

response = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "你好"}]
)
print(response.choices[0].message.content)

如果你直接发送HTTP请求,格式如下:

curl https://api.routerbase.com/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer 你的RouterBase密钥" \
  -d '{
    "model": "gpt-4o",
    "messages": [{"role": "user", "content": "你好"}]
  }'

注意,这里的model参数不一定是真实的模型名称。RouterBase允许你通过model字段指定一个具体的模型,也可以使用路由组名称来触发智能路由。

第三步:使用智能路由

智能路由是RouterBase的特色功能。你可以在控制台创建路由组,把多个模型放进一个组里,并设置选择策略。

策略主要有三种:

  • 按价格优先:系统会选择当前组内单价最低的模型。适合成本敏感的业务。
  • 按速度优先:系统会选择响应最快的模型。适合对延迟要求高的场景。
  • 按质量优先:系统会根据模型的能力评分选择最优模型。适合对输出质量要求高的任务。

调用时,把model参数设置为路由组的名称,RouterBase就会按照你设定的策略自动选择模型。比如你创建了一个名为“fast-chat”的路由组,包含gpt-4o-mini、claude-3-haiku和gemini-1.5-flash,策略设为速度优先,那么每次请求都会从这三个模型里选出当前响应最快的那个。

第四步:配置故障转移

故障转移是自动生效的。当RouterBase检测到某个模型返回错误、超时或服务不可用时,会自动把请求重新发送到路由组内的下一个备用模型。整个过程对调用方透明,你的代码不需要做任何处理。

你可以为每个路由组设置备用模型列表,也可以设置超时阈值。比如某个模型超过30秒没有响应,RouterBase就会判定它不可用,自动切换。

第五步:查看账单和日志

在控制台的“账单”页面,可以看到所有模型调用的费用汇总。RouterBase按Token用量计费,费用明细精确到每次请求,包括输入Token数、输出Token数、单价和总价。你可以按时间范围筛选,也可以按模型或路由组筛选。

“日志”页面记录了每次请求的详细信息,包括请求时间、使用的模型、响应时长、Token用量、费用和状态码。日志支持关键词搜索,方便排查问题。

注意事项

RouterBase的接口与OpenAI兼容,但不同模型对参数的支持有差异。比如某些模型不支持temperature参数,或者max_tokens的上限不同。建议在切换模型时先做小流量测试,确认参数兼容性。

另外,RouterBase的计费是统一结算的,你不需要分别充值到各家模型服务商。但要注意,RouterBase本身可能会在模型原始价格基础上加收一定比例的服务费,具体费率在官网上有说明。

产品特色

一个API密钥接入200多个大模型,智能调度、自动容灾、统一对账,让模型调用像用一个模型一样简单。

适用人群

  • 后端开发工程师:需要对接多个AI模型但不想维护多套SDK和认证逻辑,RouterBase提供一个统一的接入层,代码改动量小。
  • 技术负责人/架构师:关注服务的高可用性和成本控制,智能路由和故障转移功能可以减少单点故障风险,同时优化模型使用成本。
  • AI应用创业者:产品需要调用不同模型来满足不同场景需求,RouterBase的聚合接口和统一计费能降低初期开发成本和运营复杂度。
  • 独立开发者:个人项目想要尝试不同模型,又不想分别注册多个服务商账号,RouterBase降低了试错门槛。
  • 研究机构/实验室:需要对比多个模型的输出效果,RouterBase的日志功能方便记录和分析每次调用的模型和结果。

应用场景

  • 多模型对比测试:在同一个应用里快速切换不同模型,比较输出质量、速度和价格,用日志数据做决策依据。
  • 生产环境高可用:核心业务依赖AI接口时,RouterBase的故障转移机制确保某个模型服务出问题时,请求自动切到备用模型,业务不中断。
  • 成本优化:通过智能路由的价格优先策略,把非关键请求引导到廉价模型,把复杂任务交给高性能模型,整体账单更可控。
  • 模型迁移过渡:从旧模型换到新模型时,不需要改动业务代码,只需调整路由组里的模型列表,逐步切流量,降低迁移风险。
  • 团队协作开发:为不同团队成员分配独立密钥,设置不同的调用额度,避免互相影响,也方便追溯问题来源。

常见问题

  • RouterBase和OpenAI官方API有什么区别?
    RouterBase的接口格式与OpenAI官方一致,但背后接入的是多个模型厂商的服务。你通过RouterBase调用OpenAI的模型时,实际请求由RouterBase转发给OpenAI,结果返回给你。RouterBase额外提供智能路由、故障转移和统一计费功能,这是官方API没有的。
  • 我的代码需要改多少才能接入?
    如果你已经在用OpenAI的SDK,只需要把base_url改成RouterBase的地址,把api_key换成RouterBase的密钥,其他代码基本不用动。如果你用的是其他厂商的SDK,需要统一改成OpenAI格式的调用方式。
  • 智能路由是怎么判断选哪个模型的?
    RouterBase根据你设定的策略来判断。价格优先选最便宜的,速度优先选响应最快的,质量优先选能力评分最高的。你也可以为不同请求类型设置不同的路由组,在调用时指定组名即可。
  • 故障转移会带来额外延迟吗?
    正常情况下不会。只有当第一个模型响应超时或返回错误时,RouterBase才会尝试备用模型,这时会增加一次额外请求的时间。你可以调整超时阈值来控制切换的灵敏度。
  • 统一计费是怎么算的?
    RouterBase记录每次请求的Token用量,按对应模型的单价计算费用,汇总到你的账户下。你只需要向RouterBase付款,不需要分别给各家模型服务商付费。具体费用以控制台的账单为准。
  • 我的数据会经过RouterBase的服务器吗?
    会。你的请求先发送到RouterBase,再由RouterBase转发给目标模型服务商。RouterBase会记录请求日志用于计费和排障。如果你对数据隐私有严格要求,建议先了解RouterBase的数据处理政策。
  • 支持流式输出吗?
    支持。RouterBase兼容OpenAI的流式接口,设置stream参数为true即可。流式输出时,故障转移的判断逻辑会有所不同,建议在测试环境先验证。
微信微博邮箱复制链接