如果让你设计一个多模型网关，你会怎么设计？
这道题考的是AI网关架构设计能力，核心是：你怎么设计一个既能统一管理多个AI模型、又能保证高可用和成本可控的系统。
往下看，你就能搞懂多模型网关的设计思路。
为什么需要多模型网关
先问自己一个问题：没有网关行不行？
行，但会很乱。假设你接入了GPT-4做对话、Claude做代码、DALL-E做图片，每次切换都要改代码。更要命的是，鉴权、限流、监控都要在每个业务方重复实现。
多模型网关就是AI服务的"统一入口"。所有请求先到网关，网关负责鉴权、路由、限流，然后把请求发到对应的模型。
想象一下，网关就像商场导览台。顾客（请求）进来后，导览员根据需求分配到不同品牌店铺（模型），而不是让顾客自己找每家店在哪。网关把这种复杂度封装起来，业务方只需要调用一个接口，不用关心后面接了多少个模型。
分层架构怎么设计
网关架构推荐用7层分层设计，每层职责单一，方便维护和扩展。
从上到下分别是：
第1层：统一入口
提供统一的API地址和协议，所有客户端都访问这一个入口。不关心具体业务逻辑。
第2层：鉴权层
验证请求的合法性，比如API Key检查、权限校验。这一层要快，失败直接返回。
第3层：配额层
检查用户的调用配额，比如每天允许调用多少次、每个月能用多少Token。配额超了直接拒绝，不往后走。
第4层：路由层
根据请求内容决定发到哪个模型。比如"帮我写代码"发到Claude，"生成一张图片"发到DALL-E。
第5层：负载均衡层
同质模型之间做负载均衡。比如你有多个GPT-4实例，路由层决定用GPT-4后，负载均衡层决定用哪个具体实例。
第6层：隔离层
把不同租户或不同任务的请求隔离开，避免互相影响。常见做法是容器隔离或者请求队列隔离。
第7层：可观测层
记录日志、指标、追踪。出了问题是网关的问题还是模型的问题，要能快速定位。
用医院的分诊流程来理解这7层就很直观：挂号（统一入口）→ 身份核验（鉴权）→ 挂号限额检查（配额）→ 分诊台判断去哪个科室（路由）→ 科室护士分配具体诊室（负载均衡）→ 单人单间的特殊检查（隔离）→ 病历记录和复查追踪（可观测）。每步专注本环节，效率最高。
多模型怎么智能路由
路由是网关最核心的能力。路由做不好，要么浪费钱，要么用户体验差。
路由有4个核心维度：
1. 任务类型
最简单的路由方式。"代码相关"→Claude，"对话闲聊"→GPT-4，"图片生成"→DALL-E。通过Prompt分析或者请求时指定的task_type字段来判断。
2. 成本等级
不同模型价格差异巨大。GPT-4每千Token可能要几块钱，而一些开源模型几乎不要钱。简单任务就用便宜模型，把贵的模型留给真正需要的场景。
3. 响应速度
有些场景对延迟敏感，有些场景不在意。实时对话需要快，批量处理可以慢。快模型优先返回，慢模型排队处理。
4. 数据敏感度
涉及隐私数据的请求，不能发到境外模型。敏感数据要路由到合规的本地模型。
类比一下，就像出租车调度：紧急单（低延迟）派快的司机，长途单（成本优先）派省油的车，大单（高价值）派好车。调度员根据多个因素综合判断，不是单一维度决策。
同质模型间的负载均衡需要特别注意。传统负载均衡用RPS（每秒请求数）或TTFB（首字节时间）来评估，但AI推理不一样——同样一个请求，Token数量不同，处理时间可能差几十倍。所以评估AI实例负载，要看Token吞吐能力，而不是请求数量。
如何保证高可用与成本可控
高可用和成本控制是网关的两条生命线。
五层降级策略
线上总会出问题，模型可能宕机、响应可能超时。降级策略就是保证服务不中断的兜底方案。
第1层：主模型不可用→备用模型
比如主用Claude，备用GPT-4。两个模型能力相近，可以互相兜底。
第2层：云端模型全挂→本地模型
公司自己部署的开源模型，比如Llama或者Qwen。能力弱一些，但至少能用。
第3层：AI模型全挂→缓存命中
如果之前回答过类似问题，直接返回缓存结果。不调用模型，响应最快。
第4层：缓存也没有→规则引擎兜底
无法AI回答时，用预设规则处理。比如"抱歉，当前服务繁忙，请稍后再试"。
第5层：规则也失败→友好错误
返回用户能理解的错误信息，而不是500崩掉。
这就像电网的多重保护：市电断了自动切换备用电源，备用也没电了点蜡烛，蜡烛也点不着就开手电筒。每层都是前一层的后备。
成本控制要从两个维度做限流：
第一，QPS限流控制请求频率，避免突发流量打爆服务。用滑动窗口算法实现，统计1分钟内的请求数，超过阈值直接拒绝。
第二，Token预算限流才是关键。比QPS更重要的是"每分钟能消耗多少Token"。你可能接了10个用户，每个用户每秒1个请求，看起来QPS只有10，但如果每个请求都是100K Token的超级长文本，模型处理起来会非常吃力。所以限流要限制Token预算，而不只是QPS。
成本监控必须盯紧3个指标：Token消耗量（直观反映钱花在哪）、P99延迟（99%请求的最长响应时间，别被长尾请求拖垮）、降级率（有多少请求走了降级链路，降级率高说明模型不稳定）。
面试怎么答
给你一段可以直接背的回答，大约150字：
多模型网关是AI服务的统一入口，设计成7层分层架构：统一入口→鉴权→配额→路由→负载均衡→隔离→可观测。路由根据任务类型、成本、延迟、数据敏感度4个维度智能分发。同质模型用Token吞吐能力做负载均衡。保证高可用靠5层降级：主模型→备用模型→本地模型→缓存→规则兜底。成本控制要限流Token预算，不只是QPS。监控Token消耗、延迟和降级率。
基础版：能说清网关定位和7层架构，提到按任务类型路由，有降级意识。
加分版：指出AI负载均衡要看Token吞吐能力不是请求数，说清楚五层降级体系，限流要限制Token预算，提到LiteLLM这类开源方案作为参考。
一句话总结
多模型网关的核心是：统一入口封装复杂度，智能路由匹配需求，五层降级保稳定，Token限流控成本。