快速扩展在线存储以服务超过10亿ChatGPT用户（第二部分）

判断

OpenAI的Habitat存储团队现在决定：为保留全局缓存，要在按租户隔离与缓存一致性上做多少取舍；12倍更快的读取来自跨租户共享缓存和元数据路径，同时仍服务10亿ChatGPT用户。

依据

OpenAI自己的Part II工程文章提出这一说法：Habitat通过“可靠的多租户、全局缓存和Azure Cosmos DB”完成扩展，为ChatGPT带来12倍更快的读取，规模超过10亿用户。机制才是值得关注的部分。多租户把许多工作负载打包到共享存储上，使缓存条目和元数据查询被复用，而不是按租户重新计算；全局缓存把复用数据放到最需要它的请求附近；Cosmos DB承载元数据层，使租户在这种扇出下仍可寻址。成本正在这里：每一单位跨租户复用，都是你不再能免费获得的隔离与一致性；因此12倍是共享设计的属性，而非免费升级。对基础设施负责人而言，判断因此不在于是否采用缓存，而在于在复用广度与影响范围之间划界——文章将此归因于工程选择，而非任何已声明的SLA。