六位AWS工程师如何重构Bedrock,向微软发起挑战
2022 年底 ChatGPT 发布拉开 AI 竞赛序幕,时隔近一年,AWS 在 2023 年秋季推出 Bedrock。亚马逊此前已经拥有 SageMaker 等 AI 工具,但在 AI 浪潮初期起步不顺,给微软创造机会。一名项目参与者称,AWS 工程师每周工作 60 小时,打造这项服务,让客户能够把云应用接入大语言模型。 AWS 推出这项新服务,部分原因是客户无法在原有系统上运行头部 AI 模型。和普通软件不同,大模型使用的是 AI 企业严格保密的专有权重,模型厂商不允许客户直接访问权重。 但仓促开发上线的 Bedrock,在后续两名项目参与者看来,产品有种 “拼凑感”。一位内部人士和另一名项目成员表示,原有架构无法充分利用 AI 芯片算力,导致客户频繁报错,限制 Bedrock 大规模扩容。 AWS 发言人回应:“我们持续迭代服务,力求尽善尽美。但在我们这种体量下,偶尔会出现难以预见的问题,我们会识别、同步客户并尽快解决。” 与此同时,客户算力配额问题越来越突出。每个用户拥有基础算力额度,一旦用量上升就会被限流,需要等待 AWS 释放更多算力。一名前员工称,部分客户等待时长最长可达三周。 一名产品团队成员透露,2025 全年不断有客户投诉,亚马逊限制他们调用 Anthropic 模型。AWS 管理层一度担心 AI 代码初创公司 Lovable 会因为 Bedrock 调用 Claude 困难而迁出平台。 一名看到这份内部文档的人士称,2025 年初,AWS 销售团队传阅一份内部报告,指出 Bedrock 的技术缺陷正在阻碍获客。同期 The Information 报道,高层将 Bedrock 算力危机称作一场 “灾难”。 亨特表示,客户实测发现:2024 年,Bedrock 上运行 Anthropic 模型的吞吐(token / 秒)最高比直接对接 Anthropic 慢 63%。企业直连模型厂商,是通过 API 调用,模型本身依然托管在云服务器;Anthropic 除 AWS 外,还在谷歌云提供模型直连 API。 Bedrock 的问题甚至引发亚马逊其他业务线高管不满。两名听过相关谈话的人士称,时任亚马逊电商高级副总裁戴夫・特雷德韦尔在 2025 年初向 AWS 管理层表示,Bedrock 持续报错、算力紧张,让他想直接改用 OpenAI 原生模型(OpenAI 原生模型主要托管在微软 Azure)。一名接近亚马逊的人士对特雷德韦尔这番说法提出异议,特雷德韦尔现已转岗至 AWS。