本文介绍了 Salesforce 如何通过 Amazon SageMaker AI Inference Components 降低 GPU 成本，并调整默认放置策略以满足其多可用区（Multi-AZ）高可用性要求。文章由 Salesforce 的 LLM Gateway 团队及 Amazon SageMaker 推理团队共同撰写，重点讨论了如何为代理工作负载构建可靠的推理基础设施。
本文介绍了 Salesforce 如何通过 Amazon SageMaker AI Inference Components 降低 GPU 成本，并调整默认放置策略以满足其多可用区（Multi-AZ）高可用性要求。文章由 Salesforce 的 LLM Gateway 团队及 Amazon SageMaker 推理团队共同撰写，重点讨论了如何为代理工作负载构建可靠的推理基础设施。