亚马逊云科技Inf2为数百万用户交付更优质的体验

　　原标题：亚马逊云科技Inf2为数百万用户交付更优质的体验

　　亚马逊云科技一直致力于不断降低机器学习的使用门槛，已经帮助超过10万家来自各行各业的不同规模的客户使用机器学习进行创新。亚马逊云科技在人工智能和机器学习堆栈的三个层级都拥有至深至广的产品组合。长期以来不断投入、持续创新，为机器学习提供高性能、可伸缩的基础设施，和极具性价比的机器学习训练和推理;亚马逊云科技研发了Amazon SageMaker，为所有开发人员构建、训练和部署模型提供最大的便利;还推出了大量服务，使客户通过简单的API调用就可添加AI功能到应用程序中，如图像识别、预测和智能搜索。得益于此，Intuit、汤森路透、阿斯利康、法拉利、德甲联赛、3M和宝马等客户，以及全球数千家初创企业和政府机构正在通过机器学习进行数字化转型，带动产业升级，重新定义机器学习的使命。

　　宣布Amazon EC2 Trn1n和Amazon EC2 Inf2实例正式可用： 成本效益的生成式AI云基础设施

　　无论运行、构建还是定制基础模型，都需要高性能、低成本且为机器学习专门构建的基础设施。过去五年，亚马逊云科技持续加大在自研芯片方面的投入，不断突破性能和价格的极限，以支持对此有极高要求的机器学习训练与推理等工作负载。亚马逊云科技Trainium和Inferentia芯片可以提供在云上训练模型和运行推理的 成本。正是因为在成本和性能方面的优势，像AI21 Labs、Anthropic、Cohere、Grammarly、Hugging Face、Runway、Stability AI等领先的AI初创公司都选择运行在亚马逊云科技上。

　　由Trainium支持的Trn1计算实例与其他任何EC2实例相比，都可以节省高达50%的训练成本，并经过优化，可以在与高达800Gbps的第二代EFA(弹性结构适配器)网络相连的多个服务器上分发训练任务。客户可以在超大规模集群(UltraClusters)中部署Trn1实例，数量可以扩展到在同一可用区中3万个Trainium芯片，相当于超过6 exaflops的计算能力，并具有PB级网络。许多亚马逊云科技客户，包括Helixon、Money Forward和亚马逊的搜索团队，都使用Trn1实例将训练最大规模的深度学习模型所需的时间从几个月缩短到几周甚至几天，并且降低了成本。

　　今天，基础模型花费的时间和金钱主要用于训练，这是因为许多客户才刚刚开始将基础模型部署到生产中。但是，在未来，当基础模型进入大规模部署时，大部分成本将用于运行模型和进行推理。客户通常会定期训练模型，于是生产应用程序会不断生成预测(称为推理)——每小时可能生成数百万预测。而且这些预测需要实时发生，这就需要极低延迟和高吞吐量的网络。Alexa就是一个典型的例子，它每分钟都会接受数百万次请求，处理这些请求占所有计算成本的40%。

　　2018年，我们发布了首款推理专用芯片Inferentia。每年，亚马逊都运用Inferentia运行数万亿次推理，并节省数亿美元成本。这是十分显著的成果，继续创新的空间依然巨大，因为随着越来越多的客户将生成式AI集成到他们的应用程序中，工作负载的规模和复杂性只会越来越大。

　　因此，亚马逊云科技宣布由Amazon Inferentia2提供支持的Inf2实例正式可用，这些实例专门针对运行数千亿个参数模型的大规模生成式AI应用程序进行了优化。与上一代相比，Inf2实例不仅吞吐量提高了4倍，延迟降低了10倍，还可实现加速器之间的超高速连接以支持大规模分布式推理。与同类Amazon EC2实例相比，这些能力将推理性价比提高了40%，并把云中的推理成本降到 ，Runway等客户有望利用Inf2将部分模型的吞吐量提升至原来的两倍。受益于高性能和低成本的推理，Runway能够引入更多功能，部署更复杂的模型，并最终为自己的数百万用户交付更优质的体验。