AWS 推出新一代自研晶片

• Amazon Graviton4 為目前 AWS 性能最強、最具能源效益的自研晶片，支援大範圍的雲端工作負載

• Amazon Trainium2 將為 AWS 上的模型訓練提供最高運算性能，並提高訓練速度、降低成本及能源消耗

AWS 在 2023 re:Invent 全球大會上宣布兩個自研晶片家族系列將推出新一代晶片成員，包括 Amazon Graviton4 和 Amazon Trainium2，為需要機器學習（ML）訓練和生成式 AI（Generative AI）應用等多樣化工作負載的客戶提供更高效和更具能源效益的選擇。Graviton4 和 Trainium2 是 AWS 在自研晶片上的最新突破，AWS持續提升每一代自研晶片的性價比和能源效益，為客戶提供 AMD、Intel 以及 NVIDIA 等最新晶片和 instance 組合之外更多的選擇，從而使 Amazon Elastic Compute Cloud（Amazon EC2）可以為客戶虛擬運行幾乎所有應用程式和工作負載。

• Graviton4 與當前一代 Graviton3 處理器相比，性能提升高達 30%，獨立核心數量增加 50% 以上，記憶體寬頻提升 75% 以上，為在 Amazon EC2 上運行的工作負載提供最佳性能和能源效益。

• Trainium2 的訓練速度與第一代 Trainium 晶片相比提升多達 4 倍，並能在EC2 UltraClusters 中部署多達 100,000 個晶片，可以在極短的時間訓練基礎模型（FMs）和大語言模型（LLMs），同時提升多達 2 倍的能源效益。

AWS 運算和網絡副總裁 David Brown 表示：「晶片是所有客戶工作負載的基礎，所以 AWS一直將晶片視為其至關重要的創新領域。通過將晶片設計聚焦於客戶真正關心的實際工作負載，我們能夠為客戶提供最先進的雲端基礎架構。Graviton4 是我們同系列在五年內推出的第四代晶片，是我們至今功能最強大和最具能源效益的晶片，為客戶大範圍的工作負載提供進一步的支援。隨著生成式 AI 引起的廣泛關注，Trainium2 可以讓客戶以更低成本和更高的能源效益，更快地訓練機器學習模型。」

Graviton4 為客戶大範圍的工作負載提供更高性價比和能源效益

如今，AWS 在全球提供多達 150 多個以 Graviton 驅動的Amazon EC2 instances 種類，已經構建超過200萬個 Graviton處理器，並擁有超過 50,000 名客戶，包括 EC2前 100大客戶，正在使用以 Graviton 驅動的 instance 為其應用提供最高的成本效益。Datadog、DirecTV、Discovery、Formula 1 （F1）、NextRoll、Nielsen、Pinterest、SAP、Snowflake、Sprinklr、Stripe 以及 Zendesk 等客戶正使用基於 Graviton 的instance 運行大範圍的工作負載，包括資料庫、資料分析、網絡服務器、批次處理、廣告服務、應用伺服器以及微服務等。隨著客戶把更大的記憶體資料庫和分析工作負載遷移到雲端上，他們對運算、記憶體、儲存和網路的要求也隨之增加。為此，他們需要更高性能和更大的 instance 來運行這些要求嚴格的工作負載，同時需要減省成本。針對這些工作負載，客戶同時希望能使用更節能的計算資源，減少對環境的影響。目前，很多 AWS 的託管服務均支援使用 Graviton，包括 Amazon Aurora、Amazon ElastiCache、Amazon EMR、Amazon MemoryDB、Amazon OpenSearch、Amazon Relational Database Service（Amazon RDS）、Amazon Fargate 以及 Amazon Lambda 等，務求將 Graviton 的成本效益優勢帶給上述服務的使用者。

Graviton4 處理器比 Graviton3 處理器的性能高 30%，獨立核心數量增加 50% 以上，記憶體頻寬提升 75% 以上。Graviton4 還進一步通過高速物理硬體介面的完全加密提升了安全性。Amazon EC2 R8g 記憶體最佳化instances將採用最新的 Graviton4，提升客戶運行高性能資料庫、記憶體緩存、大資料分析等工作負載的效率。R8g instance 相比當前一代的 R7g instance 提供更大的instance 大小，而虛擬處理器（vCPU）以及記憶體更提升了3倍。升級令使用者可以處理更大量的資料、更大規模的工作負載、更快地獲得運行結果，並降低總體擁有成本。以 Graviton4 驅動的 R8g instance 現已提供預覽版，並將在未來數月推出正式可用版。

Trainium2 的 EC2 UltraClusters 致力為客戶提供雲端上性能最高、最具能源效益的 AI 模型訓練基礎架構

生成式 AI 應用日益普及，而其背後的基礎模型和大語言模型則需要海量的資料集進行訓練。這些模型通過創造文字、音訊、圖片、影片、甚至軟件代碼等大量新的內容，協助客戶重構使用者體驗。現時最先進的基礎模型和大語言模型通常包含數千億甚至數萬億個參數或變數，需要能夠支援可擴展到上萬塊機器學習晶片以及可靠的高性能運算能力。AWS現已提供由機器學習晶片支援的Amazon EC2 instances 選項，以確保廣泛且深入的覆蓋範圍，包括最新的 NVIDIA GPUs、Trainium 以及 Inferentia2。Databricks、Helixon、Money Forward 以及 Amazon Search 團隊等眾多客戶都在使用 Trainium 訓練大規模深度學習模型，並受惠於 Trainium 的高性能、可擴展、可靠以及低成本等多方面優勢。但即使已經有當今最快的 accelerated instance，客戶仍然希望獲得更高的性能和更大的規模來訓練這些日益複雜的模型，從而提高訓練速度、降低成本，以及減少能源消耗。

Trainium2 晶片專為擁有數萬億個參數或變數，且需要高性能訓練的基礎模型和大語言模型而構建。Trainium2 與第一代 Trainium 晶片相比，性能提升高達 4 倍，記憶體容量則提升 3 倍，而能源效率（每瓦性能）提升亦多達 2 倍。Amazon EC2 Trn2 instances 採用最新的 Trainium2，一個單獨instance 包含 16 個 Trainium 加速晶片。Trainium2 instances 致力為客戶在新一代EC2 UltraClusters 中擴展多達 100,000 個 Trainium2 加速晶片，並與 Amazon Elastic Fabric Adapter（EFA）PB 級網絡互聯，提供的運算能力高達 65 exaflops，客戶可按需要選擇超級運算級別的性能。該級別的規模，可讓客戶在數周內完成訓練一個具有 3 千億參數的大語言模型。通過顯著地降低成本和擴展幅度最大的模型訓練，Trainium2 instance可以協助客戶解鎖並加速生成式 AI 的新一輪創新。

Anthropic 是一家 AI 安全和研究公司，倡導負責任地部署生成式 AI，致力於創建可靠、可解釋和可控的 AI 系統。Anthropic 自 2021 年開始使用 AWS。近期，Anthropic推出了 Claude — 一款專注於提供幫助、無害且誠實的 AI 助手。Anthropic聯合創始人Tom Brown 表示：「自選用 Amazon Bedrock 以來，Claude已獲得AWS客戶的廣泛採用。Trainium2 將協助我們大規模構建和訓練模型，於我們數個主要的工作負載而言，Trainium2 相比第一代 Trainium 晶片的速度提升至少4倍。我們與AWS的合作，將令不同規模的組織有機會同時受惠於 Anthropic安全並先進的 AI 系統，以及AWS 可靠的雲端技術，從而釋放新的可能性。」

Databricks 為全球超過 10,000 家組織及機構提供服務，包括 Comcast、Condé Nast 及 50% 以上的《財富》世界500強企業，助客戶統一其資料、分析和應用 AI。Databricks 生成式 AI 副總裁 Naveen Rao 表示：「 數千家客戶在 AWS 上運行 Databricks，利用 MosaicML 對各種用例的基礎模型進行預訓練、微調及其他操作。Amazon Trainium 為我們提供了訓練 Mosaic MPT 模型所需要的規模、高性能以及低成本。Trainium2 令快速構建下一代 Mosaic MPT 模型變得可能，讓我們有機會為客戶提供前所未有的規模和性能，協助他們在更短時間內推出自己的生成式 AI 應用。」