AWS宣布推出生成式AI新工具

我們正處在一個機器學習被大規模採用的令人興奮的轉捩點上，Amazon Web Services（AWS）相信生成式AI將會重塑大量客戶體驗和應用程式。

採用機器學習新範式協助業務發展已經存在了幾十年。隨著足夠的可擴充運算力的到位、海量數據的爆炸，以及機器學習技術的快速進步，各行各業的客戶開始對業務進行重塑。最近，像ChatGPT這樣的生成式AI應用引起了廣泛的關注，引發了諸多想像。我們正處在一個機器學習被大規模採用的令人興奮的轉捩點上，Amazon Web Services（AWS）相信生成式AI將會重塑大量客戶體驗和應用程式。

二十多年來，人工智能和機器學習一直是亞馬遜關注的焦點。亞馬遜提供客戶的許多功能都是由機器學習驅動的，例如我們的電商推薦引擎、營運中心撿貨機器人的路徑選擇，以及我們的供應鏈、預測和產能規劃。Prime Air（亞馬遜無人機）和Amazon Go（亞馬遜實體無人零售實體店，消費者可以自選商品後直接離開，無需現場排隊結帳付款）中的電腦視覺技術都使用了深度學習。Alexa每週回應客戶數十億次關於管理智能家居、購物、資料取得和娛樂的請求，這也得益於來自 30 多種不同的機器學習系統的支援。亞馬遜有數千名工程師專注於機器學習研究，這既是亞馬遜 的寶貴資產，也是亞馬遜現在最關注的理念，和面向未來的實力之所在。

AWS致力於不斷降低機器學習的使用門檻，已經幫助超過十萬家來自各行各業的不同規模的客戶使用機器學習進行創新。AWS 在人工智能和機器學習堆疊的三個層級都擁有至深至廣的產品組合。長期以來，AWS 不斷投入、持續創新，為機器學習提供高效能、可擴充的基礎設施，和極具性價比的器學習訓練和推論；AWS 研發了Amazon SageMaker，所有開發人員能更便利地建構、訓練和部署模型；AWS 還推出了大量服務，使客戶透過簡單的API調用就可添加AI功能到應用程式中，如圖像識別、預測和智能搜尋。得益於此，Intuit、湯森路透、AZ（AstraZeneca）、法拉利、德甲聯賽、3M和BMW等客戶，以及全球數千家新創企業和政府機構正在透過機器學習進行數碼轉型，帶動產業升級，重新定義機器學習的使命。AWS 同樣致力於推動生成式AI技術的普及：AWS 將這些技術從研究和實驗領域釋放出來，不只是少數新創和資金雄厚的大型科技公司，而是讓更多企業都能從中受益。因此，AWS 宣布數項創新，幫助客戶更簡單、更容易地在業務中使用生成式AI。

生成式AI和基礎模型

生成式AI是人工智能的一種，能夠創造新內容和想法，包括對話、故事、圖像、影片和音樂。與所有人工智能技術一樣，生成式AI的能力由機器學習模型提供。這些模型是基於大量數據進行預先訓練的大模型，通常被稱為基礎模型（Foundation Models）。機器學習的最新進展（特別是基於Transformer的神經網絡架構的發明）直接帶來一種模型的爆發式增長，這種模型通常包含數十億個參數或變數。這是怎樣一個數量變化呢？2019年最大的預訓練模型是3.3億個參數。現在，最大的模型包含的參數超過5千億個，相當於幾年間增加了1,600倍。如今的基礎模型，例如大型語言模型GPT3.5或BLOOM，以及由Stability AI開發的文生圖模型Stable Diffusion，可以執行跨多個領域的多種任務，例如撰寫博客文章、生成圖像、解決數學問題、對話聊天、基於文檔回答問題等。基礎模型的規模和通用場景的性質使其不同於傳統的機器學習模型，後者通常僅執行特定的任務，例如分析文本觀點、分類圖像和預測趨勢等。

基礎模型包含大量參數，能夠學習複雜的概念，因此可以執行更多任務。透過基於互聯網規模的、各種形式和模式的海量資料進行預先訓練，基礎模型學會在各種語境中應用所習得的知識。儘管預訓練基礎模型所帶來的功能和可能性已足夠令人驚歎，而真正讓客戶為此興奮不已的是，這些通用模型也可以被客製化加工，執行專屬於其業務領域的特定功能，幫助業務建立差異化競爭優勢，與從零開始訓練模型相比，僅需使用一小部分資料和運算資源。客製化的基礎模型可以帶來獨特的顧客體驗，體現公司的觀點、風格和服務，適用於眾多消費者產業，如金融銀行、旅遊和醫療等。例如，一家金融公司如果需要將所有相關交易自動生成每日報告以供內部流通，它可以使用包括既往報告在內的專有資料來客製化模型，以便基礎模型了解如何閱讀報告和使用哪些資料來生成日報。

基礎模型擁有巨大的潛力，但我們仍處在初級階段。ChatGPT率先吸引了客戶對生成式AI的關注。對生成式AI展開研究的人很快意識到，多家公司已經在基礎模型上耕耘多年，可用的基礎模型也有很多，且各有各的優勢和特點。在過去的數年間，我們都經歷了技術的快速發展，機器學習的演進也是日新月異。AWS期待未來會湧現全新的體系和架構，而基礎模型的多樣化會推動新一波的創新浪潮。此前所未聞的新應用體驗在今天已經成為現實。很多客戶都在詢問我們，如何快速利用現今以及未來可能出現的技術，如何快速使用基礎模型和生成式AI立刻為公司業務大幅提升生產效率和變革產品與服務。

推出Amazon Bedrock和Amazon Titan模型：借助基礎模型建構和擴充生成式AI應用程式的最簡單途徑

客戶提出了他們主要的需求。首先，他們需要能直接找到並接駁高性能基礎模型，這些模型需要能夠給出既匹配業務場景又優秀得回饋結果。其次，客戶希望無縫與應用程式整合，且無需管理大量基礎設施，也不會增加過高的成本。最後，客戶希望能夠輕鬆上手，基於基礎模型，利用自己的數據（可多可少）建構差異化的應用程式。由於客戶進行客製化的數據是非常有價值的 IP，因此需要在處理過程中確保數據安全和私隱保護。同時，客戶還希望能控制數據的分享和使用。

聽取了客戶的意見，AWS 很高興宣布推出Amazon Bedrock。這項新服務允許使用者透過API存取來自AI21 Labs、Anthropic、Stability AI和亞馬遜的基礎模型。Bedrock是客戶使用基礎模型建構和擴充生成式AI應用程式的最簡單方法，為所有開發者降低使用門檻。在Bedrock上，用戶可以透過可擴充、可靠且安全的AWS託管服務，存取從文本到圖像的一系列強大的基礎模型，以及AWS 此次發布的Amazon Titan基礎模型。Amazon Titan基礎模型目前包括了兩個全新的大語言模型。憑藉Bedrock所帶來的無伺服器體驗，客戶可以輕鬆找到適合自身業務的模型，快速上手，在確保資料安全和私隱保護的前提下，使用自有資料基於基礎模型進行客製化，並使用他們已經熟悉的AWS工具和能力，將客製化模型整合並部署到他們的應用程式中，同時無需管理任何基礎設施。比如，客戶可以將基礎模型與Amazon SageMaker機器學習功能整合，使用Amazon SageMaker Experiments測試不同模型和使用Pipelines大規模管理基礎模型等。

客戶也可使用Bedrock存取一些目前最領先的可用基礎模型。這將包括AI21 Labs開發的Jurassic-2多語種大語言模型系列，能夠根據自然語言指令生成文本內容，目前支援西班牙語、法語、德語、葡萄牙語、義大利語和荷蘭語。還有Anthropic開發的大語言模型Claude，它是基於Anthropic對於訓練誠實和負責任的AI（responsible AI）系統的大量研究，能夠執行多種對話和文本處理任務。客戶還可以透過Bedrock輕鬆存取Stability AI開發的文生圖基礎模型Stable Diffusion，這是文生圖領域目前最流行的模型，能夠生成獨特、寫實、高品質的圖像、藝術作品、商標和其它設計圖。

Bedrock最重要的能力之一是極其容易客製化模型。客戶只需向Bedrock展示Amazon S3中的幾個標註好的資料範例，Bedrock就可以針對特定任務微調模型，最少僅需20個範例即可，且無需標註大量資料。假設一位時裝零售產業的內容營銷經理，想為即將推出的手提包新品系列開發新穎且使用者導向的廣告創意。他向Bedrock提供了一些表現最佳的過往營銷廣告示例，以及新品的相關描述，Bedrock將能自動為這些新品生成有效的社交媒體內容、展示廣告和產品網頁。沒有任何客戶資料被用於訓練底層模型，所有資料都進行了加密，且不會離開客戶的虛擬私有雲（Virtual Private Cloud，VPC），確保客戶的資料安全和私隱保護。

Bedrock目前提供有限預覽，Coda.IO等客戶的開發團隊對使用Bedrock充滿期待。Coda.IO的聯合創始人兼CEO Shishir Mehrotra表示：「作為AWS的長期客戶，我們對Amazon Bedrock帶來的高品質、可擴充性和效能充滿期待。我們所有的數據已經儲存在AWS上，我們能夠利用Bedrock快速採用生成式AI，並能充分保證我們數據的安全和私隱。目前，包括Uber、紐約時報、Square在內的成千上萬個團隊都在採用Coda，因此，可靠性與可擴充性十分重要。」

一些客戶已經預覽了亞馬遜全新的Titan基礎模型，在未來幾個月內，AWS 會進一步擴充其可用範圍。AWS將首先發布兩個Titan模型。第一個是針對總結、文本生成（如原創博客文章）、分類、開放式問答和資訊擷取等任務的生成式大語言模型。第二個是文本嵌入（embeddings）大語言模型，能夠將文本輸入（字詞、短語甚至是大篇幅文章）翻譯成包含語義的數值表示（即embeddings 嵌入編碼）。雖然這種大語言模型不生成文本，但對個性化推薦和搜尋等應用程式卻大有裨益，因為相對於匹配文字，對比編碼可以幫助模型產生更相關、更符合情境的結果。實際上，Amazon.com的產品搜尋能力就是採用了類似的文本嵌入模型，能夠幫助客戶更好地查找所需的商品。為了持續推動負責任使用AI的最佳實踐，Titan基礎模型可以識別和刪除客戶提交給客製模型之資料中的有害內容，拒絕使用者輸入不當內容，也過濾模型輸出結果中的不當內容，如仇恨言論、髒話和語言暴力。

任何規模的企業都可以透過Bedrock存取基礎模型，加速機器學習在組織內部的應用，並憑藉其輕鬆上手的特性，建構自己的生成式AI應用程式。AWS 相信，Bedrock將是基礎模型普及化過程中的一大步。埃森哲、德勤、Infosys和Slalom等合作夥伴都在建構最佳實踐，幫助企業借助生成式AI實現快速發展。C3AI和Pega等獨立軟體發展商（ISV）對於利用Bedrock輕鬆存取大量基礎模型，兼具安全性、私隱性和可靠性充滿期待。

宣布Amazon EC2 Trn1n和Amazon EC2 Inf2執行個體正式可用：最具成本效益的生成式AI雲端基礎設施

無論執行、建構還是客製化基礎模型，客戶都需要高效能、低成本且為機器學習專門建構的基礎設施。過去五年，AWS持續加大投入自研晶片，不斷突破效能和價格的極限，以支持對此有極高要求的機器學習訓練與推論等工作負載。AWS Trainium和Inferentia晶片可以提供在雲上訓練模型和執行推論的最低成本。正是因為AWS 在成本和效能方面的優勢，像 AI21 Labs、Anthropic、Cohere、Grammarly、Hugging Face、Runway、Stability AI 等領先的AI新創公司都選擇執行在AWS上。

由Trainium支援的Trn1執行個體與其他任何EC2執行個體相比，都可以節省高達50%的訓練成本，並經過優化，可以在與高達800Gbps的第二代EFA（彈性結構適配器）網絡相連的多個伺服器上分發訓練任務。客戶可以在超大規模叢集（UltraClusters）中部署Trn1執行個體，數量可以擴充到在同一可用區中3萬個Trainium晶片，相當於超過6 exaflops的運算能力，並具有PB級網絡。許多AWS客戶，包括Helixon、Money Forward和亞馬遜的搜尋團隊，都使用Trn1執行個體將訓練最大規模的深度學習模型所需的時間從幾個月縮短到幾周甚至幾天，並且降低了成本。800 Gbps的頻寬已經很大，但AWS 仍不斷創新、擴充頻寬。AWS 宣布全新的、網絡優化型Trn1n執行個體正式可用，它可以提供1600 Gbps的網絡頻寬，專為大型網絡密集型模型設計，其效能比Trn1高出20%。

現今基礎模型花費的時間和金錢主要用於訓練，這是因為許多客戶才剛剛開始將基礎模型部署到生產中。但是，未來，當基礎模型進入大規模部署時，大部分成本將用於執行模型和進行推論。客戶通常會定期訓練模型，於是生產應用程式會不斷生成預測（稱為推論）——每小時可能生成數百萬預測。而且這些預測需要即時發生，這就需要極低延遲和高輸送量的網絡。Alexa就是一個典型的例子，它每分鐘都會接受數百萬次請求，處理這些請求佔所有運算成本的40%。

AWS 相信，未來大部分機器學習成本將來自推論的執行。因而，幾年之前，當AWS 開始研發新型晶片時，就已經將推論優化型晶片置於首位。2018年，AWS 發布了首款推論專用晶片Inferentia。每年，亞馬遜都運用Inferentia執行數萬億次推論，並節省數億美元成本。這是十分顯著的成果，然而AWS認為繼續創新的空間依然很大，因為隨著越來越多的客戶將生成AI整合到他們的應用程式中，工作負載的規模和複雜性只會越來越大。

因此，AWS 宣布由AWS Inferentia2提供支援的Inf2執行個體正式可用，這些執行個體專門針對執行數千億個參數模型的大規模生成式AI應用程式進行了優化。與上一代相比，Inf2執行個體不僅輸送量提高了4倍，延遲降低了10倍，還可實現加速器之間的超高速連接以支持大規模分散式推論。與同類Amazon EC2執行個體相比，這些能力將推論性價比提高了40%，並把雲中的推論成本降到最低。與同類Amazon EC2執行個體相比，Runway等客戶有望利用Inf2將部分模型的輸送量提升至原來的兩倍。受益於高效能和低成本的推論，Runway能夠引入更多功能，部署更複雜的模型，並最終為自己的數百萬用戶提供更優質的體驗。

宣布CodeWhisperer正式可用，並針對個人開發者免費開放

對客戶而言，利用正確的基礎模型進行建構，並在最佳效能的雲端基礎設施上大規模執行生成式AI應用程式，將帶來顛覆性變革。同時，這也將帶來革命性的全新用戶體驗。當應用程式或系統具備內建的生成式AI能力時，用戶可以獲得更自然、更流暢的交互體驗。這就如同現今手機的人臉識別解鎖功能，我們無需了解這一功能背後強大的機器學習模型，卻可以做到看一眼手機就解鎖了。

程式設計將是生成式AI技術可快速應用的領域之一。現今，軟件開發者需要花費大量時間編寫相當淺顯和無差別的程式碼。他們還需要花費不少時間學習複雜的新工具和技術，而這些工具和技術總在不斷演進。因此，開發者真正用於開發創新的功能與服務的時間少之又少。為應對這一難題，開發者會嘗試從網上複製程式碼片段再進行修改，但可能無意中就複製了無效程式碼、有安全隱患的程式碼、或對開源軟件的使用沒有進行有效的追溯。而且這種搜尋和複製的方式也浪費了開發者用於創新的時間。

生成式 AI 可以透過「編寫」大部分無差別的程式碼來大大減少這種繁重的工作，讓開發人員能夠更快地編寫程式碼，同時讓他們有時間專注在更具創造性的程式設計工作上。 因此，AWS 去年宣布推出了 Amazon CodeWhisperer 預覽版，這是一款 AI 程式設計助手，透過內嵌的基礎模型，可以根據開發者用自然語言描述的注釋和整合式開發環境（IDE）中的既有程式碼即時生成程式碼建議，從而提升開發者的生產效率。開發人員只需要向 CodeWhisperer 提出任務命令，例如「解析一個含有歌曲資訊的 CSV 字串」，並要求它回傳一個基於藝術家、標題和排行榜最高排名等資料的結構化清單，CodeWhisperer 就可以解析字串並回傳指定的清單，從而大幅提升工作效率。CodeWhisperer 預覽版發布後得到了開發者們的熱烈回應。AWS 始終相信，幫助開發人員編寫程式碼可能成為未來幾年生成式 AI 得以發揮巨大效力的應用場景之一。 在預覽期間，AWS 還進行了一項生產力測試，與未使用 CodeWhisperer 的參與者相比，使用 CodeWhisperer 的參與者完成任務的速度平均快57%，成功率高 27%。這是開發人員生產力的巨大飛躍，而我們相信這才僅僅是個開始。

Amazon CodeWhisperer正式可用，在適用 Python、Java、JavaScript、TypeScript 和 C#之外，新增支持Go、Kotlin、Rust、PHP 和 SQL等10 種開發語言。開發者可以透過在VS Code、IntelliJ IDEA、AWS Cloud9等整合式開發環境中的AWS Toolkit IDE外掛程式使用 CodeWhisperer。 CodeWhisperer 也可在AWS Lambda控制台中使用。除了從數十億行公開程式碼中學習之外，CodeWhisperer 也基於亞馬遜的程式碼進行了訓練。 AWS 相信 CodeWhisperer 是目前為AWS（包括 Amazon EC2、AWS Lambda和Amazon S3）生成程式碼的最準確、最快和最安全的方式。

如果生成式 AI 工具建議的程式碼包含隱藏的安全性漏洞或未能負責任地處理開原始程式碼，開發人員則無法真正提高工作效率。CodeWhisperer是唯一具有內建安全掃描功能（透過自動推論實現）的 AI 程式設計助手，用於查找難以檢測的漏洞並提出補救建議，例如十大開放式Web應用程式安全專案（OWASP）中的漏洞，以及不符合加密庫最佳實踐的漏洞等。為了幫助開發人員以負責任的方式開發程式碼，CodeWhisperer會過濾掉可能被認為有偏見或不公平的程式碼建議，同時，由於客戶可能需要參考開源程式碼或獲得其使用許可，CodeWhisperer 是唯一可以過濾和標記類似開源始程式碼之生成結果的程式設計助手。

AWS 相信生成式AI將改變開發者的遊戲規則，因此希望它能盡可能被更多人所用。 所以，CodeWhisperer將開放所有個人用戶免費使用，並不設任何次數或使用時間的限制！任何人都可以透過email帳戶在幾分鐘內註冊 CodeWhisperer進行使用，而無需具備AWS帳號。對於企業客戶，AWS 則提供了CodeWhisperer 專業版，其中包括更多高級管理功能，如整合了AWS Identity and Access Management（IAM）身份與存取管理服務的單點登入（single sign-on，SSO），以及使用更高程度的安全掃描。

建構像 CodeWhisperer 這樣強大的應用程式，對開發人員和AWS 所有的客戶來說，都帶來巨大的變革性。AWS 還有更多創新的產品在規劃中，也期待更多的客戶和開發者在AWS上建構更加創新和顛覆性的生成式AI應用。AWS 的使命是，讓各種技能水準的開發人員和各種規模的組織都有機會使用生成式AI進行創新。AWS 相信，新一波機器學習技術創新才剛剛開始、方興未艾，未來還有無限可能。