亞馬遜云科技首席執(zhí)行官M(fèi)att Garman在re:Invent年度大會上向拉斯維加斯的60000名與會者和另外400000名在線觀看者發(fā)表了長達(dá)三小時(shí)的主題演講，讓他們從這位新領(lǐng)導(dǎo)人那里聽到了很多消息。Garman是在2006年加入AWS的，今年早些時(shí)候開始擔(dān)任首席執(zhí)行官。

這次大會專門面向構(gòu)建者和開發(fā)者，有1900場現(xiàn)場會議，3500名演講者，很多會議環(huán)節(jié)是由客戶、合作伙伴和AWS專家主持的。Garman在他的主題演講中宣布了一系列旨在讓開發(fā)者工作更輕松、更高效的進(jìn)展。

以下是他分享的九項(xiàng)關(guān)鍵創(chuàng)新：

AWS將在AI領(lǐng)域發(fā)揮重要作用

Garman在演講開始時(shí)宣布，AWS最新的Trainium2芯片和EC2 Trn-2實(shí)例將全面上市。他將這些實(shí)例描述為生成式AI最強(qiáng)大的實(shí)例，而這要?dú)w功于AWS內(nèi)部開發(fā)的定制處理器。

他說，Trainium2的性價(jià)比比目前由GPU驅(qū)動(dòng)的實(shí)例高出30%到40%。Garman 說：“這些是專為尖端的AI訓(xùn)練和推理等苛刻工作負(fù)載設(shè)計(jì)的?！盩rainium2為客戶提供了“更多選擇，讓他們可以考慮那些最適合他們正在處理的工作負(fù)載的實(shí)例?！?

Garman表示，Beta測試顯示出“令人印象深刻的早期結(jié)果”。他說，進(jìn)行測試的組織(包括Adobe、Databricks和高通)都預(yù)計(jì)這些新芯片和實(shí)例將提供更好的結(jié)果和更低的總擁有成本。他說，一些客戶預(yù)計(jì)這比替代方案要節(jié)省30%到40%的成本?！案咄▽⑹褂眠@些新的芯片提供可以在云端訓(xùn)練然后在邊緣部署的AI系統(tǒng)，”他說。

宣布這一消息的時(shí)候，很多媒體將Trainium2視為Amazon想要與Nvidia開戰(zhàn)。當(dāng)在分析師問答環(huán)節(jié)被問及這個(gè)問題的時(shí)候，Garman強(qiáng)調(diào)說事實(shí)并非如此。AWS開發(fā)自有芯片的目標(biāo)是讓整個(gè)AI芯片市場變得更大，讓每個(gè)人都能從中獲益。這就是Amazon涉足處理器行業(yè)的一種方式，沒有理由認(rèn)為它會改變合作伙伴方式，越來越多的Nvidia工作負(fù)載運(yùn)行在AWS云中，這一點(diǎn)不會改變。

新服務(wù)器可容納龐大的模型

如今的模型已經(jīng)變得非常龐大而且非?？?，具有數(shù)千億到數(shù)萬億個(gè)參數(shù)，因此無法放在單個(gè)服務(wù)器上。為了解決這個(gè)問題，AWS宣布推出了EC2 Trainium2 UltraServers。它們連接了4個(gè)Trainium2實(shí)例(64個(gè)Trainium2芯片)，所有實(shí)例都通過高速的、低延遲的Neuronlink相互連接。

這為客戶提供了一個(gè)超級節(jié)點(diǎn)，這個(gè)超級節(jié)點(diǎn)的計(jì)算能力超過83 petaflops。Garman表示，這將“對延遲和性能產(chǎn)生巨大的影響”，使非常大的模型能夠加載到單個(gè)節(jié)點(diǎn)中，從而提供更好的延遲和性能，而無需將其分散到多個(gè)節(jié)點(diǎn)上。Garman表示，Trainium3芯片將于2025年上市，它將滿足新一代AI不斷變化的需求，給客戶提供推理所需的環(huán)境。

利用Nvidia的Blackwell架構(gòu)

Garman表示，AWS是客戶使用Nvidia Blackwell架構(gòu)最簡單、也是最具成本效益的一種方式。AWS公布了基于Blackwell的全新P6系列實(shí)例，這些新實(shí)例將于2025年初推出，采用Nvidia最新的GPU，計(jì)算速度將比當(dāng)前一代GPU快2.5倍。

AWS與Nvidia在運(yùn)行生成式AI工作負(fù)載方面的合作取得了重大進(jìn)展。Bedrock為客戶提供了模型選擇：它不是一個(gè)統(tǒng)治了所有模型的模型，而是各種模型的單一來源，包括AWS新發(fā)布的Nova模型。應(yīng)用和生成式AI應(yīng)用之間不會有區(qū)別，生成式AI將成為每個(gè)應(yīng)用的一部分，利用推理來增強(qiáng)、構(gòu)建或更改應(yīng)用。

Garman說，Bedrock之所以能引起客戶的共鳴，是因?yàn)樗峁┝税焉墒紸I集成到生產(chǎn)應(yīng)用中所需的一切，而不僅僅是概念驗(yàn)證。他說，客戶開始看到它帶來的真正影響。領(lǐng)先的生物技術(shù)和制藥公司Genentech希望通過使用科學(xué)數(shù)據(jù)和AI快速識別和定位用于試驗(yàn)的新藥物和生物標(biāo)志物，以加速藥物發(fā)現(xiàn)和開發(fā)。尋找所有這些數(shù)據(jù)，就需要科學(xué)家搜索很多的外部來源和內(nèi)部來源。

Genentech使用Bedrock設(shè)計(jì)了一個(gè)生成式AI系統(tǒng)，讓科學(xué)家可以詢問有關(guān)數(shù)據(jù)的詳細(xì)問題，系統(tǒng)會從龐大的庫中識別適當(dāng)?shù)臄?shù)據(jù)庫和論文，綜合洞察和各種數(shù)據(jù)源。

它總結(jié)了獲取信息的來源并引用來源，這對于科學(xué)家開展工作非常重要。Genentech的科學(xué)家過去需要數(shù)周時(shí)間才能完成一次查找，而現(xiàn)在只需幾分鐘即可完成。

據(jù)Garman稱，Genentech預(yù)計(jì)將把原來需要5年時(shí)間的手動(dòng)工作實(shí)現(xiàn)自動(dòng)化，加快提供新藥。他說：“領(lǐng)先的ISV如Salesforce、SAP和Workday，他們正在把Bedrock深入集成到他們的客戶體驗(yàn)中，以提供生成式AI應(yīng)用。”

Bedrock模型提煉簡化了復(fù)雜的過程

Garman表示，AWS讓企業(yè)更容易采用大型的、功能強(qiáng)大的前沿模型，發(fā)送他們提出問題的提示?！叭缓?，你收集所有數(shù)據(jù)和由此得出的答案，并利用這些輸出和問題來訓(xùn)練一個(gè)較小的模型，使其成為某一特定領(lǐng)域的專家。這樣，你就會得到一個(gè)更小型的、更快的模型，這個(gè)模式知道怎樣回答一組特定的問題，這對于提供專家模型是非常有效的，但需要機(jī)器學(xué)習(xí)的參與。你必須管理所有的數(shù)據(jù)工作流和訓(xùn)練數(shù)據(jù)，必須調(diào)整模型參數(shù)，考慮模型權(quán)重，這非常有挑戰(zhàn)性，這時(shí)候Bedrock中的模型提煉就會發(fā)揮作用了?！?

提煉后的模型可以比提煉它們的模型快500%，成本低75%，這是一個(gè)巨大的差異，“Bedrock可以做到這一點(diǎn)，”他說。這種成本差異可以將生成式AI的投資回報(bào)率從過于昂貴而無法投入生產(chǎn)，轉(zhuǎn)變?yōu)榉浅Ｓ袃r(jià)值。你通過應(yīng)用發(fā)送Bedrock示例提示，它就會完成所有的工作。

但獲得正確的模型只是第一步?！吧墒紸I應(yīng)用真正的價(jià)值在于將企業(yè)數(shù)據(jù)與智能模型結(jié)合在一起，這樣，你就會獲得真正與眾不同且有趣的結(jié)果，這些結(jié)果對你的客戶至關(guān)重要。你的數(shù)據(jù)和IP確實(shí)發(fā)揮了重要的作用，”Garman說道。

AWS擴(kuò)展了Bedrock對各種格式的支持，添加了新的矢量數(shù)據(jù)庫例如OpenSearch和Pinecone。Bedrock使用戶能夠獲得正確的模型，容納企業(yè)數(shù)據(jù)，并為應(yīng)用可以做什么以及響應(yīng)是什么設(shè)定一個(gè)界限。

讓客戶能夠部署帶有護(hù)欄的、負(fù)責(zé)任的AI

Bedrock Guardrails護(hù)欄可以輕松定義應(yīng)用的安全性并實(shí)施負(fù)責(zé)任的AI檢查。Garman說：“這些是你的模型指南，你只希望你的生成式AI應(yīng)用談?wù)撓嚓P(guān)主題。例如，假設(shè)你有一個(gè)保險(xiǎn)應(yīng)用，客戶來詢問你擁有的各種保險(xiǎn)產(chǎn)品，你很高興讓它回答有關(guān)政策的問題，但你不希望它回答有關(guān)政治的問題或提供醫(yī)療建議，對嗎?你想要這些護(hù)欄說，‘我只希望你回答這個(gè)領(lǐng)域的問題?！?

Garman說，這對于開發(fā)生產(chǎn)應(yīng)用來說是一項(xiàng)重要的能力。他解釋說：“這就是Bedrock為何如此受歡迎的原因。去年，很多公司都在為生成式AI應(yīng)用構(gòu)建POC，而像Guardrails這樣的功能并不那么重要。讓模型‘做很酷的事情’是可以的。但是，當(dāng)你將生成式AI深度集成到你的企業(yè)應(yīng)用時(shí)，在轉(zhuǎn)向生產(chǎn)應(yīng)用時(shí)你就必須擁有很多這樣的功能?！?

讓開發(fā)者更容易開發(fā)

Garman說，AWS希望幫助開發(fā)者進(jìn)行創(chuàng)新，讓他們擺脫無差別的繁重工作，這樣他們就可以專注于創(chuàng)造性的事情，“讓你正在構(gòu)建的東西變得獨(dú)一無二”，而生成式AI就是這種能力的一個(gè)巨大加速器。它讓開發(fā)者可以專注于這些部分工作，推遲一些無差別的繁重工作。AWS在2023年首次推出Q Developer，它對開發(fā)者來說就是一位“AWS專家”，是“軟件開發(fā)最強(qiáng)大的生成式AI助手”。

Q Developer幫助Datapel Systems“實(shí)現(xiàn)了高達(dá)70%的效率提升，縮短了部署新功能所需的時(shí)間，更快速地完成了任務(wù)，最大限度地減少了重復(fù)操作”，Garman說。

但這不僅僅是關(guān)于效率。Financial Industry Regulatory Authority (FINRA)通過使用Q Developer幫助創(chuàng)建性能更好的、更安全的軟件，代碼質(zhì)量和完整性提高了20%。Garman說，Amazon Q“在市場上所有多行編碼助手中，擁有最高的認(rèn)可率”。

然而，編碼助手只是大多數(shù)開發(fā)者所需功能中的一小部分。AWS的研究表明，開發(fā)者每天只花一個(gè)小時(shí)進(jìn)行編碼，其余時(shí)間花在其他端到端的開發(fā)任務(wù)上。

Amazon Q的三個(gè)新自主代理

據(jù)Garman介紹，用于生成用戶測試、文檔和代碼審查的自主代理現(xiàn)在已經(jīng)全面上市。第一個(gè)自主代理讓Amazon Q能夠自動(dòng)生成端到端的用戶測試，利用高級代理和整個(gè)項(xiàng)目的知識為開發(fā)者提供全面的測試覆蓋。

第二個(gè)自主代理可以自動(dòng)創(chuàng)建準(zhǔn)確的文檔。Garman說：“它不只是為新代碼這樣做，Q代理也可以應(yīng)用于遺留代碼。因此，如果代碼庫沒有完美記錄，Q也可以理解代碼在做什么?！?

第三個(gè)新的Q代理可以執(zhí)行自動(dòng)代碼審查。它將“掃描漏洞，標(biāo)記可疑的編碼模式，甚至識別潛在的開源軟件包風(fēng)險(xiǎn)”，確定它認(rèn)為部署風(fēng)險(xiǎn)的位置，并提出緩解措施以使部署更安全。

“我們認(rèn)為這些代理可以大大減少花在真正重要、但可能毫無差別的任務(wù)上的時(shí)間，讓開發(fā)者把更多時(shí)間花在那些增值活動(dòng)上，”他說。

Garman還宣布了“Q Developer和GitLab之間的深度集成”。Q Developer功能現(xiàn)在已經(jīng)深度嵌入GitLab平臺，“這將有助于支持很多Duo Assistant的主流方面”，團(tuán)隊(duì)可以訪問Q Developer功能，這些功能在GitLab工作流程中以原生方式提供。Garman表示，隨著時(shí)間的推移，未來還會添加更多的功能。

大型機(jī)現(xiàn)代化

Q Developer的另一項(xiàng)新功能是執(zhí)行大型機(jī)現(xiàn)代化，Garman稱這是“迄今為止最難遷移到云中的功能”。Q Transformation for Mainframe提供了多個(gè)代理，可以幫助組織簡化這種復(fù)雜且往往令人不知所措的工作流程?！八梢赃M(jìn)行代碼分析、規(guī)劃和重構(gòu)應(yīng)用。大多數(shù)大型機(jī)代碼都沒有很好的文檔記錄。人們有數(shù)百萬行的COBOL代碼，但不知道這些代碼是干什么用的。Q可以獲取遺留代碼并構(gòu)建實(shí)時(shí)文檔，讓你了解它的作用，它可以幫助你了解要現(xiàn)代化哪些應(yīng)用?！?

Garman表示，目前還不可能將大型機(jī)遷移變成“一鍵式的過程”，但使用Q可以將其變成“持續(xù)幾個(gè)季度的過程”，而不是需要好幾年的時(shí)間。

集成分析

Garman介紹了下一代Amazon SageMaker，稱其是“滿足你所有數(shù)據(jù)、分析和AI需求的中心”。他說，AWS將通過添加“最全面的數(shù)據(jù)、分析和AI工具集”來擴(kuò)展SageMaker。SageMaker擴(kuò)展了分析功能，現(xiàn)在提供“快速分析、數(shù)據(jù)處理、搜索數(shù)據(jù)準(zhǔn)備、AI模型開發(fā)和生成式AI所需的一切”，以實(shí)現(xiàn)企業(yè)數(shù)據(jù)的單一視圖。

他還介紹了SageMaker Unified Studio，“一個(gè)單一的數(shù)據(jù)和AI開發(fā)環(huán)境，允許你訪問組織中所有數(shù)據(jù)并使用最適合這種工作的工具對其進(jìn)行操作”。Garman表示，目前處于預(yù)覽階段的SageMaker Unified Studio“整合了分析師和數(shù)據(jù)科學(xué)家目前在AWS中各種獨(dú)立工作室使用的功能”，它提供了獨(dú)立的查詢編輯器和各種可視化工具，例如EMR、Glue、Redshift、Bedrock和所有現(xiàn)有的SageMaker Studio功能。

即使有了所有這些新產(chǎn)品和升級產(chǎn)品、解決方案和功能，Garman仍承諾會推出更多產(chǎn)品。