新聞重點：

·Arm通過把Kleidi技術集成到PyTorch和ExecuTorch，將關鍵的AI性能優勢從邊側拓展至云端，賦能新一代應用在Arm CPU上運行大語言模型。

·對普及ML工作負載的持續投入將使任一技術棧的開發者能夠在最新的生成式AI模型上即刻獲得顯著的推理性能提升。

·通過擴大與云服務提供商以及主要的ML獨立軟件開發商合作，進一步賦能全球的AI開發者。

Arm控股有限公司納斯達克股票代碼：ARM，以下簡稱“Arm”近期宣布通過將Arm Kleidi技術集成到PyTorch和ExecuTorch，賦能新一代應用在Arm CPU上運行大語言模型LLM。Kleidi匯集了最新的開發者賦能技術和關鍵資源，旨在推動機器學習ML技術棧中的技術協作和創新。通過這些重要進展，Arm致力于為任一ML技術棧的開發者提供更為順暢的體驗。

Arm戰略與生態部開發者技術副總裁Alex Spinelli表示：“Arm正與領先的云服務提供商和框架設計者緊密合作，以打造便捷的開發環境，讓軟件開發者能夠輕松地在基于Arm架構的硬件上加速人工智能AI和ML工作負載。自該技術推出的四個月以來，Kleidi已在Arm CPU上加速開發并顯著提升主要的AI性能。Arm與PyTorch社區的緊密合作印證了該技術可以大大減少開發者利用高效AI所需的工作量。”

與領先框架集成，實現顯著云端優勢

在云端，Kleidi以利用Arm Compute LibrariesACL增強PyTorch帶來的成果為基礎，為世界各地在Arm平臺上優化AI的開發者打造藍圖。通過為開發者免去不必要的工程工作，以便開發者能將Arm視為運行其關鍵ML工作負載的首選平臺。作為實現這一愿景的關鍵一步，Arm直接與PyTorch和TensorFlow進行Arm Kleidi Libraries的集成合作，這包括將基本的Arm軟件庫直接集成到上述的領先框架中。

重要的是，這意味著當新的框架版本發布時，應用開發者能夠自動從其大幅的性能提升中受益，而無需額外在Arm平臺上重新編譯。這項投入已對合作伙伴關系產生了積極影響：

·Arm聊天機器人演示由Meta Llama 3 LLM驅動，并運行在亞馬遜云科技AWS Graviton處理器上，首次在主線PyTorch中實現了實時聊天響應。

o根據在AWS Graviton4上所測得的數據顯示，通過將Kleidi技術集成到開源PyTorch代碼庫，詞元token首次響應時間可提高2.5倍。

·通過優化torch.compile以充分利用通過ACL提供的Kleidi技術，在基于AWS Graviton3上所測得的數據顯示，各類Hugging Face模型推理工作負載上的性能可提升1.35至2倍。

這些僅是出色的云端示例之一，卻代表了在Arm平臺上普及ML工作負載時可實現的性能加速類型。Arm將持續投入，以確保開發者的AI應用可以在其技術上從云到邊都能完美運行，其中包括實現新功能的向前兼容，進而使得開發者能夠即刻從中受益。

合作助力開發者緊跟生成式AI發展步伐

隨著新的語言模型版本快速地推陳出新，生成式AI掀起了一波AI創新熱潮。Arm持續與ML技術棧的各個關鍵環節緊密合作，攜手AWS和Google等云服務提供商以及Databricks等迅速壯大的ML獨立軟件開發商ISV社區，進而幫助開發者立于技術前沿。

Google Cloud Compute產品管理高級總監Nirav Mehta表示：“Arm和Google Cloud致力于為開發者提升AI的可訪問性和敏捷性，而Kleidi代表了通過軟硬件協同優化滿足AI需求所取得的重要進展。隨著我們的客戶正積極采用基于Arm架構的定制CPU —— Axion，我們期待在整個ML技術棧中為客戶帶來更加順暢的集成體驗。”

Databricks軟件工程師Lin Yuan表示：“利用Databricks Data Intelligence Platform進行AI和ML工作流的企業，將受益于跨ML軟件棧的Arm Kleidi集成所帶來的性能優化。借助由Databricks ML Runtime集群提供支持的Arm架構AWS Graviton處理器，企業可以從各種ML軟件庫的加速中受益，同時降低云服務提供商的成本。”

協助開發者將Arm提供的資源應用到實際用例中至關重要，為此Arm創建示例軟件棧和學習資源，向開發者展示如何在Arm CPU上構建AI工作負載，進而迅速推動了Arm系統的廣泛采用，并加快了開發者在Arm系統上的部署速度。第一個案例是通過Kleidi技術加速聊天機器人的實現，今年晚些時候ML Ops和檢索增強生成RAG也將添加至這些用例，并計劃在2025年實現更多成果。

持續提升端側性能

基于Kleidi在端側的發展勢頭，KleidiAI還將被集成到ExecuTorchPyTorch新的端側推理運行時。這項集成預計將于2024年10月完成，并有望為目前正在ExecuTorch中進行生產測試或實現的端側應用帶來顯著的性能提升。目前已完成的多項KleidiAI集成包括與Google XNNPACK和MediaPipe，以及騰訊的混元大模型，為其實際工作負載帶來了顯著提升。

Kleidi將繼續與PyTorch和ExecuTorch的各版本以及其他主要AI框架進行集成。從云數據中心到端側設備，開發者現在可以即刻在各類設備上基于Arm平臺高效運行高性能AI工作負載。Arm將繼續積極地面向PyTorch社區推出增強功能，并專注于針對各種整數格式提供量化優化，進一步提高性能，賦能Arm CPU大規模無縫運行新一代AI體驗。

實現更多成果以賦能開發者

PyTorch正在推動ML開發領域的開拓創新。近日，Arm加入PyTorch基金會成為Premier成員，這對于Arm的AI之旅來說，無疑是一個重要時刻。Arm將持續致力于賦能全球各地的開發者在Arm平臺上充分發揮端到端AI的潛力，進而塑造前沿的AI和應用功能。

附加資源：

關于Kleidi:

Kleidi古希臘語中意為“鑰匙”基于三大關鍵支柱而構建：

·開放的Arm技術直接集成至關鍵框架中，開發者無需任何額外工作，便能使LLM無縫取得Arm CPU性能。Arm將確保新技術始終向前兼容，以便開發者可以立即從中受益。

·通過提供使用指南、學習資源和技術演示等各種資源賦能開發者。

·借助由ML軟件供應商、框架和開源項目所構成的活力十足的生態系統，從中取得各類最新的AI功能，讓Arm平臺成為開發者構建解決方案的首選平臺。