高通發(fā)布在 Android 手機上部署 AI 模型的解決方案。3 月 2 日，高通中國公眾號發(fā)布了全球首個運行在 Android 手機上的 Stable Diffusion 終端側(cè)演示。高通 AI 部門演示了如何利用高通 AI 軟件棧，首次在 Android 智能手機部署 Stable Diffusion 模型。該模型是一個用文字生產(chǎn)圖片的 AI 模型，參數(shù)超過 10 億，過去只能在云端計算集群內(nèi)運行。
邊緣算力有望成為推理主體。在本次實驗中，高通 AI 團隊從 Hugging Face的 FP32 1-5 版本開源模型入手，通過量化、編譯和硬件加速進(jìn)行優(yōu)化，使其能在搭載第二代驍龍 8 移動平臺的手機上運行。我們認(rèn)為，未來 AI 的推理過程，通過一定的針對性優(yōu)化后，完全有能力通過邊緣算力實施。同時，邊緣算力具有低時延、安全、隱私等優(yōu)勢，符合未來 AIGC 時代，對于 AI創(chuàng)作所有權(quán)和隱私權(quán)的要求。同時，手機，智能模組等算力相對于云端訪問，對于普通用戶來說更加便捷和易于學(xué)習(xí)，對于 AIGC 應(yīng)用的推廣也更加有利。
邊緣算力是未來算力體系的重要一環(huán)。當(dāng)前，無論是需要超強硬件支撐的AI 迭代與訓(xùn)練，還是運行要求相對較低，需求相對分散的 AI 推理，都放在超算中心內(nèi)進(jìn)行。我們認(rèn)為，在 AI 大爆發(fā)周期內(nèi)，迭代和訓(xùn)練需要的整體算力將會呈指數(shù)級增長，增速將會超過單芯片算力增長速度。
同時，單個AI 超算規(guī)模將會受到功耗、土地、散熱等因素制約。因此，未來的 AI 運算將呈現(xiàn)出訓(xùn)練與迭代在云端，推理與內(nèi)容生產(chǎn)梯度分布（云側(cè)+霧側(cè)+邊緣側(cè)）的格局變化。此外，隨著 AIGC 內(nèi)容愈發(fā)豐富，從簡單的文字發(fā)展到視頻、虛擬場景，如果采用云生成然后發(fā)送到端的形式，將會產(chǎn)生較多的網(wǎng)絡(luò)帶寬成本和一定程度的時延，進(jìn)而影響模型的商業(yè)化進(jìn)程與用戶使用體驗，邊緣算力有助于作為補充手段改善這一情形。
智能模組是承載邊緣算力的優(yōu)秀形式。智能模組指的是融入了算力或通用處理芯片的通訊模組。當(dāng)前已經(jīng)應(yīng)用于車機、消費等多個領(lǐng)域。當(dāng)前主流的智能模組主要采用高通平臺。因此此次高通在終端部署并推理 AI 模型的成功嘗試，對于模組走向 AIGC 時代具有重大意義。
單個模組算力可能較小，但智能模組具備靈活性與定制化的產(chǎn)品特性，結(jié)合高通 AI 增效工具包與專用硬件，未來智能模組有望走向依據(jù)模型定制算力平臺，與使用場景深度綁定的模式，徹底打開行業(yè)應(yīng)用場景與想象空間。
以上是【東莞市佳欣智能系統(tǒng)有限公司】為大家分享的相關(guān)新聞。我司是領(lǐng)先的智能化系統(tǒng)供應(yīng)商和信息系統(tǒng)集成商，我們主要從事以智能建筑技術(shù)為核心的智能化工程業(yè)務(wù)、以物聯(lián)網(wǎng)和軟件技術(shù)為核心的信息系統(tǒng)集成業(yè)務(wù)，集信息系統(tǒng)咨詢設(shè)計、技術(shù)開發(fā)、集成應(yīng)用、產(chǎn)品銷售、工程服務(wù)于一體。
涵蓋 智慧園區(qū)，智慧工廠，智慧校園，智慧后勤，平安校園，軟件開發(fā)等...【http://ak47-kaokao.com.cn】歡迎大家進(jìn)入官網(wǎng)點擊查看！
