讓生成式AI「靠邊」 NVIDIA展現軟硬兼施真功夫

分享:
Author: MakerPRO 編輯部

在2023年爆紅的生成式AI (Generative AI)迄今熱度不減,除了吸引越來越多終端使用者運用該技術提升生產力,開發者也積極嘗試以生成式AI為基礎打造各種創新應用,特別是不需要連結雲端、在網路邊緣裝置上就可實現的智慧功能──也就是所謂的Edge AI。這股熱潮讓目前市場上能支援生成式AI的邊緣運算平台供應商成為矚目焦點,其中NVIDIA是最閃亮的明星之一,不僅能提供軟硬體兼備的系統級解決方案、容易上手的開發工具,還有資源豐富的廣大生態系夥伴扮演堅強後盾。

為了讓更多開發者了解生成式AI技術的魅力所在,以及NVIDIA的Jetson系列平台在部署Edge AI應用時發揮的關鍵作用,NVIDIA代理商益登科技(EDOM)MakerPRO合作舉辦了一場線上講座,由來自益登的專家──技術經理巫濟帆(James Wu)──從講解生成式AI、大語言模型(LLM)的基礎原理出發,帶領聽眾探索生成式AI新技術將如何顛覆各行各業的運作模式;接著他詳細介紹了NVIDIA支援生成式AI模型的NeMo工具功能特色,並展示了利用Jetson系列平台實現的創新應用範例。

生成式AI將顛覆世界

那究竟什麼是生成式AI?巫濟帆表示,生成式AI是透過學習大量的資料,使用類神經網路去模仿那些資料的結構與邏輯來生成新的內容,包括文字、影像與聲音,甚至是蛋白質結構、DNA等等,其特色是使用非監督式或是半監督式學習來訓練一個大型語言模型,因為不需要大量標註,能節省這方面任務所需要的成本與時間;此外,生成式AI產生的內容可以是在訓練中未曾出現過的內容,簡單來說有點像是「無中生有」的能力。

能以文生圖的Stable Diffusion,或是輸入文字提示能產生另一段文字內容的ChatGPT,都是在去年爆紅的生成式AI模型。巫濟帆指出,生成式AI正在改變各行各業的運作模式,根據一項市場研究機構的調查,企業若導入生成式AI技術,取得營收成長10%以上的可能性是未導入該類技術之企業的2.6倍;而這也意味著各家企業必須要及早進行AI相關基礎設施的投資,才能掌握市場競爭優勢。

借助LLM與生成式AI在文字產生、翻譯、寫程式、視覺內容創作以及資料分析等方面的能力,無論是金融、醫療保健、零售、通訊、製造、能源、媒體、娛樂等產業或是政府機關,都可以從中獲益。巫濟帆補充:「例如在金融業支援個人化理財服務、防詐騙偵測,在醫療產業支援分子結構模擬、治療方案建議,還有協助零售業者透過分析消費者行為模式提供採購建議、在製造業生產線上讓人機協作過程更順暢,以及幫助媒體娛樂產業生成廣告內容、或是生成3D遊戲場景等等,生成式AI將會為不同垂直的產業帶來變革。」
EDOM_GenAI_P0
圖1: 生成式AI將為各產業帶來各種助益

模型訓練與微調

生成式AI背後都有一個大型的基礎模型,需要訓練大量的數據;巫濟帆表示,通常企業採用生成式AI會有三種模式,第一個是直接使用既有的生成式AI基礎模型,像是OpenAI的ChatGPT、Google的Gemini或是Amazon的Bedrock等等,二是根據特定應用需求對基礎模型做一些中度的微調(fine tuning)或預訓練,這會需要花費一些時間與成本;「第三種是最少人會採用的模式,就是從頭到尾自己創建一個模型。這會需要具備相關專業知識的人力、大量的資料以及具備一定程度算力的平台。」
EDOM_GenAI_P1-1536x693
圖2: 企業導入生成式AI的不同形式

而若是要在生成式AI基礎模型上針對特定應用進行訓練或微調,方法則分為三類:一是P-tuning,即提示學習(Prompt Learning),這種方法沒有修改模型的參數,而是設計一個可學習的提示來調整輸入的方式,讓輔助模型可以更充分理解並完成任務,讓LLM回答使用者想要它回答的問題。第二種是監督式微調(Supervised Fine Tuning),也就是在基礎模型上加入特有的資料集去做額外訓練,這種方法會調整模型的參數與權重,會需要花費較多時間精力。

還有第三種方法則是以人類回饋為基礎的強化學習(Reinforcement Learning from Human Feedback,RLHF);巫濟帆指出,這種方法顧名思義就是從人類使用者的回饋資料來調整、最佳化模型,讓模型的回答可以更貼近人類,減少一些不合邏輯的答案;ChatGPT就使用了這樣的技術來升級其版本。另外還有一種最近相當熱門的技術RAG (Retrieval-Augmented Generation),它的原理是讓一個向量資料庫(vector database)與基礎模型連結,讓LLM能讀取企業特定資料庫的資料,以更精準地回答問題。
EDOM_GenAI_P2
圖3: 生成式AI模型微調/訓練模式

支援生成式AI的NVIDIA軟硬體平台

而根據巫濟帆的介紹,NVIDIA支援生成式AI的軟體平台有三種,分別是支援語言模型的NeMo、支援生命科學相關模型(例如蛋白質分子結構模擬)的BioNeMo,還有與影像有關的Picasso,這些都可以透過NVIDIA的AI Enterprise服務取得,在DGX或AWS、Google或Microsoft Azure等雲端環境,或NVIDIA的本地裝置執行。
EDOM_GenAI_P3
圖4: NVIDIA的生成式AI平台

NeMo是一個端對端的雲端原生框架,能支援生成式AI模型的建置、客製化與部署。該軟體包括訓練和推論框架、防護工具組、資料統籌工具和預先訓練模型,能讓企業以符合成本效益、簡單快速的方式採用生成式AI。例如利用NeMo Retriever微服務(Microservice),企業就可將自訂模型與各種商業資料流暢連結,進而提供高度準確的回應;此外透過企業級的RAG技術強化生成式AI應用程式,進而能連結至分散各處的企業資料。

因應AI由雲端轉移到網路邊緣裝置的趨勢,NVIDIA也推出了支援生成式AI的Edge平台,包括32G/64G的Jetson AGX Orin高階產品,16GB Jetson Orin NX與較低階的8G Jetson Orin Nano,可因應使用者不同的算力需求。除了展示在Jetson平台上的生成式AI應用範例(包括以文生圖、辨識物件與人物動作並提供語音或文字描述等等),巫濟帆並指出,這幾款裝置都具備容易上手、儲存空間充足等優勢,並提供軟體開發工具套件與豐富的線上資源,有興趣投入Edge AI創新應用的開發者也可洽詢益登進一步了解更多產品細節。
EDOM_GenAI_P5
圖5: 依據算力區分等級的Jetson系列Edge AI平台
banner_ins
訂閱電子報,掌握最新科技與產業趨勢
訂閱電子報,掌握最新科技與產業趨勢
我要訂閱

數字驗證

請由小到大,依序點擊數字

洽詢車

你的洽詢車總計 0 件產品

    搜尋

    偵測到您已關閉Cookie,為提供最佳體驗,建議您使用Cookie瀏覽本網站以便使用本站各項功能

    本網站使用Cookie為您提供最佳的使用體驗。繼續使用本網站,即表示您同意我們的Cookie Policy