「多模態」這一術語看似新鮮，其實這個概念與人類息息相關。從出生開始，我們透過多種感官（如視覺、聽覺、觸覺等）收集訊息，並自然地將這些訊息結合在一起，以理解世界。人類的溝通本質上就是多模態的，涉及語言、臉部表情、身體語言，有時還包括圖像。隨着人工智能（AI）的發展，它與人類的互動能力也變得愈來愈豐富，就像人類之間彼此溝通的方式一樣。
整合聲光畫即時做決策
AI的最新突破——多模態AI，正不斷開拓科技的新版圖。這種形式先進的AI能夠同時處理、理解不同類型的數據，包括文字、圖像、音訊和視頻，從而創建更具適應能力的智能系統。
傳統的AI模型通常一次只能處理一種類型的輸入，多模態AI則可以整合多種類型的輸入資料。這使得AI能夠對內容提供更準確、更細緻的理解，產生更明智與具洞察力的決策，在日常生活中能讓我們以更多方式與科技互動。
多模態AI訓練系統會同時分析和回應各種形式的數據，類似於人類同時使用不同感官接收並處理分析資訊。自動駕駛汽車就是多模態AI的典型應用實例，車輛同時使用來自攝影機、雷達、光達、超音波感測器和GPS的數據，透過整合這些輸入，汽車可以「看到」周圍環境，偵測障礙物，並即時做出決策，例如何時停車或避開危險。
多模態AI的影響已經在許多產業中顯現，如OpenAI的GPT-4V和Google Gemini，這些模型可以結合文字、圖像和語音等信息，以提供更具互動性、深思熟慮的回應，不僅回答問題，還能解釋影像和理解語音輸入，豐富用戶對話體驗的同時增添了實用性。
在醫療保健領域，多模態AI結合醫療掃描、病患紀錄和實驗室結果，正在改變診斷方式。這種整體方法增強了治療計劃，改善了患者的治療效果。
在創意產業中，多模態AI可根據文字提示生成圖片或作曲。這種創意與技術的融合為藝術家、設計師和內容創作者開啟了新的可能性。
在教育領域，多模態AI可以為學生作業提供個人化回饋，分析圖形等視覺數據，甚至透過分析面部表情、語音語調和身體語言來評估學生在線上課堂上的情緒參與度。
在零售領域，它可以評估客戶的瀏覽歷史、產品偏好和評論，提供高度個人化的購物建議，更勝傳統推薦系統。
透過處理不同類型的數據，多模態AI使這些系統不僅反應更快，而且更有效率。對於企業而言，這項能力加速了創新，改善了客戶體驗。
然而，仍有挑戰需克服。其中一個主要障礙是訓練多模態模型所需的大量資料和運算能力。結合各種資料類型使得系統更加複雜且難以管理。數據品質也至關重要——如果數據有偏見或不完整，AI的決策可能會出現缺陷，這在醫療等關鍵領域尤其令人擔憂。
訓練模型資源需求龐大
另一個挑戰是，訓練這些大規模AI模型所帶來的環境成本。多模態AI系統需要大量能源，尤其當雲端運算資源需求龐大時，對可持續發展的影響引人擔憂。
儘管面臨挑戰，多模態AI的未來依然充滿希望。多模態AI可以透過整合文字、聲音和視覺資料來創建沉浸式的虛擬世界，為各行業提供變革性的應用。
隨着AI不斷發展，多模態系統將推動創新，創造出更智能、更緊密連結的系統，以愈來愈類人化的方式與世界互動。
●中大賽馬會「智」為未來計劃
由香港賽馬會慈善信託基金捐助，香港中文大學工程學院及教育學院聯合主辦，旨在透過建構可持續的AI教育生態系統將AI帶入主流教育。通過獨有且內容全面的AI課程、創新AI學習套件、建立教師網絡並提供AI教學增值，計劃將為香港的科技教育寫下新一頁。
評論