【「藝術實驗室」系列】實時情感辨識技術釋放創造潛力 人工智能串聯人類記憶 呈現城市故事

情緒追蹤科技，又稱實時情感辨識技術，對於現代人來說或許並非什麼值得驚嘆的科技，手機的表情濾鏡、穿戴裝置的心情監測，早已讓這項技術融入尋常生活。但若然有人告訴你，這項向來被視為工學領域的技術，如今正徹底改寫現場表演的創作邏輯，甚至讓每一位觀眾都從旁觀者，變成作品的共同締造者呢？「情感計算」的概念早於1995年由麻省理工學院提出，被視為這項技術的理論源頭，科學家透過面部微表情識別、語音語調分析乃至生理信號採集，一步步將人類抽象的喜怒哀樂，轉化為可量化、可運算的數據。數十年間，情緒追蹤科技從實驗室走向消費市場，從人機互動拓展到醫療、教育等多個場景，卻長久以來都未曾在現場藝術的舞台上，釋放它真正的創造潛力。

●文：香港文匯報記者 胡茜 圖：主辦方提供

適逢香港藝術發展局「藝術·科技」展覽步入4.0階段，特別呈獻首個主題演出《我城》，以跨界實驗重新定義科技與表演的邊界。這部由鄺佳玲、曲淵澈、林丰及張世宏共同創作的作品，融合鋼琴演奏與動態媒體藝術，更搭載實時情感捕捉系統：演出序曲階段採集現場觀眾的整體情感脈動，再經由原創演算法將真實情緒轉化為樂章與影像素材，最終生成僅屬於當晚、當下這群觀眾的專屬終章。事實上，同類科技早已滲透進不同形式的現場表演，如沉浸式劇場的動作傳感裝置、當代舞蹈的實時影像渲染、戶外演出的觀眾互動燈光系統，無不是以科技為橋樑，打破創作者與觀眾的邊界。從被動觀賞到主動共創，藝術與科技的交融，正為香港的現場藝術打開前所未有的想像空間。

《我城》分為前奏及五個樂章，帶領觀眾由真實的文化存在，走向數碼轉型，再延伸至對未來的想像。每個章節均由不同角度探索記憶、科技與藝術如何交匯，重新詮釋文化體驗，並想像香港不斷演變的城市身份。演出的終章將融入情緒追蹤技術，以入場前奏時收集的數據勾勒出觀眾的情感起伏，結合聲音與影像，使每場演出均獨一無二，於現場生成與演繹，成為共同情感建構的視聽風景。

《萬物閣》以「每一物皆是中心」作為創作基礎，邀請觀眾化身成香港豐富的文化脈絡中的88件物件、生物、地方及文化符號，包括魚蛋、木棉花、野豬、天星小輪及虎豹別墅，以至各種傳統節慶等。觀眾可透過手機進入虛擬香港地景，以不同身份漫遊其中，並與其他參與者即時互動及交流，在探索過程中發現意想不到的連結與關係。《萬物閣》以非人之眼重新看這座城市，將香港想像成一個由故事、記憶與相遇交織而成的關係網絡，讓每一件物件都成為體驗與意義的中心。

藉藝術科技保存城市記憶

策劃及監製鄺佳玲是整個項目最先的發起者，她回憶，整個項目的起點來自一則社會新聞——珍寶海鮮舫沉沒事件。當年珍寶海鮮舫的新聞爆出之後，社交媒體上大量普通市民產生強烈情感回響，不少市民乘船出海拍攝照片、錄製視頻，珍寶海鮮舫承載着一代人的集體回憶。「我做的各類表演、展覽藝術項目，很多時候都是從新聞事件出發。新聞背後，折射的是當下社會大眾的心態與世界觀。看到這則新聞，我第一時間就聯繫長期合作的藝術家VV（媒體藝術家曲淵澈）。」

鄺佳玲說：「這個實驗項目核心命題是在數碼技術已經被普通大眾輕易接觸的時代，除了拍照、錄影這些大眾記錄手段之外，藝術家還可以用怎樣的視角與能力，去保存我們珍視的城市記憶。這裏所說的珍貴事物，不完全等同於官方劃定的一級、二級文物，也包含普通市民內心覺得重要、值得留存的城市印記。這是一個並未完成的研究實驗。」

於是鄺佳玲與媒體藝術家曲淵澈確定，以公共表演、公共藝術作品的形式，緊扣香港這座城市，去探討如何保存、傳遞那些被珍視的城市記憶。「珍寶海鮮舫就成為整個作品的敘事開端，雖然珍寶已經沉沒，但它的故事留存在本次作品之中。」她說。

曲淵澈說：「當年珍寶海鮮舫傳出即將離開香港的消息，我也是眾多專程出海拍照的普通市民之一。在最早的實驗項目《一切堅固的東西都煙消雲散》當中，我根據拍攝的大量照片，搭建了細節完整的珍寶海鮮舫3D模型，把模型置入海洋場景，開發出一款基礎導航遊戲，觀眾可以在遊戲當中，從外部觀賞沉沒於海底的珍寶海鮮舫。」她說，本次《我城》作品，進一步迭代升級了這套遊戲內容，「我把珍寶海鮮舫視作雙重載體：它既是實體的船隻，同時也是隱喻的容器，承載香港數十年的文化記憶與市民的集體情感。」

她續說：「從更大時代背景來看，當下整個世界都正在從實體物理世界，逐步走向元宇宙、數字世界。如今人們習慣依靠手機、圖像、網絡，去打撈自己的記憶，這也是本次表演的底層思考方向。我本身並不熱衷於用AI（人工智能）做視覺創作，但放在本次項目的語境之下，AI是合適的工具。我們使用AI生成88個代表香港的物件，生成時不會刻意修正AI的瑕疵，保留圖像殘缺、錯位的原始狀態，借此探討數字世界如何記錄、保存我們真實的世界。」

觀眾情緒共創獨特樂章

演出的終章融入了情緒追蹤技術，場館設置24個體驗站點，每位入場觀眾會拿到手環與專用手機設備，手環大約90秒就可以檢測觀眾情緒。觀眾可於演出前在情感數據收集區輸入自身情感數據，共同創作當晚獨特的音樂作品。系統採集到的情緒是混合狀態，後台會留存全部情緒數據，界面只彈出佔比最高的主導情緒。例如觀眾整體感受是愉悅，但後台數據同時會記錄當中夾雜25%的低落、15%悲傷，這些混合數據不會直接展示給觀眾。

整場表演不是線性敘事節目，觀眾被舞台包圍，現場配置兩台鋼琴，鋼琴家會進行大量即興演奏。按鍵觸發對應圖像，每按下一個琴鍵，就會浮現一個物件畫面，因此每一場演出都不會完全重複。

鄺佳玲認為，不少人會擔憂當大量文化遺產被數位化保存，實體現場體驗會慢慢被人拋棄。「我並不認為數字和實體是互相替代的關係。就像長久以來流傳電影已死的說法，但影院、現場戲劇依舊存續，只是媒介形態發生轉型。數位化不等於消解實體，二者可以並存。」

藝術和科技融合並不是當下藝術必須追趕的潮流。科技從古至今本來就是藝術創作的材料與工具，如同雕塑家選擇石頭作為創作材料，部分藝術家就選擇數字技術作為創作媒介，這只是不同的創作選擇。過去普通觀眾面對藝術科技會感到陌生、緊張；但Z世代成長於數字環境，觀眾已經做好接受藝術科技的準備，這才讓此類型作品更容易落地。「觀眾真正喜愛的不是科技本身，而是科技帶來的感官體驗、沉浸感受。互動藝術受歡迎的內核，來自人對即時回饋的本能嚮往，就像手機、電子遊戲，做出動作立刻得到回應，帶來直接滿足感。」她說。

曲淵澈認為，數位化保存與實體文物體驗二者是互補關係，「巴黎聖母院失火之後，正是依靠遊戲當中留存的3D模型，協助建築修復，這就是數字存檔的現實價值。但數位化體驗和親臨現場的實體體驗，帶給人的感受層級並不一樣，二者無法互相取代。」她說。