坊間目前雖有眾多大語言模型，不過，模型對粵語的理解與生成能力仍未被充分評測，加上粵語語料相對稀缺，自動化構建高質量評測數據依然是研究難點，因此，香港中文大學宣布推出全球首個專為粵語而設的動態評測平台及生態系統CLEVA-Cantonese，通過提供公平、持續演進、具參考價值的基準評估，揭示各類大語言模型對粵語的支援程度，並為研究人員及開發者提供具參考價值的分析，加速粵語大語言模型的優化及實際應用。 ●香港文匯報記者 高鈺此項目由港中大InnoHK博智感知交互研究中心與港中大語言與視覺實驗室合作研發，博智感知交互研究中心主任蒙美玲，與港中大計算機科學與工程學系助理教授王歷偉共同領導。據介紹，CLEVA（Chinese Language Models EVAluation Platform）是目前規模最大、涵蓋最全面的中文大語言模型評估基準之一。
通過指標評估 確保比較結果可信度
CLEVA-Cantonese在此基礎上，建立了全球首個持續演進的粵語大語言模型評估生態系統。它整合了自動化工作流程，涵蓋數據導入和篩選、語言模型理解、評估與反饋。
這個持續循環的流程能即時提供洞見、推動模型創新、提升對粵語社群的服務質素，並能提供清晰的效能指標，準確指出模型的優勢與待改進之處。
此外，它亦支援可擴展且即時的評估方式，配合模型的快速迭代周期，同時通過標準化任務、提示和多重指標評估，確保比較結果的可信度。
該系統致力應對粵語基準的特殊挑戰，例如具備評測粵語白話文的能力，即日常口語的書面形式，捕捉其獨特的語言特徵，包括口語用法與俚語、與英語及普通話的語碼轉換，以及粵語拼音。
此外，港中大通過與鳳凰衛視等數據提供者合作，持續採納反映粵語新興趨勢的最新數據，減少數據污染風險。
王歷偉表示，團隊已完成首輪評估，涵蓋多個國際與本地的大語言模型，結果顯示即使是最新型號，仍難以完全掌握粵語細緻語義，在語法、發音及詞彙方面均有顯著改進空間。
隨着更強大的模型陸續面世，CLEVA-Cantonese將通過迭代優化評估標準。
促進語言學教育等領域協作研究
蒙美玲指出，團隊將持續拓展數據合作夥伴，建立開放評估平台供研究人員、開發者及機構使用，並進一步擴展系統的語言、任務及口語粵語支援；亦會提供共享工具，促進語言學、教育等領域的協作研究。
0 / 255