西工大研發「群聊式」無人機 以人類語言實現「人機」「多機」對話交互
香港文匯報訊（記者 李陽波 西安報道）近年來，隨着現代社交網絡和即時通訊工具的進一步普及使用，在線群聊已經成為人們日常交流的重要方式之一。而除了人與人之間的群聊，如果把一些和人類生活息息相關的機器也拉進群，讓它們組團「商量」着幹活，並和人類無障礙地溝通和交流，是不是能更好地服務於生產生活？近日，西北工業大學科研團隊給出了明確的答案，他們基於國產大模型，研發了「群聊式」無人機控制框架，給每架無人機裝上了大腦。讓無人機集群在語言溝通中動態協同，實現了開放環境下「人機」和「多機」的對話交互，打破人類和機器的交互壁壘，進一步拓展了臨地安防的應用場景。
據介紹，語言是人類交流和思維呈現最為重要的符號系統，是推動人類文明的重要力量，那麼如何才能讓機器實現用語言進行交互，表達自己的所見、所聽、所想呢？
對話交互自主直觀
「總體而言，類人對話交互、主動環境感知、自主實體控制，是自主無人機集群的主要能力。」據西北工業大學光電與智能研究院李學龍教授團隊介紹，探索人類用戶與無人機的交互方式，讓無人機理解複雜任務中的用戶需求，是實現自主無人機的前提條件。針對此，團隊提出「群聊式」對話交互方法，將聲音、圖像和無人機自身狀態等多種信息，通過大模型轉換為自然語言的對話形式，實現了用戶與無人機，以及無人機與無人機之間自主和直觀的交互方式。
同時，團隊還設計了一套高效的實時反饋機制，使得無人機能夠在任務執行的關鍵節點通過對話報告自身狀態、尋求用戶確認，大大提高了複雜任務執行的穩定性和安全性。
信息採集分工高效
其次，在飛行過程中，無人機主動感知外部環境，實時調整任務規劃，是完成複雜任務的關鍵環節。為此，團隊設計了任務引導的主動感知機制，提出了多傳感器融合的低空搜索、動態避障和視覺定位算法。從而使得無人機在實際任務執行中，可根據感知信息和任務目標，動態調整飛行路徑和觀測位姿，嘗試從不同角度和位置感知周圍世界，逐漸降低環境中的不確定性，實現高效的信息採集和任務執行。
此外，探索復合智能體形態，增強複雜任務處理能力，是大模型時代新型智能體的研究重點。基於此，團隊依託無人機平台設計了夾爪等末端執行器，將傳統無人機拓展為「飛行機器人」，長出「手」來，具備抓取能力。同時，構建了異構無人機集群協同控制機制，結合環境感知反饋，實時調整無人機編隊的飛行狀態，使集群分工執行區域搜索、目標定位和抓取等任務。
人類用戶實時反饋
「我負責正前方區域～我負責右後方區域～發現鑰匙，請用戶確認～確認是丟失的鑰匙……」從西北工業大學公布的一組實驗視頻中香港文匯報記者看到，在無人機自主「聊天群」 中，當人類用戶發出「請幫我找到丟失的鑰匙」的求助信息後，0號、1號、2號無人機馬上各自認領搜索區域，並在「聊天群」 中發出確認信息，隨即起飛前往相關區域搜索。其中，2號無人機在飛行途中發現前方有人後，還不忘發出「發現人形障礙物，主動躲避」的提醒信息。
在進行詳細搜索後，0號無人機最終發現了疑似丟失的鑰匙，並隨即上傳圖片讓人類用戶確認。在人類用戶確認之後，無人機回應馬上抓取鑰匙，並告知其他無人機同伴現在可以返航。隨後用「手」抓取鑰匙，自行返航。
自然語言增連續性
位於陝西西安的西北工業大學，是一所以發展航空、航天、航海等領域人才培養和科學研究為特色的國家重點「一流大學」。多年來，該校先後參與了大飛機、載人航天與探月、神舟系列飛船等科研攻關和研製，中國一半以上的航空工業重大型號總師、副總師，一大批航天總師、副總師都出自該校，西北工業大學也被譽為「總師搖籃」。
據悉，此次西北工業大學團隊建立的「書生·浦語」開源大模型驅動的自主無人機「群聊式」控制框架，是將生物智能 「思維計算—實體控制—環境感知」的三元交互模式應用於自主智能體的一次成功嘗試。實現了開放環境和複雜任務中的智能交互、主動感知和自主控制，從而提高了無人機任務執行的自主性，對安防巡檢、災害救援、空中物流等臨地安防場景下的應用具有重要意義。
「無人機自主『聊天群』 最驚艷的地方在於，用人類的自然語言作為中介，增強了整個人機交互過程的『連續性』。」有網友表示，「在這種連續性的保證下，無人機不再是單一的命令輸入+執行，而是具有了將複雜邏輯分解、逐步處理的能力，同時這個過程又以人類自然語言的形式被展現出來，讓整個無人機群的行為邏輯能夠被人類所見，真是太酷啦。」
評論