無人機也能“群聊” 西北工業(yè)大學在機器交互方面取得創(chuàng)新進展

中國教育報-中國教育新聞網(wǎng)訊（記者 馮麗）無人機也能“群聊”，還能組團商量著干活？近日，西北工業(yè)大學光電與智能研究院李學龍教授和同事們在機器交互方面取得創(chuàng)新進展：基于國產(chǎn)大模型，研發(fā)了“群聊式”無人機控制框架，給每架無人機裝上了大腦，讓無人機集群在語言溝通中動態(tài)協(xié)同，實現(xiàn)了開放環(huán)境下“人機”和“多機”的對話交互，打破人類和機器的交互壁壘，進一步拓展了臨地安防的應用場景。

受人類的認知模式啟發(fā)，研究團隊將認知形成的高度自主性凝練為“思維計算—實體控制—環(huán)境感知”的三元交互，建立了自主無人機“群聊式”控制框架，實現(xiàn)了開放環(huán)境和復雜任務中的智能交互、主動感知和自主控制，提高了無人機任務執(zhí)行的自主性?？傮w而言，類人對話交互、主動環(huán)境感知、自主實體控制，是自主無人機集群的主要能力。在類人對話交互方面，研究團隊提出“群聊式”對話交互方法，將聲音、圖像和無人機自身狀態(tài)等多種信息，通過大模型轉(zhuǎn)換為自然語言的對話形式，實現(xiàn)了用戶與無人機，以及無人機與無人機之間自主和直觀的交互方式。

同時，研究團隊設計了一套高效的實時反饋機制，使得無人機能夠在任務執(zhí)行的關(guān)鍵節(jié)點通過對話報告自身狀態(tài)、尋求用戶確認，大大提高了復雜任務執(zhí)行的穩(wěn)定性和安全性。在實際任務執(zhí)行中，可根據(jù)感知信息和任務目標，動態(tài)調(diào)整無人機飛行路徑和觀測位姿，嘗試從不同角度和位置感知周圍世界，逐漸降低環(huán)境中的不確定性，實現(xiàn)高效的信息采集和任務執(zhí)行。研究團隊還依托無人機平臺設計了夾爪等末端執(zhí)行器，將傳統(tǒng)無人機拓展為“飛行機器人”，具備抓取能力。同時構(gòu)建了異構(gòu)無人機集群協(xié)同控制機制，結(jié)合環(huán)境感知反饋，實時調(diào)整無人機編隊的飛行狀態(tài)，使集群分工執(zhí)行區(qū)域搜索、目標定位和抓取等任務。

據(jù)悉，大模型自主無人機集群是研究團隊將生物智能“思維計算—實體控制—環(huán)境感知”的三元交互模式應用于自主智能體的一次成功嘗試，依托大語言模型、無人機平臺和多種傳感器，實現(xiàn)對話交互、主動感知和自主控制，對安防巡檢、災害救援、空中物流等臨地安防場景下的應用具有重要意義。