中文字幕在线免费-中文字幕在线看片成人-中文字幕在线观看网站-中文字幕在线观看你懂的-国产精品2022不卡在线观看-国产精品2

歡迎光臨陜西星辰時代科技發(fā)展有限公司官方網(wǎng)站

行業(yè)動態(tài)

桂林電子科技大學仇洪冰團隊提出一種基于深度強化學習的可信無人機地理路由協(xié)議 DTGR

編者按

NOTE


桂林電子科技大學信息與通信學院仇洪冰教授研究團隊在《電子與信息學報》發(fā)表最新文章:


基于深度強化學習的無人機可信地理位置路由協(xié)議 ( jeit.ac.cn ) >>

專家意見:該文提出了一種基于深度強化學習的可信無人機地理路由協(xié)議 DTGR,為無人機自組網(wǎng)提供了高效可靠的網(wǎng)絡通信方案。

具體而言,使用新的信任度度量和更新方式,減少通信過程中的檢測開銷。然后結(jié)合下一跳的狀態(tài)特征構建 MDP 模型,并根據(jù)信任度設計了獎勵函數(shù),最后訓練深度神經(jīng)網(wǎng)絡學習最優(yōu)路由決策。DTGR 能夠在包含異常節(jié)點的場景中降低端到端時延、提升包遞交率,優(yōu)化網(wǎng)絡性能。

總體而言,論文結(jié)構合理,格式規(guī)范,闡述清楚,工作具有創(chuàng)新性。

通訊作者:

張雅楠ynzannilinden@163.com

研究背景與動機

隨著無人機硬件和通信技術的飛速發(fā)展,無人機變得更靈活、健壯和低成本。無人機的應用也變越來越廣泛。多無人機通過自組網(wǎng)的方式協(xié)同通信可以高效的處理復雜的任務并且具有更高的可擴展性。

路由協(xié)議作為無人機通信網(wǎng)絡的重要一環(huán),存在高移動性、網(wǎng)絡拓撲變化頻繁、異常節(jié)點的挑戰(zhàn),從而造成的丟包和時延的增加,嚴重的影響了路由的性能。

傳統(tǒng)的和啟發(fā)式的無人機路由協(xié)議無法更好適應復雜的飛行環(huán)境和多變的通信任務,因此基于深度強化學習的無人機路由協(xié)議成為目前熱門的路由研究方向。然而目前基于深度強化學習的無人機路由協(xié)議主要致力于根據(jù)不同的優(yōu)化指標學習下一跳,從而來提升網(wǎng)絡性能,卻沒有考慮異常節(jié)點對網(wǎng)絡性能造成的潛在影響。

為了在非完全可信的網(wǎng)絡中感知異常節(jié)點,其中有一些主流研究方案采用節(jié)點信任度衡量節(jié)點的異常程度,然而這些方法在通信過程中檢測,引入了額外的檢測開銷,并且需要在決策前更新節(jié)點的信任度,降低了網(wǎng)絡性能。

為了解決上述的問題,本文提出了一種基于深度強化學習的無人機可信地理位置路由協(xié)議(DTGR)。每個節(jié)點通過可信第三方提供、更新節(jié)點的信任度,降低了評估開銷。結(jié)合目標節(jié)點的地理位置、鄰居拓撲信息作為狀態(tài)特征,將路由選擇過程建模成馬爾可夫決策過程,然后使用 DRL 算法進行更智能決策,從而提升網(wǎng)絡性能。

系統(tǒng)模型和提出路由協(xié)議

1. 信任度模型

在存在異常節(jié)點的無人機網(wǎng)絡中,可以用節(jié)點信任度來反映了節(jié)點的服務能力,它是一個標量。它用來評估鄰居在通信過程中出現(xiàn)積極或者消極行為的概率,引入可信第三方提供節(jié)點的信任度,使用理論與真實的時延偏差 d 和丟包率 h 作為信任度的評估因子 , 因此節(jié)點的信任度 T 定義為


2. 該文提出的路由協(xié)議


該文提出的基于深度強化學習的可信地理路由協(xié)議 ( DTGR ) ,其主要架構如圖 1 所示


圖 1 DTGR 協(xié)議架構


首先無人機網(wǎng)絡中每個節(jié)點會通過信標周期的廣播信標,并維護自己的鄰居表。

鄰居表包含節(jié)點的鄰居的編號、信任度、地理位置和兩跳鄰居拓撲信息。

兩跳鄰居拓撲信息的目的是讓當前轉(zhuǎn)發(fā)節(jié)點能夠評估兩跳鄰居到終點的可達性,預測下一跳為空洞區(qū)域或孤立節(jié)點的概率。

同時在數(shù)據(jù)包轉(zhuǎn)發(fā)過程中,記錄以下額外信息:源節(jié)點,上一跳和終點的編號和位置。并且維護一個已訪問的節(jié)點集。從而避免環(huán)路。

然后借助上述構建的鄰居表和數(shù)據(jù)包記錄的額外信息,將路由選擇過程 ( 即源節(jié)點將數(shù)據(jù)包通過若干跳傳輸轉(zhuǎn)發(fā)到目的節(jié)點的過程 ) 建模為馬爾可夫決策過程 ( MDP ) ,其中 MDP 包含四元組 <S,A,P,R>,其描述如下:

( 1 ) 狀態(tài)空間S:當節(jié)點 c 需要轉(zhuǎn)發(fā)數(shù)據(jù)包時,它鄰居的信息決定了的最優(yōu)決策,因此節(jié)點 c 的狀態(tài)空間 sc 包含 c 的所有鄰居節(jié)點的信任度、每個鄰居距離終點的距離、上一跳與 c 以及 c 與每個鄰居的向量余弦近似度、c 的兩跳鄰居離終點最近的距離和兩跳鄰居的數(shù)量。

( 2 ) 動作空間A: 當節(jié)點 c 接收到數(shù)據(jù)包時,c 的通信范圍內(nèi)所有鄰居組成了動作空間,其中可選 c 的一個鄰居進行轉(zhuǎn)發(fā),

( 3 ) 轉(zhuǎn)移概率 P 由真實環(huán)境決定,在本文中 P 是隨機且未知的。

( 4 ) 獎勵函數(shù) R 為了讓節(jié)點能夠感知下一跳的異常程度從而輔助決策,在獎勵函數(shù)中引入信任度。當節(jié)點 c 選擇鄰居節(jié)點 i 作為動作時,其獎勵值為


最后根據(jù)上述構建馬爾科夫決策四元組,將狀態(tài)空間輸入到深度 Q 網(wǎng)絡 ( DQN ) ,然后輸出路由決策。其中 DQN 利用深度神經(jīng)網(wǎng)絡逼近 Q 值,Q 值表示了當前節(jié)點選擇下一跳節(jié)點獲得累積獎勵期望,然后根據(jù) Q 值來選擇最優(yōu)的下一跳。在 DQN 的訓練階段,選擇下一跳的策略為



其中,ε 為神經(jīng)網(wǎng)絡的權重參數(shù),在選擇下一跳的時候以 1- ε 的概率選擇神經(jīng)網(wǎng)絡輸出的最大 Q 值對應的動作,為了避免陷入局部最優(yōu),以 ε 的概率隨機的選擇下一跳。


在測試階段,根據(jù)已經(jīng)訓練好的網(wǎng)絡直接選擇下一跳最大的 Q 值作為下一跳。

仿真結(jié)果

圖 2 顯示了總節(jié)點數(shù)為 100、異常節(jié)點數(shù)比例為 0.15 時不同路由協(xié)議學習曲線(GPSR 無法訓練,故平均端到端時延隨訓練回合恒定),從圖中可以看出所提的協(xié)議DTGR 在訓練了一至兩回合后即趨向收斂且時延最低。


圖 2 不同協(xié)議的訓練曲線


圖 3 展現(xiàn)了異常節(jié)點比例對協(xié)議性能的影響。從圖 3 ( a ) ( b ) 可以看出當異常節(jié)點比例升高時,所有協(xié)議的時延都在上升、包遞交率都在下降。

因為當總節(jié)點數(shù)量固定時,異常節(jié)點數(shù)量越多則傳輸鏈路包含異常節(jié)點的概率增大、轉(zhuǎn)發(fā)成功的概率減小、傳輸時延提升。

另一方面,所提的協(xié)議 DTGR 相比于其他協(xié)議擁有最低的時延、最高的包遞交率。其原因是 DTGR 能夠感知節(jié)點的信任度,利用神經(jīng)網(wǎng)絡評估每個節(jié)點潛在的路由能力,進而選擇網(wǎng)絡性能最優(yōu)的下一跳。

實驗結(jié)果說明了所提的協(xié)議 DTGR 在異常節(jié)點的密度發(fā)生改變時,相較其他協(xié)議能進行更優(yōu)的路由決策,保障網(wǎng)絡性能。


圖 3 異常節(jié)點比例對協(xié)議性能的影響( ( a ) 不同異常節(jié)點比例對應的平均端到端時延; ( b ) 不同異常節(jié)點比例對應的包遞交率)


圖 4 展示總節(jié)點數(shù)量對協(xié)議性能的影響,從圖 4 ( a ) ( b ) 可以看出當節(jié)點數(shù)量在 60 及以上時,所提的協(xié)議 DTGR 擁有最優(yōu)的平均端到端時延和包遞交率。這是因為我們的協(xié)議能夠避免選擇信任度較低的節(jié)點進行下一跳的轉(zhuǎn)發(fā)。

在圖 4(b)中總節(jié)點數(shù)量為 40 時 DTGR 包遞交率略低于 GPSR 和 QNGPSR,這是因為 DTGR 不具備周邊轉(zhuǎn)發(fā)模式。

周邊轉(zhuǎn)發(fā)模式會在節(jié)點無可選下一跳時,嘗試重傳數(shù)據(jù)包給已轉(zhuǎn)發(fā)過的節(jié)點,在節(jié)點數(shù)量稀疏、可達鏈路很少時此模式能顯著增加包遞交率。

但重復選擇之前的異常節(jié)點會引入額外的時延增加通信開銷,故 DTGR 放棄使用周邊轉(zhuǎn)發(fā)模式。

此外,從圖 4(a)可以看出 DTGR 和 QNGPSR 協(xié)議在節(jié)點數(shù)量為 60 和 80 時,平均端到端時延大幅低于 GPSR,這是因為通信過程中存在大量空洞區(qū)域 , DTGR 和 QNGPSR 評估兩跳節(jié)點的位置優(yōu)勢,減少進入空洞區(qū)域的概率,最終降低時延。


圖 4 總節(jié)點數(shù)量對協(xié)議性能的影響( ( a ) 總節(jié)點數(shù)量不同時對應的平均端到端時延 ( b ) 總節(jié)點數(shù)量不同時對應的包遞交率)


總結(jié)

所提的協(xié)議 DTGR 能夠在高移動性且存在異常節(jié)點的網(wǎng)絡中根據(jù)節(jié)點特征選擇最優(yōu)下一跳。DTGR 優(yōu)化了網(wǎng)絡的端到端時延和包遞交率。此外 DTGR 能夠適應異常節(jié)點數(shù)量和網(wǎng)絡節(jié)點密度的改變,自適應做出有效且高效的路由決策,魯棒性好。DTGR 為可信場景下的無人機自組網(wǎng)提供了高效可靠的網(wǎng)絡路由方案。

作者介紹

仇洪冰,男,教授,研究方向為移動通信,超寬帶無線通信,寬帶通信網(wǎng)絡,通信信號處理。

張雅楠,女,博士生,研究方向為無人機智能化與網(wǎng)絡化,天地一體化網(wǎng)絡技術。

作 者 | 張雅楠

美 編 | 劉祎洋、劉艷玲

校 對 | 融媒體工作室

審 核 | 陳 倩

聲 明

本號發(fā)布信息旨在傳播交流。如涉及文字、圖片、版權等問題,請在 20 日內(nèi)與本網(wǎng)站聯(lián)系,我們將第一時間處理?!峨娮优c信息學報》擁有最終解釋權。



新聞中心

聯(lián)系我們

陜西星辰時代科技發(fā)展有限公司
電話:400-029-3858
地址:陜西省西安市高新區(qū)錦業(yè)路6號領海大廈2幢11607室
郵箱:sky_navigation@126.com

用手機掃描二維碼關閉
二維碼