V originále
In recent years, flying ad hoc networks have attracted the attention of many researchers in industry and universities due to easy deployment, proper operational costs, and diverse applications. Designing an efficient routing protocol is challenging due to unique characteristics of these networks such as very fast motion of nodes, frequent changes of topology, and low density. Routing protocols determine how to provide communications between drones in a wireless ad hoc network. Today, reinforcement learning (RL) provides powerful solutions to solve the existing problems in the routing protocols, and designs autonomous, adaptive, and self-learning routing protocols. The main purpose of these routing protocols is to ensure a stable routing solution with low delay and minimum energy consumption. In this paper, the reinforcement learning-based routing methods in FANET are surveyed and studied. Initially, reinforcement learning, the Markov decision process (MDP), and reinforcement learning algorithms are briefly described. Then, flying ad hoc networks, various types of drones, and their applications, are introduced. Furthermore, the routing process and its challenges are briefly explained in FANET. Then, a classification of reinforcement learning-based routing protocols is suggested for the flying ad hoc networks. This classification categorizes routing protocols based on the learning algorithm, the routing algorithm, and the data dissemination process. Finally, we present the existing opportunities and challenges in this field to provide a detailed and accurate view for researchers to be aware of the future research directions in order to improve the existing reinforcement learning-based routing algorithms
Česky
V posledních letech přitáhly létající ad hoc sítě pozornost mnoha výzkumných pracovníků v průmyslu a na univerzitách díky snadnému nasazení, správným provozním nákladům a různorodým aplikacím. Návrh efektivního směrovacího protokolu je náročný kvůli jedinečným vlastnostem těchto sítí, jako je velmi rychlý pohyb uzlů, časté změny topologie a nízká hustota. Směrovací protokoly určují, jak zajistit komunikaci mezi drony v bezdrátové síti ad hoc. Dnes, posílení učení (RL) poskytuje výkonná řešení pro řešení stávajících problémů ve směrovacích protokolech a navrhuje autonomní, adaptivní a samoučící se směrovací protokoly. Hlavním účelem těchto směrovacích protokolů je zajistit stabilní řešení směrování s nízkým zpožděním a minimální spotřebou energie. V tomto článku jsou zkoumány a studovány směrovací metody založené na učení ve FANETu. Nejprve jsou stručně popsány posilovací učení, Markovův rozhodovací proces (MDP) a algoritmy posilovacího učení. Poté jsou představeny létající ad hoc sítě, různé typy dronů a jejich aplikace. Kromě toho je ve FANETu stručně vysvětlen proces směrování a jeho problémy. Poté je navržena klasifikace směrovacích protokolů založených na učení pro létající sítě ad hoc. Tato klasifikace kategorizuje směrovací protokoly na základě algoritmu učení, směrovacího algoritmu a procesu šíření dat. Nakonec představujeme stávající příležitosti a výzvy v této oblasti, abychom poskytli podrobný a přesný pohled pro výzkumníky, aby si byli vědomi budoucích směrů výzkumu s cílem zlepšit stávající směrovací algoritmy založené na učení.