Integrating virtual reality and neurophysiology in flight training

Virtual Reality (VR) is increasingly being used for training purposes in sectors such as education, healthcare, and defense. It allows users to practice in safe, controlled, and realistic environments. By combining VR with wearable sensors, (neuro)physiological and cognitive processes can be studied, and simulations can be adapted accordingly. However, the potential of VR combined with neurotechnology for flight training has been only minimally explored. This dissertation focuses on the integration of VR and brain-computer interfaces (BCIs) to enhance flight training through adaptive and personalized simulations.

Chapter 2 presents a systematic review of twenty years of aviation-related research in which neurophysiological measurements were applied. The aim was to map the current state of knowledge and identify EEG features (i.e., brain activity) indicative of task-relevant mental states, such as cognitive workload. Relevant features included frontal theta activity and the EEG Engagement Index. It was also shown that hyperconnectivity can be useful for understanding social dynamics and collaboration between pilots. Based on these findings, recommendations were made for future research, including the use of VR flight simulations and BCIs for training optimization.

Chapters 3 and 4 described an experimental study comparing VR and desktop simulators on both subjective (presence, workload, engagement) and objective (performance, EEG) measures. Although there were no differences in flight performance or subjective workload, VR scored significantly higher on presence and engagement. EEG Engagement was also increased in VR across all brain regions. The predictive model suggested that VR slightly reduced the performance errors. Higher subjective workload was associated with greater error margins.

In Chapter 5, EEG and behavioral data from novice military pilots were analyzed during VR flight tasks with two difficulty levels. Calibration-free BCI classifiers were able to reliably distinguish between low and high workload, with average accuracies around 80%. Theta activity in frontal and centro-parietal regions proved to be an important predictor. This demonstrates that a subject-independent BCI for workload classification is feasible.

One of these classifiers was applied in Chapter 6 within a real-time neuroadaptive VR training system, in which flight task difficulty was automatically adjusted based on EEG-derived workload. Although no differences in performance or subjective workload were observed between the adaptive and fixed-sequence training systems, pilots reported in interviews that they preferred the neuroadaptive system due to its variation. This highlights the importance of personalized flight training.

Chapter 7 investigated the individual and joint workload of student and instructor pilots during simulated and real flights using ECG signals (i.e., heart activity). Both flight conditions and roles (active flying versus monitoring) influenced heart rate and heart rate variability. A linear relationship was found between subjective workload and physiological synchrony.

In summary, this research provides new insights into the cognitive and neural underpinnings of task performance in VR flight training. The findings contribute to the development of adaptive and personalized training environments, with potential applications in other domains that require intensive training.

___

Virtual Reality (VR) wordt steeds vaker gebruikt voor trainingsdoeleinden in sectoren als onderwijs, gezondheidszorg en defensie. Het stelt gebruikers in staat te oefenen in veilige, gecontroleerde en realistische omgevingen. Door VR te combineren met draagbare sensoren kunnen (neuro)fysiologische en cognitieve processen worden bestudeerd en kunnen simulaties hierop worden aangepast. Het potentieel van VR in combinatie met neurotechnologie voor vliegtraining is echter nog beperkt onderzocht. Dit proefschrift richt zich op de integratie van VR en brain-computer interfaces (BCI’s) om vliegtraining te verbeteren via adaptieve en gepersonaliseerde simulaties.

In Hoofdstuk 2 werd een systematische review uitgevoerd van twintig jaar luchtvaart-gerelateerd onderzoek waarin neurofysiologische metingen zijn toegepast. Doel was de huidige stand van zaken in kaart te brengen en EEG-kenmerken (i.e., hersenactiviteit) te identificeren die wijzen op taakrelevante mentale toestanden, zoals cognitieve werklast. Relevante kenmerken waren onder meer frontale theta-activiteit en de EEG Engagement Index. Ook werd aangetoond dat hyperconnectiviteit bruikbaar kan zijn om sociale dynamiek en samenwerking tussen piloten te begrijpen. Op basis van deze bevindingen werden aanbevelingen gedaan voor toekomstig onderzoek, waaronder het gebruik van VR-vliegsimulaties en BCI’s voor trainingsoptimalisatie.

Hoofdstuk 3 en 4 beschreven een experimenteel onderzoek waarin VR- en desktopsimulatoren werden vergeleken op zowel subjectieve (bijzijn, werklast, betrokkenheid) als objectieve (prestaties, EEG) metingen. Hoewel er geen verschillen waren in vliegprestaties of subjectieve werklast, scoorde VR significant hoger op subjectief bijzijn en betrokkenheid. Ook was de EEG Engagement in VR verhoogd in alle hersengebieden. Het voorspellende model suggereerde dat VR de hoeveelheden prestatiefouten licht verminderde. Een hogere subjectieve werklast bleek samen te hangen met een grotere foutmarge.

In Hoofdstuk 5 werden EEG- en gedragsdata van beginnende militaire piloten geanalyseerd tijdens VR-vliegtaken met twee moeilijkheidsniveaus. Kalibratievrije BCI-classifiers konden lage en hoge werklast betrouwbaar onderscheiden met gemiddelde nauwkeurigheden rond 80%. Theta-activiteit in frontale en centro-pariëtale gebieden bleek een belangrijke voorspeller. Dit toont aan dat een subject-onafhankelijke BCI voor werklastclassificatie haalbaar is.

Een van deze classifiers werd in Hoofdstuk 6 toegepast in een real-time neuroadaptief VR-trainingssysteem, waarin de moeilijkheidsgraad van vliegtaken automatisch werd aangepast op basis van EEG-werklast. Hoewel geen verschillen in prestaties of subjectieve werklast werden gevonden tussen het adaptieve trainingssysteem en een ander systeem met een vaste taakvolgorde, gaven piloten in interviews de voorkeur aan het neuroadaptieve systeem vanwege de afwisseling. Dit benadrukt het belang van gepersonaliseerde vliegtraining.

Hoofdstuk 7 onderzocht de individuele en gezamenlijke werklast van student- en instructeurpiloten tijdens gesimuleerde en echte vluchten met behulp van ECG-signalen (i.e., hartactiviteit). Zowel vluchtcondities als rollen (actief vliegen versus monitoren) beïnvloedden de hartslag en hartslagvariabiliteit. Er werd een lineair verband gevonden tussen subjectieve werklast en fysiologische synchronie.

Samenvattend biedt dit onderzoek nieuwe inzichten in de cognitieve en neurale processen die onderliggend zijn aan prestaties in VR-vliegtraining. De bevindingen dragen bij aan de ontwikkeling van adaptieve en gepersonaliseerde trainingsomgevingen, met mogelijke toepassingen in andere domeinen die intensieve training vereisen.