Masters thesis of engineering multimodal data fusion for cyber physical human systems

    Multimodal Data Fusion for Cyber-Physical-Human Systems   A thesis submitted in fulfilment of the requirements for the degree of   Master of Engineering    Lars Joyce Planke BEng (Electrical) (Hon 1st Class) (RMIT University)            School of Engineering  College of Science, Technology, Engineering and Maths  RMIT University  May 2021         Declaration I certify that except where due acknowledgement has been made, this work is that of the  author alone; this work has not been submitted previously, in whole or in part, to qualify for  any other academic award; the content of the thesis is the result of work, which has been  carried out since the official commencement date of the approved research program; any  editorial  work,  paid  or  unpaid,  carried  out  by  a  third  party  is  acknowledged;  and,  ethics  procedures and guidelines have been followed.  I  acknowledge  the  support  I  have  received  for  my  research  through  the  provision  of  an  Australian Government Research Training Program Scholarship.      Lars Joyce Planke     20 May 2021                    I            Acknowledgements In conducting my Master of Engineering research program, I would firstly like to express my  gratitude to my supervisors Prof. Roberto (Rob) Sabatini and Dr. Alessandro (Alex) Gardi, in  which their advice, guidance and aspirations have been of utmost importance in completing  a successful research project. I would like to give my thanks to Rob for identifying a potential  in me, opening up invaluable opportunities and aspiring me to strive for excellence. I would  also like to thank Alex for providing time and thoughtful advice throughout the project.  A special thanks goes to my friends and colleagues at RMIT University, including Yixiang Lim,  Nichakorn  Pongsarkornsathien,  Sam  Hilton,  Rohan  Kapoor,  Suraj  Bijjahalli  and  Federico  Rivalta.  Their  accompanying  presence  have  made  this  endeavour  highly  rewarding,  with  stimulating  interactions  that  have  sparked  valuable  insights  and  helped  progress  my  research.  I would also like to give many thanks to Dr. Neta Ezer from Northrop Grumman Corporation  for providing helpful feedback and supporting this research project. Also, thanks to Trevor  Kistan from Thales Australia for helping me conduct this research and providing feedback. I  would also like to acknowledge and express my gratitude to RMIT University for selecting  me for a RMIT Research Stipend Scholarship.  This  research  project  has  been  conducted  amid  a  historic  pandemic,  and  a  particular  gratitude goes to my partner Bella Reid and her family for providing extra support through  unusual  and  uncertain  times,  without  which  this  research  would  not  have  been  as  successful. Finally, I would to like to give my heartfelt appreciation to all my friends and  family in Norway and Australia. No matter the physical distance I can always rely on their  encouragement, care and constant source of support.        II        Table of Contents Declaration    Acknowledgements                   I                   II  List of Figures                     VIII  List of Tables                     XI               XII               1  List of Acronyms and Abbreviations  Executive Summary         Background    3  Research gaps    6    1.2.1.   Scope  _  10  Research aim and question  _  11  Research objectives  _  12  Overview of research methodology    13    1.5.1.   General project methodology    13    1.5.2.   Experimental activities  _  14  Thesis outline    16  References    17     Introduction  _  23  Human centred systems  _  24  Architecture for future aerospace systems    28    2.3.1.   HMI2 in the CNS+A context    28    2.3.2.   Adaptive systems and CHMS  _  30    2.3.3.   CHMS in future aerospace applications    32    2.3.4.   Evolutionary paths for future multidomain traffic management  _  37  Cognitive modelling and measurements    38  III            2.4.1.   Conceptual relationship between task load, performance and MWL  _  38    2.4.2.   Cognitive modelling and definitions  _  41    2.4.3.   Types of methods for measuring MWL and generating task loads  _  43  Sensors and methods for real‐time measurement of MWL    49    2.5.1.   Electroencephalogram (EEG)    49    2.5.2.   Eye activity tracking    62    2.5.3.   Cardiac activity  _  64    2.5.4.   Control input measurements    66    2.5.5.   Other sensor measurements of MWL    67    2.5.6.   Multimodality fusion  _  68    2.5.7.   Generalised inference models  _  78  Conclusions  _  80  References    82  Introduction  _  95  Design considerations for sensing and estimation  _  96    3.2.1.   Top‐level requirements for sensing and estimation  _  97    3.2.2.   Processes for sensing and estimation    98  Research methodology  _  101    3.3.1.   General project methodology  _  102    3.3.2.   Task load generation    104    3.3.3.   Participant inclusion criteria and ethics  _  109    3.3.4.   Sensor equipment    110    3.3.5.   Software infrastructure    115    3.3.6.   Data analysis    117  Experimental approach and design    119    3.4.1.   Experimental Activity 1    119    3.4.2.   Experimental Activity 2    122    3.4.3.   Experimental Activity 3    126  Conclusion  _  128  IV          References  _  129  Introduction    131  OTM UAS test case    132    4.2.1.   Participants  _  132    4.2.2.   Mission concept    133    4.2.3.   Experimental procedure  _  134  Measurement methods  _  135    4.3.1.   Eye tracking data processing    135    4.3.2.   EEG data processing    136    4.3.3.   Controller input processing  _  137    4.3.4.   Secondary task performance index  _  137  Data analysis  _  138    4.4.1.   ANOVA test  _  138    4.4.2.   Correlations between features    139  Results    139    4.5.1.   ANOVA test  _  139    4.5.2.   Correlation between features  _  144  Discussion  _  147  Conclusion  _  151  References  _  152  Introduction    153  Experimental procedure and setup    154  Participants    155  MATB scenario design    156  V          Data collection and processing  _  157    5.5.1.   Subjective measure  _  158    5.5.2.   MATB performance measures    158    5.5.3.   Physiological and behavioural measurements    158    5.5.4.   Final inference model  _  164    5.5.5.   Network during experiment    168  Data analysis  _  170    5.6.1.   Analysing the individual features using the CC    170    5.6.2.   Analysing the inference models  _  171  Results    171    5.7.1.   Calibrating and analysing the EEG model    172    5.7.2.   Individual results from all features  _  175    5.7.3.   Correlations between all features    180    5.7.4.   Results from calibrating and validating the ANFIS  _  181  Discussion  _  190    5.8.1.   Discussion of results    191    5.8.2.   Discussion of contribution    198  Conclusion  _  207  References    209  Introduction    213  Experiment procedure    214  Participants    214  MATB scenario design    215  Data collection and processing  _  216    6.5.1.   Networking during the experiment    217  Data analysis  _  219    6.6.1.   Round 1 analysis  _  219    6.6.2.   Round 2 analysis  _  220  VI            6.6.3.   Threshold criterion  _  220  Results    221    6.7.1.   Round 1 results    221    6.7.2.   Round 2 results    223  Discussion  _  232    6.8.1.   Discussion of methodology design and networking considerations  _  232    6.8.2.   Discussion of results    234    6.8.3.   Discussion of contribution    239    6.8.4.   Discussion of multimodal inference of MWL for CHMS  _  241  Conclusion  _  244  References    246  Introduction    249  Synthesis of experimental findings    249  Conclusion  _  254    7.3.1.   Objectives achieved  _  256  Recommendations for future research  _  259  Appendix A – Subject Specific Feature Combination           261    Appendix B – Neuropype Pipeline Designer             264  Appendix C – Results from Normality Test                266  Appendix D – List of Publications               268              VII            List of Figures Figure 1.1  Fundamental concept of the Cognitive Human Machine System (CHMS)…………………5  Figure 1.2   The general project methodology………………………………………………………………….……… 14  Figure 1.3  General methodology for Experimental Activity 1…………………………………………….…….15  Figure 2.1  Sheridan scale……………………………………………………………………………………………….……… 26  Figure 2.2  Full CHMS framework ……………………………………………………………………………….……… 31  Figure 2.3  VPA system architecture………………………………………………….…………………………………….33  Figure 2.4  Integrated air‐ground Concepts of Operation for SPO and UAS remote control .35  Figure 2.5  Layers of control for UAS and SPO…………………………………………………….……………………36  Figure 2.6  Third generation flight deck concept by Thales……………………………………………….……. 37  Figure 2.7  Evolutionary paths for a multidomain air and space transport operation.….… 38  Figure 2.8  Inverted U model……………………………………………………………………………………… …………39  Figure 2.9  Relationship between task load, performance and MWL……………………………………….40  Figure 2.10  Conceptual relationship between MWL and SA………………………………………………………41  Figure 2.11  Tasks for the MATB program………………………………………………………………………………….44  Figure 2.12  International 10‐20 system for electrode placement.………………………………………… …50  Figure 2.13  (a) Referential montage; (b) Differential amplifier circuit………………………….……………51  Figure 2.14  A simulated head for finding oscillating voltage sources…………………………….… …… 53  Figure 2.15  Signal processing method for a straightforward oscillatory BCI………………………………56  Figure 2.16  EEG signals spatially filtered using CSP algorithms…………………………………………………58  Figure 2.17  Filter Bank Common Spatial Pattern (FBCSP)………………………………………………….………59  Figure 2.18  A generic signal processing for ERP based BCI……………………………………………….……….61  Figure 2.19  QRS complex…………………………………………………………………………………………………… 65  Figure 2.20  Example of different modalities that can be used for cognitive load………………… 70  Figure 2.21  High level data fusion for multimodal MWL estimation………………………………… .71  Figure 2.22  Example of an architecture of a NFS………………………………………………………………………76  Figure 3.1  Basic configuration of CHMS……………………………………………………………………….…………96  Figure 3.2  Fundamental components of sensing and estimation………………………………… ………98  Figure 3.3  The general project methodology……………………………………………………………… …….103  Figure 3.4  OTM UAV wildfire detection scenario……………………………………………………… … …….106  Figure 3.5  Tasks for the MATB program………………………………………………………………………… … 107  Figure 3.6  (a) actiCAP Xpress form BrainProducts; (b) V‐Amp amplifier with USB cable… ……111  Figure 3.7  GP3 eye tracker…………………………………………………………………………………………… …… 112  Figure 3.8  Zephyr Bioharness 3………………………………………………………………………………….… …….112            VIII        Figure 3.9  Logitech Extreme 3D Pro………………………………………………………………….………………….113  Figure 3.10  Example of eye tracker mistakenly detecting features of the EEG electrodes as… 114  Figure 3.11  (a) Cloth that is placed to cover the electrodes of the EEG; (b) Cloth preventing… 114  Figure 3.12  Basic data flow for physiological measurement collection……………………………………115  Figure 3.13  General methodology for activity 1………………………………………………………………………119  Figure 3.14  Overall methodology for Experimental Activity 1……….……………………………………… 121  Figure 3.15  Multimodal data fusion with testing of multiple inference models……………………….123  Figure 3.16  Detailed methodology for offline development and analysis of inference………… 124  Figure 3.17  Offline calibration and validation of ANFIS model……………………………………………… 125  Figure 3.18  Overall methodology for Experimental Activity 3…………………………………………… 127  Figure 4.1  Mission concept illustrating the Unmanned Aerial Vehicles (UAVs) bounding…… 134   Figure 4.2  Subjective ratings: (a) subjective workload of all participants, grouped by the…….141  Figure 4.3  (a) Mean task index of all participants (normalized), grouped by the scenario…… 142  Figure 4.4  Physiological measures: (a) mean scan pattern entropy of all participants………….143  Figure 4.5  Mean EEG index of all participants…………………………………………………………………….…144  Figure 4.6  Comparison for one participant between the task index, SPE and EEG index……… 145  Figure 5.1  (a) Experimental setup while participant performs MATB tasks. A: EEG cap……… 155   Figure 5.2  MATB task load profile for the experiment……………………………………………………………156  Figure 5.3  Diagram showing all the categories and subcategories of data collection…………….157  Figure 5.4  Feature extraction using FBSPoC and continuous classification using ridge………….159  Figure 5.5  Pipeline for offline calibration and validation of EEG model…………………………… 160  Figure 5.6  Four features extracted from the eye tracking data…………………………………………… 162  Figure 5.7  ROI for calculating simple (a) and complex; (b) scan pattern entropy……………….… 163  Figure 5.8  Network diagram for processing and collection of data……………………………………….169  Figure 5.9  Protocol for synchronising measurements……………………………………………………………170  Figure 5.10  Result for participant 11 after calibrating the EEG model…………………………………… 172  Figure 5.11  Results from the EEG pipeline for participant six………………………………………………… 174  Figure 5.12  (a) EEG measure for participant 4; (b) scan pattern entropy for participant 2………176  Figure 5.13  (a) Blinks per minute for participant 16; (b) pupil diameter for participant 2……… 176  Figure 5.14  (a) Dwell time for participant 5; (b) Heart rate for participant 3……………………………177  Figure 5.15  Control inputs for participant 14………………………………………………………………………….177  Figure 5.16  Calibration and validation on separate halves of the data set……………………………….182   Figure 5.17  Results after calibrating and validating the ANFIS model for participant 4……….… 189  Figure 6.1  Overall methodology……………………………………………………………………………………… 214  Figure 6.2  Task profile for Round 1 of the MATB scenario…………………………………………… …… 215  Figure 6.3  Task profile for the online validation round in Round 2…………………………………………216  IX    Chapter 7. Synthesis, Conclusion and Recommendations  254    implementation of non‐contributing features was not detrimental to the performance of  the ANFIS model when using it for multimodal fusion, as the use of multiple features can  prove vital in the reliability of the inference of MWL.  Conclusion With increasingly higher levels of automation in aerospace CPS it is imperative that human  operators  maintain  the  required  level  of  SA  in  order  to  contribute  effectively  to  both  strategic  and  tactical  decision‐making  processes.  To  ensure  that  the  performance  of  the  system and the MWL of the human operator are maintained at an acceptable level, one  possible approach is to introduce real‐time adaptation in HMI2. Current aerospace systems  and interfaces are limited in adaptability where the authority for reconfiguration and task  allocation  in  current  HMI2  is  manually  controlled  by  the  human  operator.  Henceforth,  a  CHMS addresses these issues with  a  cyber‐physical human design that provides dynamic  real‐time  system  adaptation.  Nevertheless,  to  reliably  drive  adaptation  of  aerospace  decision support systems there is a need to accurately and repeatably estimate cognitive  states, in particular MWL, in real‐time. Henceforth this research has studied methods for  sensing  physiological  and  behavioural  responses  associated  with  MWL  and  used  the  corresponding features to provide a multimodal inference of MWL. Previous work related  to the measurement of MWL has demonstrated the capability of supervised ML models to  improve  the  estimation  of  MWL.  Nevertheless,  classification  models  using  multiple  modalities have generally been implemented with discrete classification (i.e.  resting, low  and high), and where the analysis has been conducted using offline calibration and offline  validation.  The  use  of  ML  models  that  employ  a  continuous  regression  approach  for  the  multimodal inference of MWL is less implemented. While some previous work has included  the use of a NFS to fuse the data from multiple modalities, the accurate online performance  of an ANFIS model for the multimodal inference of MWL has not previously been reported.  This includes the thorough investigation of the performance of the model from an online  validation,  with  an  analysis  of  the  performance  of  the  model  based  on  using  different  feature combinations.      Multimodal Data Fusion for Cyber‐Physical‐Human Systems     255  The work conducted as part of this research included an exploratory experimental activity  (Experimental Activity 1) that implemented and analysed an EEG index during a OTM UAV  wildfire  detection  scenario.  The  index  included  previously  proven  features  of  MWL,  including the changes in the theta and alpha band, and showed to be sensitive to changes  in MWL in the complex task scenario. Moreover, a straightforward data fusion approach  showed  that  fusing  the  EEG  index  and  scan  pattern  entropy  features  gave  the  highest  correlation with the secondary task performance measure (CC = 0.73 ± 0.14).   The following more comprehensive Experimental Activities 2 and 3 conducted as part of this  research  consisted  of  the  development  and  offline/  online  validation  of  a  multimodal  inference model of MWL that was experimentally tested during a MATB scenario. While the  terms offline validation and online validation were adopted in this thesis, the terms were  used to reflect the language used in the literature and to convey that the models were tested  with  “unseen”  data  in  offline  and  online  processing.  Nonetheless,  these  experimental  activities were exploratory studies into the development of a multimodal inference model  of  MWL.  These  experimental  activities  involved  a  rigorous  analysis  of  subject  specific  inference models and included using a subject specific EEG model and an ANFIS model for  fusing  the  multimodal  physiological  and  behavioural  features.  The  multimodal  inference  model implemented in Experimental activity 2 and 3 included an ANFIS that used FCM as an  initial clustering method. Once the initial clustering was generated, a further tuning process  was performed that used backpropagation to tune the input membership function and least  squares estimation to tune the output membership functions (see Section 5.5.4.1 for further  detail). The results from the offline calibration and validation (Experimental Activity 2), of  the several multimodal inference models of MWL, demonstrated that the average from the  best performing subject specific feature combinations gave the lowest error with the task  level with a MAE = 0.28. Nonetheless, the results from using all the seven features in the  combination  showed  a  MAE  =  0.36.  While  the  former  demonstrated a  smaller error,  the  latter showed quite a comparable result, hence demonstrating that the use of the  other  non‐contributing features was not as detrimental to the ANFIS when performing multimodal  inference of MWL.   The final Experimental Activity 3 included the online validation of 11 selected ANFIS models  as  determined  in  the  previous  activity.  In  addition  to  this  the  online  validation  of  ANFIS      Chapter 7. Synthesis, Conclusion and Recommendations  256    models  1‐5  (containing  different  feature  combinations  of  eye  activity  and  control  input  features)  where  tested  for  cross‐session  inference  of  MWL  on  half  of  the  participants  in  Round 1, while ANFIS models 10‐11 used a subject specific feature combination and were  tested  on  half  of  the  participants  in  Round  2.  As  in  the  previous  case  the  features  were  thoroughly assessed using the pairwise correlation with the task level. The average showed  in both Experimental Activities 2 and 3 to be consistent with the results in previous studies.  The results from the online cross‐session validation of ANFIS models 1‐5 in Round 1 showed  that all models performed well, with ANFIS model 2 showing the lowest error with a MAE =  0.63. The ANFIS models 1‐5 performed equally well across all subjects in Round 2 with ANFIS  model 3 showing a MAE = 0.67 and CC = 0.71. The ANFIS models 6‐11 (performed in Round  2) included the measure from the EEG model that showed a discrepancy with an offset. This  equally resulted in an offset in the final online inference of the ANFIS models thus resulting  in a large error. Nonetheless, the efficacy of the EEG model and resulting ANFIS models could  be seen with the normalised pairwise correlation between the outputs and the task level.  For ANFIS models 6‐9, the results showed a good pairwise correlation in the range of 0.61  to 0.69, while ANFIS model 11 that implemented the subject specific feature combination  showed a CC = 0.77, which was the best result among all the models tested.  Henceforth these results demonstrated the ability for multimodal data fusion from features  extracted from EEG, eye activity and control inputs to produce an accurate and repeatable  inference of MWL. In particular this included ANFIS model 1‐5, that showed to consistently  produce  a  repeatable  inference  of  MWL  during  within‐  and  cross‐session  validation.  The  investigation  of  multimodal  fusion  for  MWL  inference  has  assisted  in  corroborating  the  viability of real‐time system adaptation in future aerospace CPHS architectures.  7.3.1 Objectives achieved The  aim  of  this  research  was  the  development  of  an  accurate  and  repeatable  inference  model for MWL estimation as needed for a CHMS. In working towards this the following  objectives were achieved.  OBJ A comprehensive literature review on MWL measurements, EEG, ECG, eye activity tracking, control inputs, human factors, adaptive automation, closed     Multimodal Data Fusion for Cyber‐Physical‐Human Systems     257  loop system adaptation, passive BCI, HMI2, CNS+A, multimodal data fusion, machine learning and ANFIS: The real‐time inference of MWL is a multidisciplinary field that requires the review  of many different areas. As such this research has completed a detailed review of  multiple  areas  ranging  from  the  theoretical  relation  between  various  cognitive  states,  to  the  technology  of  the  sensors  performing  the  physiological  and  behavioural  measurements  and  the  analysis  of  this  data  for  producing  a  final  multimodal inference of MWL. In addition to this a review was conducted on the  CHMS and the application of it for future aerospace operations.  OBJ Identify methods for multimodal data fusion and corresponding data labelling/ target value strategies: As part of the review this objective was more specifically emphasised. This objective  was  achieved  with  a  detailed  overview  of  the  various  multimodal  data  fusion  techniques and an investigation of applicable labelling techniques as used for the  inference  model.  As  supervised  ML  techniques  were  implemented  a  labelling  strategy was identified and implemented.  OBJ Determine and experimentally verify physiological and behavioural measurements associated with MWL: Extensive reviews have identified that measures of MWL are not universally valid  for all task scenarios. Henceforth, this research has thoroughly analysed a number  of  different  physiological  and  behavioural  features  associated  with  MWL.  The  results  from  the  experimental  activities  has  verified  several  strong  correlations  between the respective measurements of MWL and other objective measures of  MWL  (i.e.  task  performance  or  task  analysis).  Most  of  the  experimentally  tested  measures of MWL have shown to be consistent with previously reported findings in  the literature.  OBJ Select and experimentally implement a subject specific machine learning technique most suited for continuously inferring MWL at frequent intervals based on multimodal data:     Chapter 7. Synthesis, Conclusion and Recommendations  258    To  achieve  a  repeatable  and  accurate  inference  of  MWL,  two  ML  models  were  selected and later implemented for experimental testing. This included the use of a  supervised  ML  models  for  the  EEG  data  as  well  as  an  ANFIS  for  fusing  the  multimodal  data.  The  results  from  the  ANFIS  model  demonstrated  an  accurate  inference  of  MWL  at  regular  1  second  intervals,  and  with  the  EEG  model  demonstrating an inference of MWL at 3 second intervals.  OBJ Perform a thorough analysis from offline calibration and validation of a multimodal inference model of MWL and analyse performance from using different generic and subject specific feature combinations: As  completed  in  Experimental  Activity  2,  a  thorough  offline  calibration  and  validation was conducted using a multimodal ANFIS model that was calibrated using  a  number  of  feature  combinations,  including  a  generic  and  a  subject  specific  combination.  OBJ Perform online validation of the multimodal inference models of interest, including online cross-session validation: As  completed  in  Experimental  Activity  3,  an  online  validation  of  the  multimodal  inference model of MWL was performed and showed for some models to produce  accurate  and  repeatable  inference  of  MWL  based  on  real‐time  data.  An  online  cross‐session validation of five of the multimodal models demonstrated the ability  for cross‐session inference of MWL.  OBJ Analyse elements of explainability of the inference of MWL from the ML model implemented: As part of the pairwise correlation analysis with the respective features and the task  level,  the  multimodal  ANFIS  model  performed  well  in  line  with  the  preceding  correlation analysis. Moreover, an analysis conducted after the online validation of  the ANFIS models demonstrated which features correlated strongest with the real‐ time output, thus providing some level of explainability in terms of the features the  model emphasised in the final multimodal inference of MWL.      Multimodal Data Fusion for Cyber‐Physical‐Human Systems     259  OBJ Create and implement a protocol for rapid calibration of a multimodal inference model: For  an  operational  CHMS,  calibration  of  the  various  models  will  need  to  be  performed efficiently. As part of Experimental Activity 3, a rapid calibration protocol  was developed where the subject specific inference models could be calibrated and  then validated in real‐time during a single session.  Recommendations for future research The  following  key  points  have  been  identified  as  recommendations  for  further  research  activities in the area of real‐time multimodal MWL estimation:   A major challenge within this research area is achieving reliable cross‐task classification/  inference  from  a  calibrated  multimodal  model.  Hence  future  research  should  further  investigate the capability of calibrating a multimodal model on one task and validating  the multimodal model on another task. As part of future research, it would be viable to  take the multimodal model developed in Chapter 6 and assessing its ability to infer MWL  on another task;   Building on the previous point, the ability for cross‐task inference is dependent on the  measurement to be task independent. Thus, future research should focus on studying  physiological and behavioural measure of MWL that are task independent. This includes  exploring  new/  other  task  independent  physiological  and  behavioural  measures  (i.e.  facial expression) for their sensitivity to changes in MWL, and their effect on performing  multimodal fusion;   Having accurate and frequent labelled data is crucial when implementing supervised ML  techniques, however knowing the “ground truth” of the humans perceived MWL is one  of  the  major  challenges.  Henceforth,  an  area  for  further  research  would  be  implementing a different objective measure of MWL, such as task‐based measures or  reserving other well‐established physiological/ behavioural measures as data labels for  calibration  and  validation.  This  additionally  includes  implementing  a  more  objective  assessment of the model’s performance by using one measure for labelling the data and  another objective measure for validating the model’s performance;      Chapter 7. Synthesis, Conclusion and Recommendations  260     Many of the ML models techniques lack in the explainability of the final estimation of  MWL. Future research should thus explore the explainability of inference models, such  that the operator’s cognitive state can be explained at important junctures in real‐time.  This includes studying how an operator can be prompted regarding a certain level of  inferred MWL whilst conducting a certain task;   While the experimental activities implemented some limited artifact rejection, future  research  should  considerably  extend  the  reliability  and  maturity  of  real‐time  artifact  removal from the various sensors;   While this research focused on the multimodal sensing and estimation of MWL, future  research should further study the implementation of this for driving real‐time system  adaptation in conventional and emerging aerospace concepts such as ATC, SPO or UTM.  This should include studying how the dynamic system adaptation affects the operation  of the system and should investigate if the trust of the operation is maintained.            Appendix A  Subject Specific Feature Combination Table A.1 Subject specific feature combination with the Controller Input (CI) feature (see  Section 5.5.3.4) (not including features with pairwise correlation less than CC=0.45)  Subject Best features Best features Best features Best features Best features SPE, CI  EEG, CI, SPE  EEG, CI, SPE, DIA  EEG, CI, SPE, DIA, Dwell  N/A  DIA, EEG  DIA, EEG, SPE  DIA, EEG, SPE, CI  DIA, EEG, SPE, CI, HR  N/A  CI, SPE  CI, SPE, BPM  CI, EEG, SPE, BPM  CI, EEG, SPE, BPM, HR  SPE, CI  EEG, SPE, CI  EEG, SPE, CI, Dwell  EEG, SPE, CI, Dwell, Dia  CI,  EEG, SPE,  BPM,  HR,  DIA  N/A  SPE, CI  SPE, CI, Dia  SPE, CI, DIA, EEG  SPE, EEG, CI, DIA, Dwell  EEG, CI  EEG, CI, SPE  EEG, CI, SPE, DIA  EEG, CI, SPE, DIA, HR  EEG,  SPE,  DIA,  Dwell,  BPM  N/A  EEG, CI  EEG, CI, SPE  EEG, CI, SPE, BPM  N/A  N/A  SPE, DIA  SPE, DIA, CI  SPE, DIA, CI, EEG  SPE, DIA, CI, EEG, Dwell  CI, SPE  CI, SPE, EEG  CI, SPE, EEG, Dwell  CI, SPE, EEG, Dwell, DIA  SPE,  DIA,  click,  EEG,  Dwell, BPM  N/A  10 EEG, CI  EEG, CI, SPE  EEG, CI, SPE, DIA  EEG, CI, SPE, DIA, BPM  11 EEG, CI  EEG, CI, DIA  EEG, CI, DIA, BPM  EEG, CI, DIA, BPM, Dwell  12 CI, SPE  CI, SPE, Dia  CI, SPE, DIA, EEG  CI, EEG, SPE, DIA, BPM  13 SPE, CI  SPE, CI, EEG  SPE, CI, EEG, Dwell  N/A  EEG, CI, SPE, DIA, BPM,  Dwell  EEG,  CI,  DIA,  BPM,  Dwell, SPE  CI, EEG, SPE, DIA, BPM,  HR  N/A  14 EEG, CI  EEG, CI, SPE  EEG, CI, SPE, Dwell  EEG, CI, SPE, Dwell, DIA  N/A  15 SPE, CI  EEG, CI, SPE  EEG, CI, SPE, DIA  EEG, CI, SPE, DIA, BPM  16 CI, SPE  CI, SPE, BPM  CI, SPE, BPM, EEG  EEG, CI, SPE, BPM, DIA  17 CI, SPE  CI, SPE, DIA  CI, SPE, DIA, EEG  EEG, CI, SPE, DIA, BPM  EEG, CI, SPE, DIA, BPM,  Dwell  EEG, CI, SPE, BPM, DIA,  Dwell  EEG, CI, SPE, DIA, BPM,  Dwell      261    262  Table A.2 Subject specific feature combinations without the Controller Input (CI) feature (see  Section 5.5.3.4) (not including features with pairwise correlation less than CC=0.45)  Participant Best features Best features Best features Best features All features EEG, SPE  EEG, SPE, DIA  EEG, SPE, DIA, Dwell  N/A  N/A  EEG, DIA  EEG, DIA, SPE  EEG, DIA, SPE, HR  EEG, DIA, SPE, HR, dwell  N/A  SPE, BPM  EEG, SPE, BPM  EEG, SPE, BPM, HR  EEG, SPE, BPM, HR, DIA  EEG, SPE  EEG, SPE, Dwell  EEG, SPE, Dwell, DIA  N/A  EEG,  SPE,  BPM,  HR, DIA, Dwell  N/A  SPE, DIA  EEG, SPE, DIA  EEG, SPE, DIA, Dwell  EEG, SPE, DIA, Dwell, BPM  N/A  EEG, SPE  EEG, SPE, DIA  EEG, SPE, DIA, HR  N/A  N/A  EEG, SPE  EEG, SPE, BPM  N/A  N/A  N/A  SPE, DIA  SPE, DIA, EEG  SPE, DIA, EEG, Dwell  SPE, DIA, EEG, Dwell, BPM  N/A  EEG, SPE  EEG, SPE, Dwell  EEG, SPE, Dwell, DIA  N/A  N/A  10 EEG, SPE  EEG, SPE, DIA  EEG, SPE, DIA, BPM  EEG, SPE, DIA, BPM, Dwell  N/A  11 EEG, DIA  EEG, DIA, BPM  EEG, DIA, BPM, Dwell   EEG, DIA, BPM, Dwell, SPE  N/A  12 SPE, DIA  EEG, SPE, DIA  EEG, SPE, DIA, BPM  EEG, SPE, DIA, BPM, HR  N/A  13 EEG, SPE  EEG, SPE, Dwell  N/A  N/A  N/A  14 EEG, SPE  EEG, SPE, Dwell  EEG, SPE, Dwell, DIA  N/A  N/A  15 EEG, SPE  EEG, SPE, DIA  EEG, SPE, DIA, BPM  EEG, SPE, DIA, BPM, Dwell  N/A  16 SPE, BPM  EEG, SPE, BPM  EEG, SPE, BPM, DIA  EEG, SPE, BPM, DIA, Dwell  N/A  17 SPE, Dias  EEG, SPE, DIA  EEG, SPE, DIA, BPM  EEG, SPE, DIA, BPM, Dwell  N/A                      263  Table A.3  Selection  of  best  performing  subject  specific  feature  combinations  (comb.)  for  ANFIS models 10 and 11 based on results from offline validation. (CI indicates the Controller  Input feature (see Section 5.5.3.4))  Subject 10 11 12 13 14 15 16 17 Custom ANFIS 10 Best model - no CI Best 3 comb.  Best 3 comb.  Best 4 comb.  Best 2 comb.  Best 4 comb.  All 6 comb.  Best 2 comb.  Best 4 comb.  All 6 comb.  Best 4 comb.  Best 5 comb.  All 6 comb.  Best 2 comb.  Best 4 comb.  Best 2 comb.  Best 2 comb.  Best 3 comb.          Custom ANFIS 11 Best model - with CI Best 3 comb.  Best 3 comb.  Best 5 comb.  All 7 comb.  Best 3 comb.  Best 2 comb.  Best 3 comb.  Best 4 comb.  Best 2 comb.  Best 5 comb.  Best 2 comb.  Best 6 comb.  Best 2 comb.  Best 3 comb.  Best 2 comb.  Best 3 comb.  Best 2 comb.      Appendix B  Neuropype Pipeline Designer Figure B.1 EEG pipeline implemented in Pipeline Designer for offline calibration and validation for Experimental Activity 2.     264    265  Figure B.2 EEG pipeline implemented in Pipeline Designer for offline calibration and online validation during Round 2 in Experimental Activity  3.             Appendix C  Results from Normality Test The  following  are  the  results  from  testing  for  normality  for  the  outputs  from  the  ANFIS  models for both Experimental Activity 2 (Chapter 5) and Experimental Activity 3 (Chapter 6).  As evident in the respective tables below all results passed the normality test.    Table C.1 Testing for normality for all the outputs from the ANFIS models 1‐11 (validated  on first half of data (Section 5.7.4.2)) and respective subjects in Session 1. All outputs from  the multimodal ANFIS models passed the normality test. (E represents times ten raised to  the power).          266    267  Tabel C.2 Testing for normality for all the outputs from the ANFIS models 1‐5 and  respective subjects in Session 2 Round 1 (Section 6.7.1.1). All outputs from the multimodal  ANFIS model passed the normality test. (E represents times ten raised to the power).    ANFIS 4.7  E‐47  1.4  E‐77  1.5  E‐33  7.6  E‐35  5.9  E‐68  ANFIS ANFIS ANFIS ANFIS 6.7  E‐107  1.6  E‐123  3.4  E‐130  7.8  E‐139  4.8  E‐89  1.5  E‐97  4.8  E‐103  1.6  E‐44  1.7  E‐95  3.9  E‐88  5.8  E‐99  1.6  E‐46  3.7  E‐27  6.1  E‐96  1.3  E‐21  2.1  E‐123  1.5  E‐91  4.0  E‐56  1.8  E‐51  2.3  E‐65  7.1  E‐109  2.5  E‐104  2.4  E‐251  3.1  E‐160  4.4  E‐217    Table C.3 Testing for normality for all the outputs from the ANFIS models 1‐11 and  respective subjects in Session 2 Round 2 (Section 6.7.2.1). All outputs from the multimodal  ANFIS model passed the normality test. (E represents times ten raised to the power).    ANFIS ANFIS ANFIS ANFIS ANFIS ANFIS ANFIS ANFIS ANFIS 7.0  E‐09  8.8  E‐14  7.5  E‐36  3.1  E‐40  1.1  E‐33  2.4  E‐12  2.0  E‐58  1.4  E‐23  2.0  E‐18  ANFIS 10 n/a  ANFIS 11 n/a  4.3  E‐32  1.5  E‐12  1.5  E‐51  5.6  E‐29  2.3  E‐44  0  0  1.6  E‐27  0  0  0  2.0  E‐28  3.4  E‐39  1.7  E‐09  5.5  E‐26  7.1  E‐64  4.0  E‐16  8.1  E‐39  9.5  E‐41  8.4  E‐43  6.6  E‐47  1.4  E‐47  6.8  E‐60  3.1  E‐44  2.7  E‐55  6.0  E‐41  1.9  0  0  E‐106  4.6  2.0  0  E‐227  E‐47  5.6  7.6  0  E‐145  E‐35  3.9  8.8  0  E‐226  E‐111  5.5  9.9  n/a  E‐175  E‐324  8.4  0  n/a  E‐29  4.5  E‐77  2.7  E‐78  3.9  E‐37  5.5  E‐07  6.0  E‐21  2.8  E‐66  0  0  9.9  E‐83  0  1.4  E‐122          3.2  E‐57  3.6  E‐45  7.0  E‐45  1.7  E‐12  8.0  E‐58  4.1  E‐52  5.1  E‐41  2.4  E‐23  1.5  E‐49  1.4  E‐47  4.3  E‐49  2.0  E‐23  2.5  E‐11  7.7  E‐16  4.5  E‐20  3.6  E‐67  3.0  E‐58  6.1  E‐86  3.0  E‐39  1.6  E‐71  1.9  E‐42  8.1  E‐26  3.6  E‐23  1.9  E‐83  2.3  E‐26  10 1.6  E‐19  7.2  E‐45  6.6  E‐25  1.3  E‐04  2.0  E‐70  11 5.9  E‐48  2.7  E‐33  3.3  E‐35  1.5  E‐27  1.0  E‐65  6.6  E‐92  1.5  E‐120  3.6  E‐40  12 3.5  E‐18  1.8  E‐35  7.7  E‐21  3.7  E‐43  8.7  E‐91  1.2  E‐34  2.4  E‐21  2.2  E‐98  4.7  E‐157  0  0  0  2.0  E‐50  0  0  0  0  0  n/a  n/a  n/a  n/a  n/a  n/a  n/a  n/a  n/a  n/a      Appendix D  List of Publications As part of this research project, the author has produced the following publications.   Lead author publications:   L J Planke, A. Gardi, R. Sabatini, T. Kistan and N. Ezer, "Online Multimodal Inference  of Mental Workload for Cognitive Human Machine Systems," Computers, vol. 10, no.  6, p. 81, June 2021   L J Planke, Y. Lim, A. Gardi, R. Sabatini, T. Kistan, and N. Ezer, "A Cyber‐Physical‐ Human System for One‐to‐Many UAS Operations: Cognitive Load Analysis," Sensors,  vol. 20, no. 19, p. 5467, September 2020  Co‐author publications:   N. Pongsakornsathien, Y. Lim, A. Gardi, S. Hilton, L J Planke, R. Sabatini, T. Kistan,  N. Ezer, "Sensor Networks for Aerospace Human‐Machine Systems," Sensors, vol. 19,  no. 16, p. 3465, August 2019  268    ... further developing an EEG index and implementing a? ?data? ?fusion? ?approach with the EEG      Multimodal? ?Data? ?Fusion? ?for? ?Cyber? ? ?Physical? ? ?Human? ?Systems? ?   15  index and an eye activity measure. The EEG index and? ?data? ?fusion? ?approach were analysed ... However, it was concluded that the physiological and performance measures improved the  system adaptation over using only system error? ?for? ?driving the adaptation.      Multimodal? ?Data? ?Fusion? ?for? ?Cyber? ? ?Physical? ? ?Human? ?Systems? ?   9  In terms? ?of? ?estimating MWL, a continuous regression measure? ?of? ?MWL is arguably more ... scale, should be specified at the various phases? ?of? ?the flight profile.      Multimodal? ?Data? ?Fusion? ?for? ?Cyber? ? ?Physical? ? ?Human? ?Systems? ?   35    Figure 2.4. Integrated Air‐Ground Concepts? ?of? ?Operation? ?for? ?SPO and UAS remote control [29].