Notechs for Hems

Finalità e caratteristiche del progetto “NOTECHS for HEMS”

Il presente progetto illustra una ricerca elaborata dal gruppo di ricerca APRESO, afferente all’Università di Verona su richiesta di Helicopters Italia rispetto costruzione – ed eventuale validazione – di un questionario sulle NOn-TECHnical (NOTECHS)1 per i membri dell’equipaggio HEMS al fine di monitorare e operare in sicurezza.

Macro-fasi del progetto 

Il progetto si caratterizza per la volontà di sviluppare uno strumento psicometrico, utilizzando una metodologia quali-quantitativa, per la misura di costrutti NOTECHS definiti come competenze cognitive e sociali che contribuiscono a promuovere la corretta applicazione delle procedure lavorative in ambito aerospaziale2. La procedura di costruzione della scala di misura è consistita in una analisi secondaria (della letteratura scientifica e specialistica), una serie di interviste eseguite sul personale tecnico individuato tramite campionamento sistematico per la definizione dei comportamenti procedurali e, infine, nello sviluppo degli item dello strumento che avverrà sulla base dei risultati delle fasi precedenti. Segue nel dettaglio la definizione di ogni fase del progetto.

Analisi secondaria

Considerando quanto già emerso dalla letteratura scientifica e specialistica rispetto alle NOTECHS, si sono estrapolate scale già validate e utilizzate a livello internazionale per la misura dei suddetti costrutti e affini, quali, ad esempio, Decision Making Competence3, Extra-Role Performance4, nonché dei costrutti utili a testare la validità divergente dello strumento. La mole di questionari sviluppati in lingua inglese1,2,5-7 ha richiesto la necessità di disporre di traduzioni specialistiche oltre che di procedure ritenute scientificamente valide (translation-and back translation) al fine di salvaguardare la validità di contenuto degli item originali. Durante la fase di analisi della letteratura sono stati considerati quei costrutti e, se disponibili, quelle scale effettivamente applicabili alla realtà oggetto di studio. È stata inoltre inoltre presa in considerazione l’effettuazione di una meta-analisi o di un’analisi delle corrispondenze multiple al fine di procedere esaustivamente rispetto ai costrutti più rilevanti secondo le precedenti e più recenti ricerche applicate nel settore. 

Panel e Focus group

Contestualmente, l’equipe di ricerca, grazie ad una serie di panel e focus group, utilizzando delle interviste semi-strutturate su campioni selezionati di tecnici e operatori ha verificato le problematiche più comuni rincontrate in fase operativa. Il gruppo di ricerca si è occupato di classificare tali errori (slips, trips)8 o potenziali errori (near-miss)9 sviluppando un diagramma ad albero secondo il modello NOTECHS. 

Tale sistematicità ha permesso di produrre una scala in linea con la sistematizzazione NOTECHS costituita da principi, regole e marker comportamentali (Figura 1) che hanno definito i quattro macro costrutti principali (Co-operation, Situation Awareness, Leadership e abilità manageriali, Decision-Making). 

In compartecipazione con le parti coinvolte, in questa fase sono stati sviluppati gli item specifici per le proprietà lavorative considerate al fine di salvaguardare la validità ecologica dello strumento.

Figura 1. Cornice descrittiva delle NOTECHS1.

Definizione degli item e dello scoring

La parte finale del progetto consisterà nello sviluppo del questionario in linea con le fasi precedenti. Una batteria di item è stata creata e somministrata a un campione per un’indagine pilota al fine di testare comprensibilità e chiarezza. A seguito della selezione degli item sarà sviluppata la scala di risposta (Likert) dello strumento. Una serie di statistiche descrittive sono state eseguite a seguito di una seconda somministrazione per verificare l’affidabilità delle scale (misure di inter-correlazione, McDonald’s Omega, Guttman-Chronbach Alpha, ecc.) 10-17. Estratti gli item che riporteranno bassi indici di fit rispetto ai costrutti di appartenenza, lo strumento nella sua versione integrale è stato provvisto di indicazioni di compilazione, scale per la misura delle validità convergenti e divergenti, misure oggettive e descrittive relative a dati socio anagrafici e lavorativi (percentuale di near-missing, di slips e trips registrati recentemente dal soggetto, ecc.). L’equipe di ricerca ha predisposto altresì la manualistica per lo scoring e un format destinato alla presentazione dei risultati.

Considerazioni e possibili sviluppi

In linea con le procedure internazionali di validazione, l’equipe di ricerca ha pensato di includere nella progettazione più scale per la possibilità di testare l’affidabilità dello strumento anche in una possibile fase successiva. Tale operazione andrebbe eseguita dopo un numero considerevole di compilazioni al fine di testare statisticamente il modello attraverso una serie di analisi confermative. La fase in oggetto è finalizzata a creare una scala di misura, rispondente ai requisiti scientifici di attendibilità e validità , con la possibilità in seguito di procedere alla validazione dello strumento. Consigliamo infine di pubblicare su una rivista specialistiche del settore la procedura di creazione dello strumento e, eventualmente, la successiva validazione. Lo strumento ne beneficerebbe in termini di affidabilità e validità statistica, oltre che in termini di riconoscimento internazionale da parte della comunità professionale e scientifica.

 Bibliografia

Flin, R. et al. Development of the NOTECHS (non-technical skills) system for assessing pilots’ CRM skills. Human Factors and Aerospace Safety 3, 97-120 (2003).
Mishra, A., Catchpole, K. & McCulloch, P. The Oxford NOTECHS System: reliability and validity of a tool for measuring teamwork behaviour in the operating theatre. Quality and Safety in Health Care 18, 104-108 (2009).
Weller, J., Ceschi, A. & Randolph, C. Decision-Making Competence Predicts Domain-Specific Risk Attitudes. Frontiers in Psychology 6, 540 (2015).
Koopmans, L. et al. Development of an individual work performance questionnaire. International Journal of Productivity and Performance Management 62, 6-28 (2012).
Robertson, E. R. et al. Oxford NOTECHS II: a modified theatre team non-technical skills scoring system. PloS one 9, e90320 (2014).
Goeters, K.-M. Validation of CRM training by NOTECHS: Results of the PHARE ASI project. Aviation psychology: Practice and research. Aldershot, UK: Ashgate (2004).
Avermate van JAG, K. E. NOTECHS: the evaluation of non-technical skills of multi-pilot air crew in relation to the JAR-FCL requirements. (Research Report for the European Commission, 1998).
Davis, P. Human factors contributing to slips, trips and falls. Ergonomics 26, 51-59 (1983).
Van der Schaaf, T. W., Lucas, D. A. & Hale, A. R. Near miss reporting as a safety tool.  (Butterworth-Heinemann, 2013).
Sartori, R. & Bortolani, E. Approccio ideografico e approccio nomoteico alla persona: Il caso dei test psicologici. Giornale italiano di psicologia 33, 107-118 (2006).
Sartori, R. Response bias e response style negli strumenti self-report. Di-PAV Quaderni 20, 57-64 (2007).
Sartori, R. Psicologia psicometrica.  (LED, Edizioni universitarie di lettere economia diritto, 2009).
Sartori, R. & Pasini, M. Indicatori e costrutti in psicometria: validità dei test. Sezione monografica: GLI STRUMENTI DI AUTOVALUTAZIONE IN PSICOLOGIA 5, 25 (2007).
Sartori, R. Considerazioni sull’analisi dei dati come fase del processo di ricerca in psicologia. DiPAV-QUADERNI (2008).
Sartori, R. Il questionario autosomministrato: considerazioni critiche. DiPAV-QUADERNI (2004).
Sartori, R. Validità, attendibilità, sensibilità e sensatezza dei metodi e delle misure in psicologia: questionari e test. DiPAV-QUADERNI (2004).
Sartori, R. & Pasini, M. Quality and Quantity in Test Validity: How can we be Sure that Psychological Tests Measure what they have to? Quality & quantity 41, 359-374 (2007).