AI: non basta la supervisione umana, serve il predominio cognitivo

La narrativa dominante sull’Intelligenza Artificiale (AI) ci ha convinto che basti inserire un ‘umano nel ciclo’ per garantire decisioni etiche e accurate. È una pericolosa semplificazione che sta portando le organizzazioni verso errori costosi. Il caso del chatbot MyCity di New York è emblematico. Lanciato nel 2024 per assistere gli imprenditori, il sistema ha fornito […]

La narrativa dominante sull’Intelligenza Artificiale (AI) ci ha convinto che basti inserire un ‘umano nel ciclo’ per garantire decisioni etiche e accurate. È una pericolosa semplificazione che sta portando le organizzazioni verso errori costosi. Il caso del chatbot MyCity di New York è emblematico.

Lanciato nel 2024 per assistere gli imprenditori, il sistema ha fornito consigli illegali per mesi, suggerendo di trattenere mance dei dipendenti e servire cibo contaminato. Nonostante operatori umani supervisionassero il servizio, nessuno ha rilevato queste violazioni normative gravi. Il problema non era l’assenza di controllo umano, ma la mancanza di giudizio critico sviluppato.

Superare l’illusione della sicurezza

Quando parliamo di “human-in-the-loop“, stiamo davvero parlando di tre livelli distinti di intervento: la supervisione passiva (clic su “approva”); la validazione attiva (analisi dei risultati); il predominio cognitivo (controllo metodologico del processo). La maggior parte delle implementazioni si ferma al primo livello, creando l’illusione di sicurezza senza sostanza.

È per questo che nelle nostre attività di consulenza in ambito di Business Intelligence (BI) abbiamo scelto di adottare una metodologia ispirata ai principi del predominio cognitivo, mutuata dai modelli di comando e controllo militari. Questo approccio ci consente di garantire non solo la supervisione dei processi analitici, ma un controllo consapevole e strutturato sull’intero ciclo decisionale, assicurando ai clienti risultati affidabili e interpretazioni realmente orientate al valore informativo.

Per garantire vera consapevolezza decisionale nell’interazione tra umano e AI, dobbiamo affrontare tre categorie di distorsioni cognitive, tenendo presente una verità scomoda: la maggioranza delle decisioni umane non sono prese razionalmente, ma attraverso ‘scorciatoie’ mentali chiamate euristiche cognitive. Stiamo parlando di bias dei dati, bias algoritmici e bias cognitivi umani.

I tre bias che compromettono le decisioni

Sulla questione dei bias dei dati è bene sapere che i dataset riflettono pregiudizi storici e limitazioni strutturali. Un sistema addestrato su dati di assunzione del passato perpetuerà discriminazioni sistemiche, indipendentemente dalla sofisticazione algoritmica.

Rispetto ai bias algoritmici non si dimentichi che gli algoritmi non sono neutri. Le scelte di ottimizzazione, le funzioni di loss, i parametri di training incorporano decisioni umane spesso inconsapevoli. Per esempio, un algoritmo di scoring creditizio può penalizzare sistematicamente certi gruppi demografici senza che questo emerga chiaramente nei test.

Infine, ci sono i bias cognitivi umani, i più insidiosi e veloci. Le euristiche cognitive sono schemi prefissi semplificati che permettono decisioni rapide – essenziali per la sopravvivenza – ma diventano trappole mortali negli scenari ad alta complessità. Quando l’AI ci presenta una conclusione articolata, la nostra naturale pigrizia cognitiva ci spinge ad accettarla senza verifiche approfondite.

Il problema è sistemico: nelle organizzazioni, queste euristiche si cristallizzano in processi e procedure aziendali. Funzionano perfettamente nelle situazioni standard, ma di fronte ad anomalie causano due fallimenti critici: decisioni sbagliate per applicazione automatica di schemi inadeguati; paralisi operativa quando l’organizzazione riconosce l’anomalia, ma non sa come gestirla.

La soluzione richiede quello che in ambito cognitivo viene chiamato “sense-making“: pensiero critico strutturato che, pur richiedendo maggiore dispendio di energie e tempo, è l’unico antidoto efficace contro euristiche, bias e fallacie logiche quando la posta in gioco è alta.

La lezione dell’intelligence militare

La soluzione non arriva dai soliti consulenti tecnologici, ma da un ambito che conosce il prezzo dell’errore: l’intelligence militare con le metodologie di comando e controllo. Una metodologia non incentrata sulla tecnologia, ma sull’obiettivo da raggiungere (dove il risultato conta più del processo).

I modelli dottrinali militari hanno un vantaggio cruciale: mentre la Business Intelligence tradizionale si perde in complessità tecnologiche e di processo, quella militare è orientata ai risultati. È stata progettata per trasferire rapidamente conoscenza operativa dalle operazioni sul campo alle sale decisive aziendali, esattamente come già avviene con successo per i principi di comando e controllo.

Il chirurgo Mark McLaughlin ha coniato il concetto di “predominio cognitivo” per evitare errori fatali in sala operatoria, mentre l’Us Army lo ha formalizzato nella dottrina nel 2021. Questo framework si basa sull’ottenimento di tre concetti fondamentali interdipendenti: la consapevolezza situazionale avanzata (la capacità di andare oltre la percezione immediata per raggiungere la proiezione di scenari futuri); il predominio cognitivo (che facilita decisioni rapide e accurate in situazioni di stress); la superiorità informativa come vantaggio competitivo finale.

Il predominio cognitivo si fonda su tre pilastri derivati dall’aviazione militare: percezione (identificare anomalie nei dati); comprensione (contestualizzare le informazioni nell’ambiente operativo) e proiezione (anticipare conseguenze delle decisioni). È lo stesso framework che permette ai piloti di reagire correttamente a situazioni impreviste in frazioni di secondo.

Applicato al business, questo framework sviluppa quella che gli esperti definiscono “consapevolezza situazionale avanzata”: è la capacità di essere profondamente consapevoli dei propri processi cognitivi e selezionare di volta in volta quelli più adatti alla situazione, superando le scorciatoie mentali (euristiche cognitive) che, pur accelerando le decisioni, possono indurre errori grossolani in scenari complessi.

Come implementare il predominio cognitivo

Una vera metodologia di predominio cognitivo nell’AI richiede: self awareness cognitiva (è la consapevolezza dei propri meccanismi decisionali e dei bias personali: prima di valutare un output AI, il decisore deve riconoscere le proprie predisposizioni); filtraggio del rumore informativo (capacità di distinguere informazioni pertinenti da quelle fuorvianti, sviluppando quella che gli analisti definiscono ‘superiorità informativa’, non più dati, ma dati migliori e più rilevanti); contestualizzazione ambientale (comprensione dell’ecosistema in cui si opera, inclusi stakeholder, vincoli normativi, dinamiche competitive e implicazioni etiche); pensiero critico strutturato (applicazione sistematica di metodologie analitiche che contrastino euristiche e bias, richiedendo maggiore dispendio cognitivo ma garantendo decisioni più accurate).

Nelle attività di Business Intelligence, questo approccio rappresenta un cambio di paradigma: non più sistemi che ‘aiutano’ a decidere, ma ecosistemi cognitivi in cui la componente umana esercita un controllo attivo e consapevole sul senso dei dati e sulle implicazioni delle analisi. L’obiettivo non è rallentare i processi decisionali, ma renderli più accurati attraverso quella che potremmo chiamare ‘disciplina dell’incertezza’: riconoscere quando una decisione richiede approfondimento umano e quando può essere delegata all’automazione.

Il futuro appartiene alle organizzazioni che sapranno sviluppare questa forma di intelligenza ibrida: non umani che supervisionano macchine, ma team integrati dove il contributo umano si concentra su ciò che le macchine non possono fare: esercitare giudizio etico, comprendere contesti sfumati, anticipare conseguenze impreviste. La domanda non è più come controlliamo l’AI, ma come sviluppiamo il predominio cognitivo necessario per collaborare efficacemente con essa. Quale sarà la vostra prospettiva?

Per approfondire: The Markup: “NYC’s AI Chatbot Tells Businesses to Break the Law”; CIO: “11 famous AI disasters”; DigitalDefynd: “Top 30 AI Disasters [Detailed Analysis][2025]”; MIT Technology Review; Associazione Italiana Analisti di Intelligence e Geopolitica: “La Corporate Intelligence come Vantaggio Competitivo” (Research paper 3/2021); US Army Training Circular TC 3-22.69: “Cognitive Dominance in Individuai Training” (2021); Endsley, M.R.: “Toward a Theory of Situation Awareness in Dynamic Systems”- Framework della Consapevolezza Situazionale a tre livelli.

Categoria: Uncategorized