La principale obiezione che viene fatta ogni qualvolta si parla di misurazione quantitativa è: “dove posso recuperare i dati?”. Questa presunta difficoltà a reperire informazioni incorpora in sé una certa ironia, proprio oggi che viviamo nell’era dell’informazione.
Il problema talvolta non è tanto di misurazione o di strumenti di computo ma concettuale. Talvolta diamo per scontato che se non ci è immediatamente evidente lo strumento di misurazione tale fenomeno non sia misurabile.
Tutto è misurabile e quasi tutto ha uno strumento adatto a misurarlo. Talvolta tale strumento è un dispositivo complesso, talvolta è estremamente semplice, altre volte ancora non è nemmeno uno strumento bensì un sondaggio, un test, un computo.
Individuare uno strumento adatto a dare una quantificazione al fenomeno in oggetto avrà numerosi vantaggi rispetto a una stima qualitativa. Lo strumento sarà infatti sempre più coerente e oggettivo di qualsivoglia stima personale e soggettiva, foss’anche un sondaggio per misurare la fidelizzazione dei clienti (es. ISO 9001). Lo strumento rileverà fattori ed elementi impercettibili per l’analista, quali ad esempio disturbi dovuti a radiazioni sui sistemi informatici (ISO/IEC 27001). Lo strumento può essere calibrato per tenere conto dell’errore (es. calibrazione di uno strumento o prodotto) o compensare l’errore con un gruppo di controllo (es: nel marketing digitale gli A/B test).
Si possono deliberatamente nascondere alcune informazioni per evitare valutazioni pregiudizievoli (es: test del doppio cieco in medicina). Lo strumento può registrare l’andamento del fenomeno e darne un’evoluzione storica puntuale (es. i big data sono il risultato delle continue misurazioni di controllo di dispositivi connessi). Lo strumento è più veloce ed economico (es. sensore).
Rischio e misurazione quantitativa: scomporre i dati
Il problema talvolta non è tanto di misurazione ma di fenomeno da misurare, non essendo chiaro esattamente cosa misurare. Talvolta più che un oggetto da misurare ci sembra di dover fare i conti con un’amalgama astratta e intangibile.
In realtà qualsiasi fenomeno, anche il più complesso, è misurabile, se non nel suo insieme almeno nelle sue parti. Tutto è misurabile se scomposto nelle sue componenti basiche. In oltre la scomposizione ha l’incredibile vantaggio di semplificare a tal punto le variabili, da rendere nel 25% dei casi inutile qualsiasi ulteriore misurazione, poiché il dato è già in possesso dell’organizzazione[1].
Scomponiamo l’oggetto della misurazione e misuriamo le componenti basiche, e attraverso semplici operazioni matematiche o facilitandoci con un foglio excel ricomponiamo i valori misurati.
Rischio e misurazione quantitativa: ricerche secondarie
Il problema talvolta non è tanto di misurazione in sé ma di ricerca di misurazioni fatte da altri. Uno degli errori più comuni, ogni qualvolta dobbiamo risolvere un problema particolarmente ostico, è quello di approcciarsi al problema come se dovessimo inventare qualcosa di nuovo. Al contrario dovremmo sempre supporre, che qualcuno prima di noi potrebbe avere avuto il medesimo problema e potrebbe perfino averlo già risolto.
Le ricerche secondarie consistono nell’utilizzo di studi completati da altri, in campi non sempre analoghi, le cui analisi e/o conclusioni potrebbero rivelarsi estremamente utili per noi. Hanno l’indubbio vantaggio, nell’era di internet di essere facili e veloci da trovare e consultare. Lo svantaggio è che i risultati potrebbero non essere specifici per la tua organizzazione e potresti non avere un quadro dettagliato di tutte le variabili coinvolte.
La ricerca di una letteratura esistente sull’argomento, tipica del mondo accademico, è spesso sottovaluta in ambienti business.
Ci sono molti trucchi che si possono utilizzare. Ad esempio, effettuare le ricerche in inglese, per poter accedere a un quantitativo di studi e ricerche decisamente superiore. Inoltre, utilizzare termini molto tecnici e associabili a ricerche di matrice quantitativa come “tabella”, “gruppo di controllo”, “correlazione”, “deviazione standard”, che tendono a comparire in articoli più sostanziali.
Google o Wikipedia possono andar bene, ma quando il gioco si fa serio meglio utilizzare motori di ricerca più specifici, all’interno dei siti Web delle riviste di settore o sempre online all’interno di reportistica e contenuti pubblicati da istituti accademici o associazioni e fondazioni specializzate sullo specifico contesto.
Inoltre, quando si crede di aver fatto centro e di aver trovato la risposta ai propri dubbi, facciamo lo sforzo aggiuntivo di setacciare la bibliografia, si potrebbero trovare trovare pepite ancora più preziose.
Ricordiamoci sempre che quasi tutto è stato già misurato, basta saperlo trovare.
Rischio e misurazione quantitativa: l’importanza dell’osservazione
Il problema talvolta non è tanto di misurazione in sé ma di osservazione del fenomeno. Ricordiamo che l’osservazione è alla base del metodo scientifico.
Solitamente tutti noi abbiamo delle intuizioni di una qualche natura sul fenomeno, che vorremmo misurare o sulla sua probabilità di accadimento. Il primo errore è pensare che quella nostra prima intuizione basti e su quella costruire un’analisi qualitativa. Il secondo errore è strutturare un’analisi quantitativa, che dimostri che noi si abbia ragione, piegando il dato al nostro percepito. La cosa giusta da fare è ascoltare in maniera oggettiva quella voce, frammento di qualche inconsapevole o non codificata osservazione, e verificarla.
Forzare il verificarsi dell’evento in condizioni che ne consentano una più facile osservazione, ad esempio con un penetration test, se si vuole testare la security posture.
Tutto è osservabile, talvolta si tratta solo di trovare il giusto punto di osservazione.
Rischio e misurazione quantitativa: misurare quanto basta
Il problema talvolta non è tanto di trovare i dati necessari quanto basta, ma di voler tutto e subito. Uno degli errori tipici della misurazione è voler divenire perfetti fin da subito.
La teoria sul valore delle informazioni ci insegna che all’inizio, quando la nostra incertezza è massima, il valore di ogni nuovo pezzetto d’informazione è alto, poiché la sua capacità di svelare la nostra incertezza è significativo. In piena oscurità anche un piccolo fiammifero può migliorare e di molto la nostra cecità. Man mano che la nostra incertezza si riduce, anche il valore delle informazioni aggiuntive si comprime, con un proporzionale aumento di costi per acquisirle.
Nell’articolo sul “paradosso del rischio” viene descritto come spesso tendiamo a ricercare una maniacale perfezione della misurazione, in fattispecie di rischio che già padroneggiamo alla perfezione (es: rischio ambientale in una multiutility energetica) mentre trascuriamo completamente altre tipologie di rischio meno familiari e concettualmente più lontane (es: rischio cyber nella sanità italiana).
Se il fenomeno è totalmente incerto basteranno poche e “grossolane” misurazioni per avere una prima e preziosa misurazione, dall’elevato potere informativo. Se il fenomeno è troppo grande da misurare sarà sufficiente utilizzare uno dei tanti metodi di campionatura.
L’obiettivo non è avere una misurazione perfetta bensì ridurre l’incertezza e la dimensione dei dati necessari potrebbe essere molto inferiore all’iniziale aspettativa.
Rischio e misurazione quantitativa: avere più dati di quanti ne servano
Il problema talvolta non è tanto trovare nuovi dati ma riusare quelli di cui l’organizzazione è già in possesso. Come già detto, siamo nell’era dei dati ovunque, in cui ogni dispositivo, attrezzatura, device elettronico dell’organizzazione genera dati. Le informazioni, per rispondere alla domanda ricorrente di questo articolo, sono già da qualche parte all’interno dell’organizzazione, considerandola nella sua dimensione più estesa, ovvero includendo nel perimetro di ricerca anche la filiera di fornitura (es. fornitori ITC, fornitori e manutentori di dispositivi o macchinari connessi, consulenti fiscali o di altra natura) o semplicemente internamente alla stessa, non essendovi sempre consapevolezza di tutti i dati che vengono regolarmente tracciati e registrati ai diversi livelli operativi.
L’errore, parente stretto di quanto visto nel precedente punto, è di volere il dato perfetto subito. Ricordiamoci sempre che per ridurre l’incertezza serve una piccola quantità di dati imperfetti, che con il tempo matureranno insieme alla nostra consapevolezza del metodo e dell’oggetto di misurazione.
Un bias, che spesso attanaglia tutti noi e che potrebbe essere particolarmente pertinente qui, è quello dell’ “uniqueness fallacy” e si basa nell’incapacità di riconoscere le somiglianze con altre situazioni, considerando ogni situazione come unica e diversa dal passato. Ciò ci impedisce di ottimizzare quanto fatto in precedenza.
Racconto un aneddoto sulla NASA. Scienziati e ingegneri dell’agenzia spaziale americana erano fermamente convinti che ogni missione fosse così unica e diversa rispetto alle altre, che non si potessero estrapolare dati significativi e utili dalle precedenti missioni per preventivare le successive, e che, quindi, fosse meglio fare affidamento sul loro giudizio personale. A seguito di un’analisi su oltre 100 progetti di missioni spaziali, sono stati valutati i giudizi degli scienziati e degli ingegneri in merito al rischio di sforamento dei costi, non rispetto del programma di avanzamento lavori e relativamente alla probabilità stimata di insuccesso della missione. Il modello basato sui dati storici si è dimostrato costantemente migliore di scienziati e ingegneri nel prevedere budget, timing e probabilità d’insuccesso[2].
Tutto è misurabile e quasi sempre si ha già in casa molti più dati di quanto si possa credere.
Considerare l’errore
Tutte le misurazioni, siano esse qualitative o quantitative incorporano in sé, degli errori. Talvolta non ci si “avventura” in una misurazione quantitativa, proprio per il timore di commettere errori di misurazione, ma tale paura è più emotiva che oggettiva. L’errore è insito in qualsivoglia misurazione e mediamente è meno critico in una misurazione quantitativa rispetto a una valutazione qualitativa. Dovendo ad esempio fare un esempio sulla verosimiglianza di un accadimento, se utilizzassimo una scala qualitativa a 4 fattori, dovremmo indicare una probabilità per range di 25 punti percentuali. Se utilizzassimo un metodo quantitativo al contrario le valutazioni sarebbero puntuali. L’errore fra una probabilità stimata del 35% e una reale del 42% è comunque meno significativo, del mancare un blocco di 25 punti percentuali o di avere un’ipotesi di accadimento che fluttui fra 25 e 50.
L’errore può essere di diversa natura, sistemico o casuale. Gli errori sistemici sono tendenze intrinseche e costanti, che non nascono soltanto dall’uso di metodi di misurazione errata, e che persistono al ripetersi del computo. L’errore casuale, per definizione, non può essere previsto ma rientra in alcuni schemi probabilistici o intervalli di confidenza. I controlli sono la soluzione per ridurre gli errori.
Parlando di errore è doveroso citare i concetti di precisione e accuratezza. I due termini sono spesso usati come sinonimi ma sono chiaramente diversi. Si ha precisione quando il valore è riproducibile (basso errore casuale), dove facendo un esempio, se avessi uno strumento calibrato erroneamente, questi sarebbe comunque estremamente preciso nel misurare ogni volta il medesimo errore di misurazione. Si ha accuratezza quando il valore misurato è vicino al suo valore “vero” (basso errore sistemico), e stante all’esempio di prima uno strumento perfettamente calibrato potrebbe, per fenomeni esterni o imperizia dell’addetto, riportare valori diversi fra loro, per ogni nuova misurazione, ma la loro media dare un valore prossimo al vero.
Ogni misurazione, sia essa qualitativa o quantitativa, può essere soggetta ad alcuni errori tecnici di misurazione ma anche e soprattutto soggettivi relativi all’analista, questi errori possono essere percettivi o di pregiudizio, e sono comunemente chiamati bias.
Il processo di misurazione ideale
In conclusione, facendo tesoro di quanto sopra, il percorso ideale dovrebbe essere così strutturato:
- scomporre l’oggetto della misurazione e misurare le componenti basiche e attraverso semplici operazioni matematici o un foglio excel ricomporre i valori misurati;
- svolgere delle ricerche secondarie. Consultare report di settore e/o guarda come altri hanno misurato problemi simili. Anche se tali risultati potrebbero non essere perfettamente attinenti alla tua realtà, saranno comunque utili anche solo come fonte di ispirazione;
- fare delle osservazioni dirette. Se non è possibile, tracciare il fenomeno o introdurre elementi che lo rendano tracciabile. Se ciò non è possibile, forzare il fenomeno attraverso la sperimentazione;
- tenere sempre a mente che l’obiettivo non è avere una misurazione perfetta bensì ridurre l’incertezza;
- essere sicuri servano dei nuovi dati. Altre funzioni dell’organizzazione potrebbero avere già i dati necessari;
- identificare eventuali strumenti che possano coadiuvare nel reperire i dati mancanti;
- ricordare che ogni misurazione incorpora in sé una componente d’errore, fa parte del gioco e non deve essere un elemento bloccante della misurazione ma solo di cautela.
Conclusioni
Tornando alla nostra analisi quantitativa del rischio, non dovremmo chiederci “dove posso recuperare i dati?”, essi sono ovunque intorno a noi. L’unica vera domanda, che dovremmo porci è: “cosa vale la pena misurare?”
In un precedente articolo sul paradosso del rischio, sottolineavamo l’assurda e inconscia tendenza di ridurre gli sforzi di misurazione in presenza di un tasso d’incertezza massimo. Se l’analista avesse tutti i dati, non avrebbe incertezza e di conseguenza non avrebbe un fattore di rischio.
Uno degli elementi forse più importanti, se non il più importante, di un’analisi del rischio è proprio l’individuazione gli elementi di incertezza e procedere alla loro misurazione.
“Fatelo e basta”, verrebbe da dire, e se le misurazioni offriranno esiti sorprendenti, al netto di possibili errori, ciò sarà estremamente di valore, poiché avranno ridotto l’incertezza, anche su elementi sui quali si credeva di avere pochi dubbi.
Note
