Come l’IA generativa potrebbe rendere i cantieri più sicuri

La tecnologia potrebbe salvare vite umane, a patto che non sostituisca completamente gli esseri umani che controllano la sicurezza.

Lo scorso inverno, durante la costruzione di un progetto di edilizia popolare a Martha’s Vineyard, nel Massachusetts, un operaio di 32 anni di nome Jose Luis Collaguazo Crespo è scivolato da una scala al secondo piano ed è precipitato nel seminterrato. Era uno degli oltre 1.000 operai edili che muoiono sul lavoro ogni anno negli Stati Uniti, il che rende questo settore il più pericoloso per scivolate, inciampi e cadute fatali.

“Tutti parlano di come la sicurezza sia la priorità numero uno”, ha detto l’imprenditore e dirigente Philip Lorenzo durante una presentazione al Construction Innovation Day 2025, una conferenza presso l’Università della California, Berkeley, in aprile. “Ma forse internamente non è una priorità così alta. La gente prende scorciatoie nei cantieri. E così c’è tutto questo braccio di ferro tra… sicurezza e produttività”.

Per combattere le scorciatoie e l’assunzione di rischi, Lorenzo sta lavorando a uno strumento per l’azienda DroneDeploy, con sede a San Francisco, che vende un software che crea quotidianamente modelli digitali dell’avanzamento dei lavori a partire da video e immagini, noti nel settore come “reality capture”.  Lo strumento, chiamato Safety AI, analizza ogni giorno le immagini di reality capture e segnala le condizioni che violano le norme OSHA (Occupational Safety and Health Administration), con un’accuratezza che secondo l’esperto è del 95%.

Ciò significa che per ogni rischio per la sicurezza segnalato dal software, c’è il 95% di certezza che la segnalazione sia accurata e si riferisca a una specifica normativa OSHA. Lanciato nell’ottobre 2024, è ora in uso in centinaia di cantieri negli Stati Uniti, dice Lorenzo, e sono state distribuite anche versioni specifiche per le normative edilizie di paesi come Canada, Regno Unito, Corea del Sud e Australia.

Safety AI è uno dei numerosi strumenti di sicurezza edile basati sull’intelligenza artificiale che sono emersi negli ultimi anni, dalla Silicon Valley a Hong Kong a Gerusalemme. Molti di questi si affidano a squadre di “cliccatori” umani, spesso in paesi a basso salario, per disegnare manualmente caselle di delimitazione intorno a immagini di oggetti chiave come le scale, al fine di etichettare grandi volumi di dati per addestrare un algoritmo.

Lorenzo afferma che Safety AI è la prima a utilizzare l’intelligenza artificiale generativa per segnalare le violazioni della sicurezza, il che significa un algoritmo in grado di fare di più che riconoscere oggetti come scale o elmetti. Il software è in grado di “ragionare” su ciò che accade in un’immagine di un sito e di trarre una conclusione sulla presenza di una violazione OSHA. Secondo Lorenzo, si tratta di una forma di analisi più avanzata rispetto al rilevamento di oggetti che rappresenta lo standard attuale del settore. Tuttavia, come suggerisce la percentuale di successo del 95%, Safety AI non è un’intelligenza impeccabile e onnisciente. Richiede un ispettore di sicurezza esperto come supervisore.

Un modello di linguaggio visivo nel mondo reale

I robot e l’IA tendono a prosperare in ambienti controllati e in gran parte statici, come i pavimenti delle fabbriche o i terminal di spedizione. Ma i cantieri edili, per definizione, cambiano un po’ ogni giorno.

Lorenzo pensa di aver costruito un modo migliore per monitorare i cantieri, utilizzando un tipo di IA generativa chiamata modello di linguaggio visivo (VLM). Un VLM è un LLM dotato di un codificatore di visione, che gli consente di “vedere” le immagini del mondo e di analizzare ciò che accade nella scena.

Utilizzando anni di immagini di acquisizione della realtà raccolte dai clienti, con il loro esplicito permesso, il team di Lorenzo ha assemblato quello che lui chiama un “set di dati d’oro” che comprende decine di migliaia di immagini di violazioni OSHA. Avendo accumulato con cura questi dati specifici per anni, non teme che anche un gigante tecnologico da un miliardo di dollari possa “copiarlo e schiacciarlo”.

Per contribuire all’addestramento del modello, Lorenzo si avvale di un piccolo team di professionisti della sicurezza edile che pongono domande strategiche all’IA. Gli istruttori inseriscono nel VLM scene di prova tratte dal set di dati d’oro e pongono domande che guidano il modello attraverso il processo di scomposizione della scena e la sua analisi passo dopo passo, come farebbe un umano esperto. Se il VLM non genera la risposta corretta (ad esempio, se non trova una violazione o registra un falso positivo), i formatori umani tornano indietro e modificano i suggerimenti o gli input. Lorenzo afferma che, piuttosto che imparare semplicemente a riconoscere gli oggetti, al VLM viene insegnato “come pensare in un certo modo”, il che significa che può trarre conclusioni sottili su ciò che sta accadendo in un’immagine.

Ad esempio, Lorenzo afferma che i VLM sono molto più efficaci dei vecchi metodi per analizzare l’uso delle scale, responsabile del 24% delle cadute nel settore edile.

Con l’apprendimento automatico tradizionale, è molto difficile rispondere alla domanda: “Una persona sta usando una scala in modo non sicuro?””, spiega Lorenzo. “Si possono trovare le scale. Si possono trovare le persone. Ma per fare un ragionamento logico e dire ‘Beh, quella persona sta bene’ o ‘Oh no, quella persona è in piedi sul gradino più alto’, solo il VLM può fare un ragionamento logico e poi dire: ‘Va bene, non è sicuro’. Ed ecco il riferimento OSHA che dice che non si può stare sul gradino più alto”.

Risposte a più domande (La persona sulla scala ha tre punti di contatto? Sta usando la scala come trampoli per spostarsi?) vengono combinate per determinare se la scala nella foto viene usata in modo sicuro. “Il nostro sistema ha più di una dozzina di livelli di domande solo per arrivare alla risposta”, spiega Lorenzo. DroneDeploy non ha rilasciato pubblicamente i suoi dati per la revisione, ma dice di sperare che la sua metodologia sia verificata in modo indipendente da esperti di sicurezza.  

Il 5% mancante

L’uso di modelli linguistici di visione per l’IA delle costruzioni è promettente, ma ci sono “alcune questioni fondamentali” da risolvere, tra cui le allucinazioni e il problema dei casi limite, quei pericoli anomali per i quali il VLM non è stato addestrato, afferma Chen Feng. Egli dirige il laboratorio AI4CE della New York University, che sviluppa tecnologie per la mappatura 3D e la comprensione della scena nella robotica edile e in altri settori. “Il 95 per cento è incoraggiante, ma come possiamo risolvere il restante 5 per cento?”, si chiede Chen Feng a proposito del tasso di successo della Safety AI.

Feng fa riferimento a un documento del 2024 intitolato “Eyes Wide Shut?” (scritto da Shengbang Tong, uno studente di dottorato alla NYU, e coautore il luminare dell’AI Yann LeCun) che ha rilevato “carenze sistematiche” nei VLM.  “Per il rilevamento di oggetti, possono raggiungere prestazioni di livello umano piuttosto bene”, afferma Feng. “Tuttavia, per le cose più complicate, queste capacità devono ancora essere migliorate”. Egli osserva che i VLM hanno faticato a interpretare la struttura tridimensionale della scena dalle immagini 2D, non hanno una buona consapevolezza della situazione nel ragionare sulle relazioni spaziali e spesso mancano di “senso comune” sulle scene visive.

Lorenzo ammette che ci sono “alcuni difetti importanti” con gli LLM e che hanno difficoltà nel ragionamento spaziale. Per questo Safety AI impiega anche alcuni vecchi metodi di apprendimento automatico per creare modelli spaziali dei cantieri. Questi metodi includono la segmentazione delle immagini in componenti cruciali e la fotogrammetria, una tecnica consolidata per creare un modello digitale 3D da un’immagine 2D. L’intelligenza artificiale per la sicurezza si è anche addestrata pesantemente in 10 diverse aree problematiche, tra cui l’uso delle scale, per anticipare le violazioni più comuni.

Tuttavia, Lorenzo ammette che ci sono casi limite che l’LLM non riesce a riconoscere. Ma fa notare che per i responsabili della sicurezza, che spesso sono responsabili di 15 cantieri contemporaneamente, avere un paio di “occhi” digitali in più è comunque un miglioramento.

Aaron Tan, un project manager del settore calcestruzzo con sede nell’area della baia di San Francisco, sostiene che uno strumento come Safety AI potrebbe essere utile per questi responsabili della sicurezza sovraccarichi di lavoro, che risparmierebbero molto tempo se potessero ricevere un avviso via e-mail invece di dover fare un viaggio di due ore per visitare di persona un sito. E se il software può dimostrare di aiutare a mantenere le persone al sicuro, pensa che i lavoratori finiranno per accettarlo.

Tuttavia, Tan osserva che i lavoratori temono anche che questi tipi di strumenti siano “ bossware”, usati per metterli nei guai . “Nella mia ultima azienda, abbiamo implementato le telecamere come sistema di sicurezza. E ai ragazzi non è piaciuto”, racconta. “Dicevano: ‘Oh, Grande Fratello. Voi mi osservate sempre, non ho privacy'”.

Vecchio non significa obsoleto

Izhak Paz, CEO di un’azienda con sede a Gerusalemme chiamata Safeguard AI, ha preso in considerazione la possibilità di incorporare i VLM, ma è rimasto fedele al vecchio paradigma dell’apprendimento automatico perché lo ritiene più affidabile. La “vecchia visione computerizzata” basata sull’apprendimento automatico “è ancora migliore, perché è un ibrido tra la macchina stessa e l’intervento umano nel gestire le deviazioni”, afferma. Per addestrare l’algoritmo su una nuova categoria di pericolo, il suo team aggrega un grande volume di filmati etichettati relativi al pericolo specifico e poi ottimizza l’algoritmo tagliando i falsi positivi e i falsi negativi. Il processo può richiedere da settimane a oltre sei mesi, spiega Paz.

Una volta completata la formazione, Safeguard AI esegue una valutazione dei rischi per identificare i potenziali pericoli del sito. Può “vedere” il sito in tempo reale accedendo alle riprese di qualsiasi telecamera collegata a Internet nelle vicinanze. Quindi utilizza un agente AI per inviare istruzioni sul da farsi ai dispositivi mobili dei responsabili del cantiere. Paz non vuole fornire un prezzo preciso, ma afferma che il suo prodotto è accessibile solo ai costruttori di livello “medio” e superiore, in particolare a quelli che gestiscono più cantieri. Lo strumento è in uso in circa 3.500 cantieri in Israele, Stati Uniti e Brasile.

Buildots, un’azienda con sede a Tel Aviv di cui MIT Technology Review ha tracciato un profilo nel 2020, non esegue analisi di sicurezza, ma crea rapporti visivi sullo stato di avanzamento dei cantieri una o due volte alla settimana. Buildots utilizza anche il vecchio metodo dell’apprendimento automatico con dati di formazione etichettati. “Il nostro sistema deve essere al 99%, non possiamo avere allucinazioni”, afferma il CEO Roy Danon.

Egli afferma che ottenere dati di addestramento etichettati è in realtà molto più facile di quanto non fosse quando lui e i suoi cofondatori hanno iniziato il progetto nel 2018, poiché la raccolta di filmati di siti significa che ogni oggetto, come una presa, potrebbe essere catturato e poi etichettato in molti fotogrammi diversi. Ma lo strumento è di alto livello: circa 50 costruttori, la maggior parte dei quali con ricavi superiori a 250 milioni di dollari, utilizzano Buildots in Europa, Medio Oriente, Africa, Canada e Stati Uniti. Finora è stato utilizzato per oltre 300 progetti.

Ryan Calo, specialista in robotica e diritto dell’intelligenza artificiale presso l’Università di Washington, apprezza l’idea dell’intelligenza artificiale per la sicurezza nell’edilizia. Tuttavia, poiché i responsabili della sicurezza con esperienza sono già pochi nel settore edile, Calo teme che i costruttori siano tentati di automatizzare gli esseri umani per escluderli completamente dal processo di sicurezza. “Penso che l’IA e i droni per individuare i problemi di sicurezza che altrimenti ucciderebbero i lavoratori siano super intelligenti”, afferma. “A patto che siano verificati da una persona”.

Andrew Rosenblum è un giornalista tecnologico freelance di Oakland, California.