Automatizzazione del processo Scan-to-BIM tramite applicativi di intelligenza artificiale

Rilievo Beni Culturali: dalla nuvola di punti al modello 3D

La facilità di acquisizione di dati tridimensionali mediante sistemi laser scanner volti alla generazione di modelli 3D mediante metodologie di modellazione tridimensionale informatizzate ha visto un crescente interesse della comunità scientifica all'automatizzazione di questo processo, affidato ad oggi ad operazioni prettamente manuali, dove operatori esperti devono gestire ampi e complessi data set (Matrone et. al, 2020).

Negli ultimi decenni, il settore dei beni culturali è stato, uno dei campi di sperimentazione più interessato dalle nuove tecnologie e metodologie di rilievo digitale tridimensionale.

Tuttavia, l'associazione di informazioni a nuvole di punti, attraverso metodi automatici di segmentazione e classificazione semantica (cioè di raggruppamenti di dati simili in sottoinsiemi) (Grilli et al. 2017), diventa fondamentale per l'interpretazione degli output generati dal rilievo.

In questo contesto, l’utilizzo di tecniche di intelligenza artificiale che sfruttano algoritmi di Machine learning o Deep learning basate su metodologie di riconoscimento texture based o geometry based stanno emergendo come strumenti di notevole importanza per strutturare, organizzare e classificare automaticamente sistemi complessi derivanti dal rilievo laser scanner.

Sulla base di queste considerazioni, il seguente lavoro propone una procedura semi-automatizzata con un approccio di classificazione Multi Livello Multi risoluzione, che sfrutti tecniche di intelligenza artificiale, per consentire la ricostruzione di modelli H-BIM del patrimonio, a partire da dati di rilievo 3D grezzi.

Strutturazione e classificazione dei dati del rilievo 3D: lo stato dell'arte

Nel campo del settore dei beni architettonici, la necessità di strutturare e classificare semanticamente i dati di rilievo 3D è stata sperimentata da diversi ricercatori, ad esempio per di attività di monitoraggio e di restauro (Apollonio et al., 2018; Croce et al., 2020), nella pianificazione di opere di manutenzione (Sanchez et al., 2018; Valero et al., 2018; Roussel et al., 2019), come strumento di supporto dei processi scan-to-BIM (Rebolj et al., 2017; Son & Kim, 2017; Bassier et al., 2020), , o ancora rilevamento dei danni (Mizoguchi et al., 2013; Kashani & Graettinger, 2015).

Recentemente, tecniche di segmentazione semantica della nuvola di punti per l’automatizzazione del processo From Scan to BIM hanno avuto un crescente interesse. Uno studio scientifico ha esplorato diversi approcci per la segmentazione e la generazione di modelli BIM a partire dai dati delle nuvole di punti. Lo studio ha introdotto il metodo VOX2BIM, che ha previsto la conversione delle nuvole di punti in rappresentazioni voxel e l’utilizzo di diverse tecniche per automatizzare il processo di generazione del modello BIM (Martens, J. & Blankenbach, J. 2023).

Altri studi di ricerca (Martens, J. & Blankenbach, J. 2020) hanno esplorato l’automazione del workflow per l’elaborazione delle nuvole di punti, passaggio essenziale nel processo Scan to Bim. L’obiettivo di automatizzare il nostro lavoro può essere raggiunto utilizzando algoritmi di machine learning che segmentano e classificano la nuvola di punti in tempi ragionevoli ed in modo efficiente (Thomson, C. & Boehm, J. 2015; Anandakumar, R. et al .; 2014).

Gli algoritmi di machine learning (incluso deep learning, rete neurale, ecc.) generano modelli basati, ma non specifici, su un set di dati di training che consentono agli algoritmi di apprendere come classificare le informazioni. Vengono riconosciute due grandi categorie: machine learning e deep learning (Mukhamediev, R.I. et al.; 2021).

L'apprendimento automatico tramite machine learning, si riferisce agli algoritmi tradizionali di apprendimento automatico che in genere si basano su funzionalità artigianali e vengono addestrati su set di dati utilizzando modelli statistici.

Al contrario, il deep learning coinvolge reti neurali che apprendono automaticamente caratteristiche dai dati grezzi e vengono addestrate su set di dati più grandi utilizzando tecniche di ottimizzazione.

Nella fase di segmentazione semantica delle nuvole di punti, una delle sfide più grandi è assegnare ogni punto 3D della nuvola un'etichetta o classe corretta (colonna, capitello, capriata, ecc.). Dopo la segmentazione, la nuvola di punti può essere classificata nelle diverse categorie precedentemente individuate (Thomas, H., et al.; 2018).

La Chiesa di Santa Caterina d’Alessandria a Pisa

La chiesa di Santa Caterina d’Alessandria sorge sull’omonima piazza, nel quartiere San Francesco, nel centro di Pisa, poco distante dalle mura medievali, con un impianto tipico delle prime costruzioni degli ordini mendicanti mutato dall’impianto a coro bernardino degli ordini monasteriali. Il nucleo primitivo su cui sorge la chiesa è un piccolo oratorio, acquistato nel 1213 da Maria fu Guantino Arru. Nel 1230 si apre un periodo di forte espansione per i domenicani, dando avvio alla costruzione dell’attuale fabbrica, con un corpo di fabbrica ad aula unica, con una copertura lignea a capanna sovrastanza una capriata e monofore culminanti a ogivale, che si erge per un’altezza di 20mt al colmo della copertura. Nella parte terminale sono presenti 5 cappelle voltate a crociera, che affacciano su un transetto appena sporgente attraverso archi a sesto acuto e un’abside finestrato con vetrate istoriate.

Nelle forme semplici, si configura come una struttura moderna ed essenziale, che ben si confà allo spirito pauperistico mendicante codificato nei regolamenti dell’ordine dei frati domenicani. La realizzazione della facciata, ad opera di Iacopo Donati, avviene nel 1322, con un profilo a capanna scandito da tre ordini, con quello inferiore caratterizzato da arcate cieche e i due ordini superiori caratterizzati da loggette trilobate. Il rosone traforato, frutto di un rifacimento del 1927, è posto centralmente ai due ordini superiori, all’interno di una cornice a formelle con busti di profeti a rilievo (Leonetti, R., 2020). Sebbene la configurazione spaziale attuale della chiesa, visibile in figura 1 sia dovuta a restauri conservativi del 1900, tutt’oggi gli interventi conservativi proseguono nelle forme spaziali e negli elementi morfologici che la compongono.

Dati i continui lavori di manutenzione e la grande quantità di dati da gestire, le tecniche di segmentazione semantica MLMR della nuvola di punti della Chiesa di Santa Caterina d’Alessandria, che sfruttano l'approccio geometry-based, possono diventare uno strumento digitale di supporto alle attività di manutenzione evitando lunghi e costosi processi di modellazione.

Metodologia basata su algoritmi di AI per la ricostruzione di un modello BIM

In questo contributo, metodi semi-automatici di classificazione, che sfruttano algoritmi di intelligenza artificiale, sono stati usati per associare differenti informazioni semantiche provenienti dalla nuvola di punti tridimensionale a modelli parametrici H-BIM, come visibile in figura 2.

La necessità di fornire un metodo automatizzato per la ricostruzione di un modello BIM nasce dal fatto che ad oggi questo processo presenta delle problematiche quali:

• interpretazione dei modelli digitali forniti dal rilievo.
• elaborazione del modello digitale.
• segmentazione manuale del set di dati.
• costruzione del modello H-BIM.

Considerando la complessità del dato, dovuta alla ricchezza e varietà di elementi architettonici si è ritenuto opportuno sviluppare la metodologia presentata da Grilli et al. (2020), suddividendo ora il processo secondo l’approccio Multi-Livello Multi-Risoluzione (MLMR). La classificazione si basa sulle proprietà geometriche del dato tridimensionale ottenuto mediante tecnologia laser scanner, suddividendo il processo in più fasi, come visibile in figura 3, secondo l’approccio MLMR, che prevede una sotto-campionatura e una classificazione della nuvola tramite algoritmi di intelligenza artificiale supervisionati. Le macrocategorie di interesse sono state a loro volta suddivise nelle loro componenti (es. la colonna verrà suddivisa in base, fusto e capitello) fino al livello di risoluzione desiderato.

Nello specifico, su una piccola parte della nuvola, chiamata training set, sono state identificate e annotate manualmente le classi, cioè gli elementi architettonici che andranno a formare il set di dati sul quale verrà allenato l’algoritmo di ML. Alle quali si aggiungono le cosiddette covariance features selezionate (Weinmann, M., et al. 2015; Blomley, R., et al., 2014), come mostrato di seguito:

che consentono di evidenziare le caratteristiche geometriche locali del dato 3D. La scelta di un’appropriata feature geometrica e del raggio di intorno di ogni punto 3D è fondamentale per l’identificazione degli elementi architettonici (Grilli, E., et al. 2019). In quanto, i parametri (classi e raggi delle features) possono variare caso per caso, a seconda delle caratteristiche e delle dimensioni del data set. Si è scelto come classificatore l’algoritmo di Random forest (Breiman, L., 2001) con un numero di predittori (Ntree) pari a 100, che ci ha permesso di raggiungere un risultato unico a partire da una combinazione di dati iniziali. La performance del classificatore è stata misurata con le metriche usate da Goutte & Gausseir (2005) ovvero, “Accuracy”, “Precision”, “Recall” and “F-measure”.

La procedura di classificazione fin qui esposta ci permette di ottenere una nuvola di punti etichettata con le diverse classi precedentemente individuate; favorendo il processo di importazione e ricostruzione parametrica in ambiente H-BIM, potendo trattare ogni classe di elementi architettonici separatamente. La ricostruzione tridimensionale avviene definendo, per ciascuna categoria individuata, una geometria concettuale basata su proporzioni rappresentanti la classe in oggetto, quindi a partire dalle primitive geometriche (De Luca, L., et al., 2007) si procede alla ricostruzione e interpretazione della forma originaria di progetto ed infine grazie ad algoritmi di programmazione visuale si riesce a propagare la geometria ricostruita all'intero modello.
La metodologia sopradescritta è rappresentata sinteticamente in figura 4.

Nel caso studio della Chiesa di Santa Caterina d’Alessandria a Pisa, la metodologia proposta, eseguita su tutto il complesso storico, ha permesso la creazione di una repository informativa H-BIM completa, dove i dati sono stati classificati e strutturati semanticamente.

A partire da una nuvola di punti grezza derivata da rilievo laser scanner con strumento Leica ScanStation C10, si è provveduto ad operazioni di sotto campionamento tramite software Cloud Compare al fine di ottimizzare il processo di calcolo. Sono state individuate porzioni di nuvola, chiamate training set, caratterizzate dal numero di classi necessarie allo studio e quindi annotate manualmente le 7 classi per il primo livello di classificazione, le successive 14 classi per il secondo livello di classificazione ed infine le 7 classi per l’ultimo livello, come visibile nell’esempio riportato in figura 5 raffigurante i 3 livelli di classificazione afferenti uno dei training set scelti.

Si è scelto un numero di classi più contenuto possibile al fine di aumentare l’accuratezza del classificatore (Teruggi, S., et al., 2020). Quindi sono state estratte le features geometriche, più rappresentative per il caso in oggetto, visibili in figura 6, con un raggio del vicino locale variabile tra 0,1m e 0,8m in relazione alla feature scelta, che risultano essere:

• omnivariance: per enfatizzare il cambio di forma come ad esempio per il rilevamento di modanature archi e volte
• planarity: per evidenziare elementi lineari e planari come muri o travi
• surface variation: per evidenziare i cambiamenti di forma, come ad esempio angoli o bordi
• verticality: per evidenziare superfici verticali ed orizzontali, come ad esempio pareti, pavimenti e colonne.

Queste features, insieme alle classi precedentemente individuate sono state usate contemporaneamente per allenare il classificatore random forest ed ottenere un migliore riconoscimento delle classi, estendendo quindi la classificazione semantica all’intera chiesa.

CONTINUA LA LETTURA NEL PDF IN ALLEGATO [...]