Background Le infezioni del sito chirurgico (ISC) rappresentano una per- centuale significativa delle infezioni associate all’assistenza sanitaria e costituiscono un onere importante in ambito ospe- daliero. La sorveglianza tradizionale delle ISC, basata sulla re- visione manuale delle cartelle cliniche a testo libero, richiede molto tempo ed è scarsamente modulabile. Questo studio si propone di sviluppare e valutare un sistema di sorveglianza semi-automatizzato basato sull’intelligenza artificiale (AI) per il rilevamento delle ISC utilizzando le cartelle cliniche in lin- gua italiana di un grande ospedale universitario. Metodi È stata condotta un’analisi retrospettiva sulle lettere di dimissio- ne ospedaliera non strutturate e anonime dell’Ospedale di Pisa (Italia). Il testo clinico è stato elaborato e vettorizzato utilizzan- do TF-IDF, Word2Vec e BERT (incluso il pre-training e il fine tuning). I classificatori comprendevano regressione logistica, Decision Trees, random forest e XGBoost. Le prestazioni finali sono state valutate utilizzando la convalida incrociata stratificata a 10 volte, il punteggio F1 e l’AUC. Dato lo sbilanciamento 1:100 tra record ISC e non ISC, sono state testate tecniche di oversampling and undersampling. Inoltre, sono stati valutati due modelli linguistici di grandi dimensioni (LLM) - OpenBioLLM e Minerva - utilizzando prompting a zero e a pochi colpi. Risultati Le migliori prestazioni sono state ottenute da un modello BERT ulteriormente pre-addestrato sul corpus specifico del dominio e messo a punto per la classificazione (BERT-FT), con XGBoost come classificatore: F1-score=0,79, Precision=0,86, Recall=0,74. I metodi di vettorizzazione tradizionali (TF-IDF e Word2Vec) hanno prodotto punteggi F1 significativamente inferiori (massimo=0,34). I LLM hanno ottenuto risultati in- feriori, classificando tutti i casi come negativi, probabilmente a causa delle limitazioni nella comprensione del linguaggio medico italiano e dei vincoli dei token. Conclusioni Questo studio dimostra la fattibilità dell’uso dell’IA per la sor- veglianza delle ISC sulle lettere di dimissione ospedaliera non strutturate. Il modello BERT ottimizzato ha superato in modo significativo sia le tecniche NLP tradizionali che il generico LLM. I sistemi basati su BERT rappresentano una strada pro- mettente per la sorveglianza modulabile e in tempo reale delle infezioni in ambito sanitario.
Un approccio basato su NLP per la sorveglianza delle infezioni del sito chirurgico utilizzando le lettere di dimissione ospedaliera
FILIPPO TOSI;GUGLIELMO ARZILLI;FRANCESCO BAGLIVO;SERENA FONDELLI;ALESSANDRO RENDA;ALESSANDRO BONDIELLI;PIETRO DELL’OGLIO;VITTORIA ACAMPORA;FRANCESCO MARCELLONI;CATERINA RIZZO
2025-01-01
Abstract
Background Le infezioni del sito chirurgico (ISC) rappresentano una per- centuale significativa delle infezioni associate all’assistenza sanitaria e costituiscono un onere importante in ambito ospe- daliero. La sorveglianza tradizionale delle ISC, basata sulla re- visione manuale delle cartelle cliniche a testo libero, richiede molto tempo ed è scarsamente modulabile. Questo studio si propone di sviluppare e valutare un sistema di sorveglianza semi-automatizzato basato sull’intelligenza artificiale (AI) per il rilevamento delle ISC utilizzando le cartelle cliniche in lin- gua italiana di un grande ospedale universitario. Metodi È stata condotta un’analisi retrospettiva sulle lettere di dimissio- ne ospedaliera non strutturate e anonime dell’Ospedale di Pisa (Italia). Il testo clinico è stato elaborato e vettorizzato utilizzan- do TF-IDF, Word2Vec e BERT (incluso il pre-training e il fine tuning). I classificatori comprendevano regressione logistica, Decision Trees, random forest e XGBoost. Le prestazioni finali sono state valutate utilizzando la convalida incrociata stratificata a 10 volte, il punteggio F1 e l’AUC. Dato lo sbilanciamento 1:100 tra record ISC e non ISC, sono state testate tecniche di oversampling and undersampling. Inoltre, sono stati valutati due modelli linguistici di grandi dimensioni (LLM) - OpenBioLLM e Minerva - utilizzando prompting a zero e a pochi colpi. Risultati Le migliori prestazioni sono state ottenute da un modello BERT ulteriormente pre-addestrato sul corpus specifico del dominio e messo a punto per la classificazione (BERT-FT), con XGBoost come classificatore: F1-score=0,79, Precision=0,86, Recall=0,74. I metodi di vettorizzazione tradizionali (TF-IDF e Word2Vec) hanno prodotto punteggi F1 significativamente inferiori (massimo=0,34). I LLM hanno ottenuto risultati in- feriori, classificando tutti i casi come negativi, probabilmente a causa delle limitazioni nella comprensione del linguaggio medico italiano e dei vincoli dei token. Conclusioni Questo studio dimostra la fattibilità dell’uso dell’IA per la sor- veglianza delle ISC sulle lettere di dimissione ospedaliera non strutturate. Il modello BERT ottimizzato ha superato in modo significativo sia le tecniche NLP tradizionali che il generico LLM. I sistemi basati su BERT rappresentano una strada pro- mettente per la sorveglianza modulabile e in tempo reale delle infezioni in ambito sanitario.I documenti in IRIS sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.
