Introduzione: il problema nascosto dei filtri antispam che ignorano il contesto italiano

a) L’antispam moderno si basa su analisi semantica, ma un errore critico persiste: l’isolamento del testo dal contesto linguistico e culturale italiano. Il sistema, privo di consapevolezza regionale, tecnico e pragmatica, spesso classifica messaggi legittimi — come comunicazioni istituzionali, email aziendali o contenuti regionali — come spam. Studi empirici rivelano che modelli generici o basati unicamente su keyword rilevano fino al 37% di falsi positivi, compromettendo l’esperienza utente e minando la fiducia nel servizio.
b) La lingua italiana, ricca di sfumature sintattiche, gergo, e varianti dialettali, richiede un approccio che superi la semplice corrispondenza lessicale. Un’email con frase “Ecco l’aggiornamento ufficiale sul progetto” può essere legittima, ma un modello generico potrebbe interpretarla come spam per l’assenza di parole chiave comuni.
c) La soluzione risiede in un filtro contestuale ibrido: integrazione di semantica avanzata, lessicalizzazione fine-grained, analisi del tono e del profilo mittente, supportata da dataset locali annotati e modelli linguistico-contestuali addestrati su dati reali.

Fondamenti: l’analisi semantica nel Tier 1 e i suoi limiti per l’italiano

a) Il Tier 1 utilizza BERT multilingue (es. multilingual BERT) addestrato su corpus globali, ma fallisce nel cogliere sfumature specifiche dell’italiano. Modelli generici ignorano:
– L’uso di “avere” vs “a’” in contesti ufficiali;
– Termini tecnici regionali (es. “fondo sociale” in Lombardia);
– Espressioni formali e colloquiali che alterano l’intenzione.
b) Metriche di valutazione standard (precision, recall, F1) non bastano: devono essere calibrate su dataset localizzati, con campioni bilanciati di spam e legittimi per dominio (istituzionale, commerciale, privato).
c) Il problema centrale: un messaggio legittimo con tono formale o contenuto promozionale può essere erroneamente bloccato se il modello non integra il contesto linguistico e culturale locale, generando falsi positivi sistemici.

Tier 2: metodologia avanzata per un filtro contestuale – passo dopo passo

a) **Preparazione del corpus di riferimento locale**
– Raccogliere circa 50.000 messaggi italiani: email aziendali, chat commerciali, comunicazioni istituzionali, recensioni online, messaggi clienti.
– Annotare in 5 categorie precise: spam (falso positivo), spam confermato, legittimo, urgenza, informativo.
– Includere varianti linguistiche regionali (es. uso di “ct” al posto di “cte”, “tu” vs “Lei” in comunicazioni formali).
– Aggiungere metadata contestuali: luogo, data, dispositivo, linguaggio regionale, tipo di comunicazione.
– Strumenti consigliati: Label Studio con workflow personalizzati per annotazione semantica italiana, Prodigy per automazione supervisionata.

b) **Addestramento di BERT fine-tunato con perdita pesata**
– Utilizzare il modello `it_core_news_sm` di spaCy per tokenizzazione, lemmatizzazione e riconoscimento entità.
– Fine-tuning su corpus annotato con loss personalizzata che penalizza maggiormente i falsi positivi (weighting: +2.5x per categorie critiche).
– Parametri: learning rate 2e-5, batch size 16, 3-5 epoche, early stopping su validazione.
– Loss target: `loss = α·due_penalità_falsi_positivi + (1−α)·performance_generale` con α > 0.8.

c) **Integrazione di feature contestuali in pipeline ibrida**
– Fase di pre-elaborazione: normalizzazione testo (rimozione di abbreviazioni non standard, correzione ortografica regionale), riconoscimento entità (organizzazioni, date, luoghi).
– Fase semantica: embedding contestuale con BERT fine-tunato, analisi del tono (formale/urgente/colloquiale), rilevazione di call-to-action esplicite.
– Fase contestuale: calcolo profilo mittente (frequenza comunicazioni, formalità, linguaggio usato), analisi temporale (stagionalità, urgenza).
– Fase decisionale: classificazione con soglia dinamica (adattata per categoria), feedback loop con Human-in-the-loop per casi limite.

d) **Architettura modulare e fase di validazione A/B**
– Pipeline modulare: pre-elaborazione → embedding contestuale → scoring contestuale → decisione finale.
– Test A/B su utenti reali: campione stratificato per dominio (istituzionale/privato), misurazione falsi positivi percentuali per categoria, tasso di adozione legittima.
– Iterazione continua: feedback umano integrato via human-in-the-loop per affinare modello e regole contestuali.

Fase 1: raccolta e annotazione del dataset contestuale italiano – pratiche esperte

a) **Fonti rappresentative**
– Email aziendali (es. comunicazioni interne, notifiche clienti);
– Comunicazioni postali istituzionali (comuni, università, enti pubblici);
– Chat commerciali (supporto clienti, vendite online);
– Recensioni web e messaggi di servizi clienti (con consenso).

b) **Linee guida annotazione dettagliate**
– Categorie obbligatorie: spam (falso positivo), spam vero, legittimo, urgenza, informativo.
– Esempi limite: “Rinnovo automatico confermato” → legittimo; “Attenzione: documento urgente” → urgenza; “C’è un problema urgente” → legittimo (tono formale, richiesta azione).
– Casi limite: email con tono formale ma contenuto promozionale; comunicazioni con errori ortografici regionali.

c) **Annotazione da esperti nativi**
– Utilizzare annotatori con competenze linguistiche e culturali italiane; controllo inter-annotatore con indice Kappa > 0.75.
– Strumenti: Label Studio con workflow personalizzato per classificazione multi-categoria e annotazione contestuale.

d) **Arricchimento metadata**
– Aggiungere: luogo (città/regione), data, dispositivo (desktop/mobile), linguaggio regionale (es. milanese vs siciliano), tipo comunicazione (ufficiale, commerciale, privata).
– Questi dati migliorano la capacità predittiva contestuale e riducono ambiguità.

e) **Strumenti consigliati**
– Prodigy per annotazione interattiva con feedback immediato;
– spaCy con modello `it_core_news_sm` per preprocessing;
– Excel o Airtable per gestione metadata e controllo qualità.

Fase 2: addestramento e validazione dei modelli contestuali – tecniche avanzate

a) **Preprocessing linguistico italiano**
– Tokenizzazione con spaCy `it_core_news_sm`: riconoscimento entità nominate specifiche (es. “Comune di Roma”, “Alberghi in Toscana”).
– Lemmatizzazione: ridurre varianti lessicali (es. “credi” → “credere”, “cte” → “certo”).
– Rimozione stopword regionali (es. “sì”, “no”, “ct”), gestione abbreviazioni con regole contestuali.

b) **Fine-tuning BERT contestuale**
– Parametri: learning rate 2e-5, batch size 16, 3-5 epoche, early stopping con validazione su set di test separato.
– Loss: `loss = 2.5·falsi_positivi_penalizzati + 0.5·errore_generale` per bilanciare precision e copertura.
– Training su dataset stratificato per dominio, con oversampling categorie critiche.

c) **Feature engineering contestuale**
– Indice di modularità testuale: misura coerenza sintattica (es. presenza di frasi frammentate).
– Punteggio di formalità: algoritmo basato su uso di forme indirette, lessico tecnico, struttura frasale.
– Presenza di CTA esplicite: conteggio verbi d’azione (es. “agenda”, “conferma”, “rispondi”).

d) **Validazione con cross-validation stratificata**
– Divisione 80/20 in train/validation, test set finale indipendente per stima reale.
– Metriche chiave: matrice di confusione per categoria, ROC-AUC (sensitivity/specificity), F1-score per sottogruppi (es. legittimo vs urgenza).
– Analisi ROC per falsi positivi: obiettivo > 0.85 per alert critici.

e) **Tabelle di riferimento e benchmark**