Sandro Botticelli [Public domain], via Wikimedia Commons

Il trattamento automatico delle lingue medievali

Interviste ai creatori del Medieval French Language Toolkit e di D(h)ante.

Dopo aver presentato nel post precedente uno strumento per il trattamento del francese antico (MFLT), continuiamo il nostro viaggio tra le risorse di NLP per le lingue medievali con D(h)ante, un progetto dedicato allo studio dell’italiano delle origini del gruppo Digital Humanities della Fondazione Bruno Kessler (FBK). Ce ne parla Angelo Basile, che ringraziamo, ex intern presso FBK e ora studente del corso di laurea europeo di Language & Communication Technologies.


1. Cos’è D(h)ante <http://dh.fbk.eu/D(h)ante>?

D(h)ante è un insieme di strumenti per lo studio dell’italiano delle origini. La parte principale del progetto consiste di due modelli statistici costruiti a partire da un corpus di Dante annotato a mano. Questi modelli vengono usati da un annotatore automatico di parti del discorso (nello specifico noi abbiamo usato lo Stanford PosTagger e TreeTagger, diversi nell’architettura, ma simili nella funzionalità).

Per sfruttare il corpus a disposizione è stato necessario trasformare il tagset e preprocessare alcuni frammenti: a volte più parole erano state marcate come un unico blocco e questo è incompatibile con il formato dei dati necessari ad addestrare i modelli; in altri casi è stato necessario annotare la punteggiatura e separare una frase dalla successiva; infine si è deciso di marcare i nomi di persona così da poter utilizzare il corpus anche all’interno di un altro progetto (i.e. ALCIDE).

Gli strumenti così addestrati hanno raggiunto una precisione del 90% quando testati su una parte del corpus non utilizzata per l’apprendimento.

All’interno del progetto D(h)ante è stato fatto inoltre un lavoro di comparazione delle performance tra uno strumento addestrato unicamente sull’italiano contemporaneo e i due tagger addestrati sul corpus dantesco: i risultati hanno confermato le aspettative. Sappiamo infatti da studi di storia della lingua che l’italiano contemporaneo coincide con quello di Dante per circa il 70% del lessico: TextPro, addestrato su un corpus giornalistico contemporaneo, raggiunge esattamente questo livello di accuratezza.

Insieme a Federico Sangati abbiamo presentato i risultati del lavoro in un contributo per l’edizione 2016 di LREC (The International Conference on Language Resources and Evaluation).


2. Cos’è TreeTagger e perché avete deciso di utilizzarlo?

TreeTagger è uno strumento di annotazione automatica: dato un frammento di testo in una qualche lingua supportata, TreeTagger arricchisce ogni parola di un tag che specifica la parte del discorso a cui la parola appartiene: ad esempio ‘Maria mangia la mela’ viene trasformato in ‘Maria_NomeProprio mangia_Verbo la_Articolo mela_Nome’. Ogni lingua richiede il proprio modello statistico, e il sito di TreeTagger ne elenca una trentina. Ma è possibile aggiungerne di nuove dato un corpus annotato e proprio per questo per D(h)ante lo abbiamo utilizzato.

TreeTagger ha dimostrato performance molto alte (90% di accuratezza) e lo Stanford PosTagger ha raggiunto nei nostri esperimenti un risultato ancora migliore (92% di accuratezza).


3. Qual’è il corpus di addestramento di D(h)ante?

I modelli sono stati addestrati sul corpus DanteSearch creato dal gruppo diretto da Mirko Tavoni all’Università di Pisa. Si tratta di un corpus quasi completo: oltre alla ‘Commedia’ include ‘Rime’, ‘Convivio’, ‘Rime’, ‘Vita Nuova’, ‘Fiore’ e ‘Detto d’amore’. Le annotazioni sono di qualità molto elevata: gli annotatori sono stati dottorandi e studenti di master di letteratura italiana.

Il tagset usato per il corpus originale è molto ricco: per creare i modelli per TreeTagger e Stanford PosTagger  si è deciso di convertire il set originale – ottimo per una consultazione manuale del corpus – in un tagset più piccolo, che facilita la fase di apprendimento automatico.

Il corpus originale contiene annotazioni di tipo morfologico – utilizzate per creare i nostri modelli –, ma anche sintattico (analisi del periodo).


4. Quando influenza i risultati il corpus di addestraemento? (Per esempio, se il corpus contiene solo opere di Dante, funzionerà sui testi di altri autori coevi?)

Il dominio gioca quasi sempre un ruolo importante nell’addestramento di modelli statistici. Quando sono disponibili più corpora, ognuno rappresentante un dominio diverso, è relativamente facile quantificare quanto il modello stia sopravvalutando l’effetto del dominio: è sufficiente addestrare il modello su un corpus e testarlo su un altro. Purtroppo per l’italiano delle origini non esistono molti corpora annotati nello stesso modo del corpus dantesco e quindi non è stato possibile fare questa prova.

In futuro bisognerà annotare nuovi testi di altri autori per capire quanto il modello sia capace di generalizzare.


5. Come nasce questo strumento?

D(h)ante nasce nel 750 anniversario dalla nascita del poeta. Data la disponibilità del corpus annotato, sì è voluto dare un contributo agli studi di umanistica digitale sull’italiano delle origini.

Gli storici della lingua italiana solitamente non utilizzano strumenti automatici di analisi del linguaggio e i corpora sono consultati in maniera manuale: il progetto D(h)ante vuole da una parte fornire agli storici un nuovo strumento di lavoro e dall’altra contribuire alla ricerca nell’elaborazione automatica del linguaggio; sono due comunità che solo di recente hanno iniziato a comunicare tra loro in modo sistematico.


6. Che tipo di applicazione immagini per questo strumento?

Ci sono almeno due diversi gruppi di applicazioni. Da una parte D(h)ante è utile per quelle applicazioni di Digital humanities dove il testo è interessante in quanto testo: i modelli possono essere utili per arricchire in modo automatico – ad esempio durante un processo di digitalizzazione – un testo scritto in italiano antico e non ancora annotato.

Altri utenti possibili sono gli storici della lingua e gli storici tout court: il testo annotato nel formato dei tagger supportati può per esempio essere utilizzato per operare confronti tra testi di diversi periodi; oppure – attraverso la ricerca di co-occorrenze – può essere utile per capire qual era l’uso di una certa parola in un dato periodo.

A Dicembre 2015 abbiamo presentato i risultati parziali del progetto durante la costituzione della Société Dantesque de France: siamo stati molto felici di vedere che umanisti di formazione classica – e non digitale, per capirci – si siano interessati ad un progetto come il nostro.


7. Esistono programmi futuri per D(h)ante?

Il prossimo passo consiste nel costruire un lemmario dal corpus annotato: una lista di parole, in tutte le forme che occorrono nel corpus, affiancate dal lemma corretto. Queste risorse sono molto utili per varie applicazioni di NLP.

Abbiamo inoltre valutato alcuni metodi per annotare altri testi contemporanei di Dante usando metodi non tradizionali (più veloci e meno costosi): l’idea è quella di coinvolgere gli studenti dei corsi di laurea di letteratura italiana, ma l’implementazione non sarà banale.


Grazie a Angelo Basile! À la prochain!


Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *