Guest Blogger Jean-Louis Bellini. OCR et édition ePub d’un livre du XVI° siècle

« Utilisation de Abbyy fineReader pour la Réalisation de l’édition critique ePub de ‘De la Lingua che si Parla et si Scrive in Firenze […]’, de Pierfrancesco Giambullari.

Dans la cadre de ma formation à l’université Grenoble Alpes, j’ai réalisé un stage et suivi un cours dans le domaine des Humanités Numériques. De par ma formation scientifique et ma carrière professionnelle, j’ai développé un goût pour l’informatique et j’ai pensé que dans le cadre de ce projet je pourrais mettre à profit mes intérêts littéraires et scientifiques.

La numérisation d’un traité sur la langue, également appelé par son auteur « grammaire » de l’Italien du XVIème siècle, ‘De la Lingua che si Parla et si Scrive in Firenze[…]’, de Pierfrancesco Giambullari posait des problèmes complexes relativement à son OCRisation et transformation en ePub.

Le fait d’avoir fait mes études antérieures en Italie m’a donné  une maitrise suffisante de la langue…

Les Logiciel Abbyy FineReader et Calibre

Le traitement du PDF a été réalisé par le logiciel de lecture automatique de texte Abbyy FineReader qui nous a fourni un fichier texte OCR (pour Optical Character Recognition).

Pour corriger les fichiers texte j’ai utilisé la version 12 PRO d’Abbyy FineReader qui est aujourd’hui l’un des logiciel les plus employés pour ce type d’opération.

Cette expérience a montré que le logiciel a probablement atteint certaines de ses limites pour le traitement de ce type de matériel ancien.

Pour corriger les fichiers et le transformer au format ePub, j’ai utilisé le logiciel libre Calibre E-book management de Kovid Goyal, dans sa version 2.82 (http://calibre-ebook.com/).

Heurs et Malheurs de Abbyy FineReader PRO 12

Avec les livres du 16ème siècle, ce qui est le cas du Giambullari, de nombreuses erreurs se retrouvent dans le fichier OCR en sortie de traitement, ce qui demande une correction manuelle.

La correction du texte

Une fois le texte traité et lu ‘correctement’,  la reproduction d’un texte du XVIe  siècle nécessite d’autres corrections pour l’adapter à l’usage que l’on veut en faire.

  • u, v, et U, V : De façon générale, la lettre ‘u’ minuscule correspond, à deux sons de l’italien : le premier rendu par la voyelle ‘u’- qui correspond au ‘ou’ français- et le deuxième, rendu par la consonne ‘v’.  A l’époque de l’impression du volume, cette différentiation était déjà présente dans la langue italienne (G.G. Trissino, dit le Trissin, en 1524), mais il n’était pas représenté par la graphie de façon systématique.

Il faudra donc corriger pour séparer les deux sons comme le montrent les exemples ci-dessous :

  1. « uiue » devient « vive »,
  2. « doue » devient « dove ».

Nb : Nous trouvons aussi dans le même texte des mots orthographiés selon la notation moderne, comme « vero » ou « verbo », mais dans une même page on peut trouver par exemple « verbo » et « vn’uerbo ».

De façon générale, dans le texte la lettre minuscule ‘v’ en début de mot correspond au ‘u’ (‘ou’ en Français). Exemple de correction :

  1. « vniuerso » devient « universo »,
  2. « usbergo » devient « usbergo ».

La lettre ‘V’ majuscule correspond à la consonne italienne majuscule ‘V’ et à la voyelle italienne ‘U’.

Pour séparer les deux sons nous devrons corriger, comme le montrent les exemples ci-dessous :

  1. « NVMERO » devient « NUMERO »,
  2. « ACCVSATIVO » devient «ACCUSATIVO».

Dans le cas des citations latines, l’orthographe originale est maintenue.

  • Le « y » en fin de mot représente un son ‘i’ long, il est orthographié ‘ii’ : par exemple,
    1. à la page 11, « study » devient « studii »,
    2. à la page 19, « contrary » devient « contrarii. ».

 

  • Bien que les lettres ‘s’ et le ‘f’ soit différenciées dans le texte d’origine. Comme on peut le voir dans l’image ci-dessous
Figure 1 : en caractères italiques le ‘s’ et le ‘f’ sont représenté par le même caractère avec ou sans barre.
Figure 2 : Le ‘s’ et le ‘s’ sont représentés par le même caractère, pour le ‘f’ nous avons une barre horizontale qui le traverse alors que pour le ‘s’ la barre se trouve à gauche du caractère

la proximité des caractères typographies fait que logiciel OCR, les confond et  les rend généralement avec la lettre ‘f’ ; ce sera corrigé.

Par exemple,

  1. « fi conofce » devient « si conosce »,
  2. « avefsi » devient « avessi ».
  • Le signe d’abréviation suscrit ‘~’ (titulus) est rendu en général par un accent grave ou aigu ; il correspond à l’économie d’un ‘n’ ou d’un ‘m’. Par exemple,
    1. « nò », correspond à « non »,
    2. « cò » correspond à « con »,
    3. « Dàte », donnera « Dante ».

 

  • L’esperluette (&) est remplacée par « et » pour faciliter la recherche automatique.
  • Toutes les autres « fautes » qui sont dans le texte original ne sont pas corrigées.

Par exemple,

  1. à la page13, « è morlto spesso in bocca a quegli huomini, »,
  2. à la page 25, « Fiorentim »,
  3. à la page 32, « condottta »,
  4. à la page 37, « ricoaoscono »,
  5. à la fin du Livre 4, il est indiqué, « Fine del libro terzo ».
  • Lorsqu’un mot n’est pas lisible ou incertain, on lui a associé, à gauche, un point d’interrogation.

Par exemple,

  1. à la page 66, « ?tela nostrale »,
  2. à la page 218 « Che voi per la croce a monte ?isoni mi giurarete. ».

Les signes de ponctuation

  • Comme en italien moderne, il n’y a pas d’espace avant les simples et doubles points et il y a un espace à la suite.
  • L’apostrophe est unifié à .

Enfin, quelques astuces pour éviter de désagréables surprises :

  • Il faut sauvegarder :
  1. Plusieurs fois au cours de la correction de chaque page, car le nombre d’erreurs provoque, de façon aléatoire mais aussi répétitive, la perte de la correction en cours, et l’affichage du message « Page non reconnue ». Si on n’a pas sauvegardé la page précédemment, il faudra demander au logiciel une nouvelle « lecture » de la page, et recommencer la correction depuis le début. Bizarrement, la deuxième lecture peut être un peu meilleure, comme s’il y avait eu un certain « apprentissage ».

2. A la fin de la correction de chaque page, il faudra enregistrer le fichier au format ePub. Cette opération permet de « valider » la correction car il peut se trouver des erreurs « non détectées » par Abbyy qui empêcheront à la suite de réaliser le fichier ePpub en faisant s’arrêter (planter) le logiciel.

Si on a oublié de sauvegarder après que plusieurs pages ont été corrigées, il peut être long et difficile d’identifier et corriger la page qui pose problème.

 

  • Le cas du format Table des matières

Lors de la correction de la partie index situé à la fin du volume, la présence du type « Table des matières » fait que les titres n’y sont pas reconnus, et donc la réalisation automatique de la table des matières du fichier ePub se trouve compromise.

Pour éviter ce problème, il faut recopier le texte corrigé dans un fichier externe (par ex. Word), identifier sur la page une zone de texte au format « Corps de texte » et recopier le texte corrigé au sein de cette zone. Cela peut se révéler parfois problématique, par exemple, dans un cas particulier : la zone au format « Corps de texte » dans la page ne se composait que 3 caractères successifs.

 

Bilan du processus de correction

Pages en italique

Dans la première partie du texte, les dédicaces et le dialogue sont en italique.

Ci-dessous, les mesures effectuées lors des corrections de 10 pages en italique du volume :

Pour une page en italique on a 31 lignes.

page mots corrects total mots % corr. début fin corr. durée corr. En min.
11 186 291 64% 10:32 10:47 00:15
12 208 295 71% 10:51 11:06 00:15
13 218 309 71% 11:13 11:28 00:15
14 216 314 69% 12:48 13:04 00:16
15 153 267 57% 16:33 16:50 00:17
16 225 309 73% 16:54 17:08 00:14
17 206 314 66% 17:12 17:29 00:17
18 220 306 72% 19:53 20:07 00:14
19 255 335 76% 20:20 20:34 00:14
20 178 319 56% 20:38 21:00 00:22
moyenne 207 306 67% 00:16
écart type 7%

Exemple de correction à la page 7 :

En sortie de traitement OCR, nous obtenons :

« ~)n ti fio, marauiglia alcuna amico Lettore ,fe qua/i in tutta quejU operetta. ricono/cerai lo ordine, l concetti & le parole del Dottifii- mo L1 CRO, nellafiua r- mendata [ìruttura dtlparlar Latino. » =>16 mots corrects.

Le même texte corrigé :

« Non ti sia maraviglia alcuna amico Lettore, se quasi in tutta questa operetta riconoscerai lo ordine, i concetti et le parole del Dottissimo LINACRO, nella sua emendata struttura del parlar Latino. » => au total 31 mots.

Pages qui ne sont pas en italique

A partir du livre I, il n’y a plus de texte en italique.

Ci-dessous, les mesures effectuées lors des corrections de 10 pages du livre 5, et de 10 pages du livre 6.

Chaque page se compose de 30 lignes

Libro page mots corrects total mots % corr. début fin corr. durée corr. En min.
5 229 99 150 66% 09:38 09:46 00:08
5 230 141 239 59% 09:51 10:04 00:13
5 231 154 218 71% 11:25 11:37 00:12
5 232 133 217 61% 11:41 11:54 00:13
5 233 135 244 55% 11:58 12:12 00:14
5 234 164 223 74% 12:42 12:50 00:08
5 235 133 210 63% 12:52 13:06 00:14
5 236 137 223 61% 15:26 15:40 00:14
5 237 143 210 68% 15:51 16:02 00:11
5 238 130 223 58% 16:07 16:24 00:17
moyenne 137 216 64%     00:12:24
écart type 6%
Libro page mots corrects total mots % corr. début fin corr. durée corr. En min.
6 262 122 214 57% 11:47 15:03 00:16
6 263 135 220 61% 15:08 15:20 00:12
6 264 136 200 68% 16:57 17:08 00:11
6 265 121 196 62% 17:12 17:24 00:12
6 266 145 205 71% 17:28 17:40 00:12
6 267 148 238 62% 17:43 17:54 00:11
6 268 135 218 62% 17:59 18:11 00:12
6 269 157 221 71% 18:14 18:24 00:10
6 270 147 236 62% 18:27 18:42 00:15
6 271 141 237 59% 19:08 19:23 00:15
moyenne 139 219 64% 00:12:36
écart type 5%

Exemple de correction à la page 73 :

En sortie de traitement OCR, nous obtenons :

« ^differenti in questojehei primi fono Pei fCl ^ ^enS° passino in ciafcuna delle tre °ne, come tu Sei pregato da mc;io fono Ca Orato da te;& Laura fu feguita dal Petrar flou Secondì non so poffono riceuere,Se ter nf^e terze perfone Solamente, come la

*Carata dame ;ilcaualloè Spronato da •j,^ Svigna è vendemmiata dal villano:  »  => 24 mots corrects.

Le même texte corrigé :

« [so]no differenti in questo; che i PRIMI sono capaci del senso passivo in ciascuna delle tre persone come tu sei pregato da me; io sono onorato da te; et Laura fu seguita dal Petrarca. I SECONDI non si possono ricevere, se non nelle terze persone Solamente, come la terra è arata da me ; il cavallo è spronato da te; et la vigna è vendemmiata dal villano: » => au total 67 mots.

Pour synthétiser

Texte en italique :

  • Il faut compter environ 16 minutes pour corriger un page de 310 mots, soit 10 mots par ligne.
  • Le nombre de mots corrects est en moyenne de 67% (Donc supérieur de  3% au score obtenu pour l’autre type de texte).
  • L’écart type est légèrement supérieur, environ +2%, ce qui indique qu’il y a légèrement plus de variabilité du nombre de mots corrects par page.

Reste du texte :

  • Il faut compter environ 12’30’’ pour corriger une page d’environ 220 mots, soit un peu plus de 7 mots par ligne.
  • Le nombre de mots corrects est de 64%, il est donc un peu moins bon que le texte en italique.
  • En revanche, l’écart type est de 5%, il est donc un peu moindre que les pages en caractères italiques, ce qui indique que le nombre d’erreurs par page y est plus uniforme.

 

Conclusion

La première impression est fausse

Au cours de la correction du texte, la première impression qu’on peut en retirer est que le logiciel Abbyy corrige moins bien les parties de texte en italiques et que, de façon générale, il s’y trouve plus d’erreurs. Les tests ont montré que cette impression est fausse. En réalité, une page en italiques comporte une ligne supplémentaire, et globalement 30% de mots en plus. Cette densité d’information, et le fait que les caractères italiques sont inclinés et donc moins facilement lisibles, peut expliquer cette sensation.

Ce stage m’a passionné ; la correction du fichier OCR peut se révéler addictive.

Le logiciel Abbyy est d’une prise en main relativement simple, de même que la réalisation de livres électronique au format ePub et l’utilisation des logiciels Sigil et Calibre.

Pour conclure, la conjonction de l’outil informatique et des humanités s’avère fort intéressante et donne de beaux résultats.


Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *