Conversion XML vers CSV

C’est un script InDesign de conversion de fichiers, cette fois, que je présente ici. Alors, on peut se demander, « Pourquoi InDesign pour convertir des fichiers XML ? » Et bien, parce que ça marche… Et plutôt pas mal en plus !

Les circonstances

C’est en 2019, quand l’Académie des sciences a confié au Muséum national d’Histoire naturelle l’édition de revue de paléontologie Comptes Rendus Palevol que j’ai eu l’occasion d’écrire ce programme.

L’Académie des sciences est co-éditrice de la revue Comptes Rendus Palevol
avec le Muséum national d’Histoire naturelle depuis 2019

En sus de reprendre la production éditoriale des articles de la revue, le Muséum – par l’intermédiaire de son service des Publications scientifiques – s’était engagé à republier également ses archives, le journal ayant été publié par Elsevier (un éditeur scientifique privé) de 2002 à 2018, sur son propre site.

Mais voilà qu’à la livraison des archives, je m’aperçois que celles-ci sont fournies au format XML, et que je ne dispose d’aucun outil qui me permettrait d’importer les articles publiés pendant 16 années (à raison de huit fascicules par an, on arrive à environ 1500 articles) dans le site web des Publications, https://sciencepress.mnhn.fr. Les archives que je reçois ressemblent à ça :

Des centaines de fichiers XML, un par article (et encore, là, ils ont tous été renommés ; avant, ils s’appelaient tous « main.xml »…), chacun contenant des données sous la forme :

De mon côté, j’ai besoin de fichiers CSV (tableur) « à plat » pour pouvoir importer ces données dans le site des Publications… Il me fallait donc trouver un moyen de passer de l’un à l’autre.

Un script de conversion XML vers CSV

En pratique, j’avais déjà écrit deux scripts InDesign de traitements des publications du Muséum, l’un pour extraire les métadonnées d’articles maquettés sous InDesign et les enregistrer au format CSV, l’autre pour générer cette fois un fichier XML CrossREF (pour déclarer l’identifiant de l’article) à partir des mêmes métadonnées. Enfin, je savais qu’InDesign était capable de lire des fichiers XML, en utilisant certaines bibliothèques additionnelles…

Idea Bulb Transparent Transparent HQ PNG Download | FreePNGimg

Dès lors, pourquoi ne pas utiliser InDesign pour lire les fichiers XML « Elsevier » des articles de la revue Palevol, et écrire ensuite les données récoltées dans un fichier CSV, comme je savais déjà le faire ?

Ni une, ni deux, j’ai pris mes ciseaux à code et je suis allé chercher dans mes archives les bouts de programmes dont j’avais besoin pour écrire un script de conversion de ces fichiers XML dans un format CSV exploitable… Snip snip, snap snap… Et hop, un nouveau programme de rédigé !

Mes scripts sont un peu comme Frankenstein : ils font flipper même quand ils marchent !
[auteur : Cyril LELONG / CatAndCookies.com]

Fonctionnement

Le script nécessite la création d’un dossier nommé « _export_articles » dans le dossier « Documents » de l’utilisateur (un peu contraignant, mais je ne me suis pas penché plus que ça sur le système de fichiers utilisé par INDD…)

À l’intérieur de ce dossier, créer un sous-dossier « xml ». Y déposer les fichiers XML à convertir.

On a donc créé la hiérarchie suivante :

Documents/
- _export_articles/
  - xml/
    - fichier1.xml
    - fichier2.xml
    - etc.

Il faut ensuite lancer InDesign, et créer un nouveau document vierge.

Lancer ensuite le script ; celui-ci demande éventuellement certaines informations qu’il ne parvient pas à récolter, ainsi que la date de publication du fascicule de rattachement (il vaut mieux importer les articles fascicule par fascicule).

Une fois l’ensemble des fichiers traités, le script créé dans le dossier « _export_articles », plusieurs fichiers :

Un fichier « article-xml-AAAA-VOLUME.csv » qui contient les données des articles importés ;
Un fichier « auteurs.csv » qui enregistre une liste dédoublonnée des auteurs des publications importées ;
Un fichier « fascicules.csv » qui permet de référencer les articles d’un même fascicule ;
Un fichier « doi_permaliens.csv » qui permet d’établir un lien entre le DOI existant et la nouvelle URL de l’article, basée sur le nom de la revue, le volume, et le numéro de l’article (par exemple, http://cr-palevol.fr/20/2).

Enfin, le script affiche un rapport confirmant que les opérations se sont bien passées :

De cette manière, au fur et à mesure de l’import des fichiers des articles, une liste d’auteurs et de couple DOI/URL correspondante s’est constituée, permettant ensuite un import facile dans le site des Publications.

Tous ces articles sont maintenant accessibles librement et gratuitement sur le site des Comptes Rendus Palevol, à l’adresse https://sciencepress.mnhn.fr/fr/periodiques/comptes-rendus-palevol.

Limitations

Vous l’aurez compris, ce programme a été écrit dans un but bien précis, et répond à des formats d’entrée et de sortie également très spécifiques (ce ne sont pas tous les fichiers XML d’ELsevier que mon script va « manger », mais ceux-là exactement et les fichiers CSV générés correspondent aussi à un format d’import très spécial, etc.) mais il reste possible de l’adapter.

Il montre, dans tous le cas, qu’il est possible de traiter des données informatiques brutes avec InDesign, qui a l’avantage de très bien gérer les caractères UTF-8 (et donc de retranscrire parfaitement les accents dans les noms d’auteurs).