Collectage en Espagne

Je suis tombé sur ce truc hier ou avant-hier. Ou la veille. Enfin y'a pas longtemps. Par hasard. Enfin, presque, mais c'est une autre histoire... Wikimedia Espagne aidé la Fundación Joaquín Díaz à charger une montagne de fichiers sur Commons, avec le soutien de la Wikimedia Fondation, si j'ai bien tout compris.

Commençons par le commencement, la Fundación Joaquín Díaz, c'est une fondation, j'imagine (à ce stade, je crois qu'il faut un tout petit peu préciser que je ne comprends pas l'espagnol, mais alors pas du tout du tout), qui d'une part a un article un-peu-court-jeune-homme sur Wikipédia en français, et pas tellement plus développé en espagnol, et qui a pour principal intérêt de faire du collectage dans la province de Valladolid (c'est en Espagne, je dis ça, parce qu'il a fallu que je regarde que ça n'était pas la société qui fait de la synthèse vocale au Japon, oui-oui. Mais c'est en Espagne, c'est une certitude), si j'ai bien compris.

Le collectage, en l’occurrence, ça consiste à attraper les vieux qui savent jouer d'un biniou quelconque, qui connaissent des histoires, etc., et de leur coller un magnéto sous le nez jusqu'à tant qu'ils aient essoré leur répertoire. C'est pas une grande innovation, bien sûr, mais c'est un moyen de fixer la tradition orale. Et après, si on veut, on peut théoriser dessus si on est porté sur l'ethnomusicologie, on peut l'exploiter jusqu'à la moelle (tiens, les Danses hongroises de Brahms sont en fait des danses tziganes qui ont été collectées — à l'époque, il n'y avait pas de magnéto, mais l'idée est la même), ou simplement les écouter pour le kif (je vais personnellement m'en tenir à ça).

Et ils ont mis tout ça sur Commons, avec une licence cc-by-sa. C'est cool, on peut l'écouter, on peut s'en servir, on peut le partager, on peut le redistribuer autant qu'on veut tant qu'on cite les auteurs et qu'on le laisse sous sa licence (non, vous ne rêvez pas, sous vos yeux éberlués, je viens de vous re-raconter la licence cc-by-sa, dans toute sa coolitude. Ne me remerciez pas).

Ça fait 926 disques (c'est rangé ici), enregistrés entre les années 1950 et 2010 (voir là), le tout bien rangé, avec des métadonnées lisibles (au moins pour un être humain) dans les pages de description. Et là, on arrive au moment où j'aimerais bien faire comme si d'une part je savais de quoi je parle, et d'autre part faire comme si je comprenais de quoi ça parle. Donc maintenant, l'instant en roue libre, le moment où l'on fait semblant que j'ai trouvé les 3 ou 4 trucs intéressants dans le parmi des 21 371 fichiers dont je ne comprends pas la langue :
Mettons, donc… mes découvertes, en 10 minutes :

une dame de 75 ans, qui visiblement raconte une histoire de fille perdue :

un flamenco par le fils de Teresa López et Juan de la Cruz :

une marche pour une procession (je dois être doué pour les langues, finalement) :

un pasodoble, par Aurelio :

une rumba (qu'est-ce que je peux en dire, à part "Lola, la, la, lo, la" ?) :

Mais très vite, on réalise que Commons est peut-être plus ou moins adapté à héberger les photos de Wikipédia (je sais pas, en fait, c'est peut-être que j'ai l'habitude, après tout…), mais c'est pas du tout adapté à écouter de la musique (ou regarder de la vidéo, d'ailleurs), il n'y a pas de playlist, donc à la fin de chaque fichier, il faut passer au suivant à la main, et là, on a deux choix : ou bien on écoute un autre fichier de la catégorie où l'on est (en supposant qu'on se serve des catégories) mais on n'a pas accès aux métadonnées (il faut se contenter du nom du fichier), ou bien il faut charger la page de description.

J'ai bien essayé de faire une wikiradio (c'est un truc sympa, bien qu'un peu rudimentaire) avec tous les 21 371 fichiers, mais bien sûr, c'est trop pour la machine, qui fait une indigestion, bref, ça marche pas.

Bien sûr, on peut télécharger des chansons à la main, ou bien, puisqu'il y a une catégorie par disque (depuis tout à l'heure, je dis disque, parce que quand j'étais petit, la musique venait sur des disques, et même quand c'était sur des cassettes, c'était des disques, faites pas chier, et maintenant que je vieillis et j'écoute des disques en ogg.), il y a l'indispensable outil de l'excellent Poulpy qui sert (l'outil, pas Poulpy, qui sert…) à télécharger tous les fichiers d'une catégorie : catdownload (et non, c'est pas un truc pour télécharger des chats… quoique…) Donc, tant que Tools Labs fonctionne, on a ça.

J'imagine qu'il doit être possible de bricoler un truc de manière à ce que le schmilblic se goupille correctement sans avoir recours à la papsouille à turole d'admission et sans remplir complètement son disque dur de fichiers qui ont perdu toutes leurs métadonnées dans l'opération (c'est un peu dommage…)
Donc, voici (emplâtre sur jambe de bois ou pétard mouillé ?) une playlist à recopier dans un fichier texte avec une extension m3u, lequel fichier est à donner à manger à votre biniou-à-jouer-ces-fichiers-là (VLC, Winamp ou AmaroK, ou autre, on est en 2016, débrouillez-vous).
Naturellement, le truc est trop gros pour que ça tienne sur une seule page, on dépasse allègrement la limite de la page trop grosse de Commons, donc j'ai coupé en deux par le milieu :

moitié 1 et moitié 2

Il me reste juste à vous dire comment j'en suis arrivé là (chut, c'est mon blog, je dis ce que je veux et dans le désordre que je veux) : les anglophones ont fait un truc similaire pour la wikiradio classique (wikiradio, liste des fichiers et playlist à recopier), vu que ma wikiradio ne fonctionne pas, il fallait essayer ça. Mais autant je veux bien récupérer l'url du fichier à la main pour une vingtaine de fichiers, autant pour 21 371, je renonce, il me faut un maître jedi du script. Heureusement, je connais Poulpy, qui est juste ça, et à qui il n'a fallu que 3 jours pour faire le travail (oui, quand même). Ensuite, il a fallu trouver un endroit où mettre tout ça. On a fait planter nos navigateurs à essayer de le mettre sur Commons (même le copier-coller est périlleux, on se croirait 25 ans en arrière, tiens…), qui de toutes façons nous a jetés comme des malpropres :

Erreur : Le texte que vous avez soumis fait 2 681 Kio, ce qui dépasse la limite fixée à 2 048 Kio. Il ne peut pas être sauvegardé. 

 Ouais, comme ça, en rouge cerise.
L'occasion d'essayer le service dégooglisé de framasoft, framadrive ?

Le nombre maximum de comptes disponibles (2600) a été atteint. Les inscriptions sont closes pour le moment

C'est clairement pas la journée…
D'où la solution à la tronçonneuse (10685 lignes de chaque côté, ça devrait me tenir l'hiver).

Donc voila, amusez-vous bien avec ça, et personnellement, si j'ai un truc à demander au père Noël, ça serait un système pratique et qui marche pour qu'on puisse écouter simplement les fichiers audio de Commons, comme si on était en 2016 (et pareil pour les vidéos), sans laisser les métadonnées dans les pages de description (on pourrait peut-être les attacher aux fichiers, je sais pas ?, histoire que j'y aie accès depuis mon VLC, par exemple…).
Ah oui, Noël c'est fini… Bon. 

Edit (29 janvier) : Ça m'avait échappé, mais on m'informe que la wikiradio fonctionne. Donc, pour écouter pendant des mois, sans remettre une thune dans le bastringue, c'est ici.

Musique, Wikipédia, LilyPond, etc.

Il y a un peu plus d'un an, j'avais parlé (au détour de commentaires plus ou moins pertinents sur le yodle bluegrass) de partitions sur Wikipédia (je ne refais pas le sketch, si vous avez oublié, retournez le lire).

Depuis, j'ai un peu travaillé la question, j'ai renoncé à avoir une doc pour l'extension score, mais j'ai appris le LilyPond. J'ai tellement appris ça que j'ai fait des trucs étranges comme contribuer à mutopia (ce projet antédiluvien auquel on contribue par mail — à ceci près que personne ne lit les mails — rassurez-vous : j'ai arrêté les frais. Blagues à part, si ils ne lisent pas les mails et qu'ils ont un sens inné de l'interface, ils n'en ont pas moins un article sur Wikipédia, ici, que je n'ai pas lu depuis… oh…), jusqu'au moment où j'ai essayé musescore. En gros, ça sert à la même chose que LilyPond, mais avec une souris, à la place du clavier — point de théologie que je ne discuterai pas ici.

Si ça vous intéresse… bon, ok, je fais un paragraphe (avec des exemples). En très gros, LilyPond produit une partition en pdf prête à être posée sur un pupitre et un fichier midi indépendant alors que musescore fait une bidule très web avec un synthétiseur qui surligne la mesure qu'il est en train de jouer au fur et à mesure, mais qui marche nettement moins bien sur papier.
Si on regarde en détail, musescore est un peu rudimentaire en terme de fonctionnalités (par exemple, il ne gère pas le grégorien), et en terme de fini du rendu (pour aller vite, on reconnaît un rendu musescore à l'œil (les liaisons, par exemple) mais c'est wysiwyg, alors qu'un rendu lilypond tient la comparaison avec une partition Bärenreiter (si vous n'avez pas passé votre jeunesse avec une pile de partitions dans une main, un métronome dans l'autre et à chercher la salle de répétition, d'une part vous avez raté votre vie, et d'autre part c'est une maison d'édition qui fait des partitions de bonne qualité) — à condition d'y passer le temps (les réglages fins peuvent devenir assez chronophages, mais je n'ai rien trouvé de vraiment infaisable). Et puis LilyPond gère la musique d'ensemble, en saisissant une seule fois les notes, on peut produire un conducteur (la partition du chef d'orchestre avec toutes les parties) et le matériel d'orchestre (les partitions des musiciens), voire même avec les à défaut.
Après, il n'y a pas de moyen de passer d'un format à l'autre. L'interopérabilité n'est pas une priorité, ce sont des formats ouverts, si vous en avez besoin, z'avez qu'à le faire (putain de libristes…), de toutes façons, il semble que le format prédominant ne soit ni lilypond ni musescore : si vous voulez devenir maître de l'univers, allez apprendre le musicXML.

M'enfin, dans le fond, je ne voulais pas  me plaindre de ce que le monde est mal fait, ça n'y changerait rien. L'idée, c'était de faire le point sur là où j'en suis de comment faire pour ce genre de choses. Juste parce que c'est fun.

Vus les manques flagrants de performance du côté de la Wikimedia Fondation, j'installe LilyPond chez moi, histoire de pouvoir tester les bouts de code sans avoir à attendre des plombes le rendu. Tant que j'y suis, je prends une vieille version, genre la 2.14, qui correspond plus ou moins à ce qu'utilise l'extension score. Fondamentalement, ça marche comme les versions actuelles (2.18 et 2.19), mais il y a quelques points de détail qui ont changé ; ça reste marginal, mais je préfère ne pas travailler à l'aveugle (question de convenances) et ne pas attendre le rapport d'erreur sur fond rose de mediawiki pour me dire que je n'ai pas rétro-bidouillé à la main le truc). Les téléchargements, c'est ici, aller farfouiller dans les anciennes versions, s'armer de sang froid.

Avec ça, il suffit d'un quelconque éditeur de texte pour être autonome. Un éditeur de texte, la doc (tant qu'à faire, la doc de la bonne version, parce que sinon, ça va marcher moyennement) qui existe en html et en pdf (pour consulter en ligne et hors ligne, pour les jours où le site tombe), et un tube d'aspirine.

Ensuite, si on veut gagner du temps, et je suis toujours partant pour ça, vu que j'aime me voir taper des tas de trucs sur mon clavier, à toute vitesse et en faisant des quantités industrielles de fautes de rappe (oui, je sais, j'ai vu), mais au bout d'un moment, si j'ai la possibilité de moins me fatiguer et d'être un peu plus efficace, je préfère. Donc, comme éditeur de texte,  j'utilise Frescobaldi, qui est un éditeur de texte spécifique, qui fait de la coloration syntaxique, de l'autoco (par exemple, ici, ça ne fait pas) autocomplétion (voila), de la prévisualisation pdf et du synthétiseur midi. À croire que c'était fait exprès. En plus, pour les commandes courantes, il y a des boutons et des raccourcis claviers qui font le boulot à ma place (dans plusieurs versions de LilyPond, figurez-vous !). Et quand je fais une coquille, ça me surligne la ligne où j'ai merdé et ça me pond un rapport d'erreur. Et c'est 20 à 50 fois plus rapide que mediawiki sur le rendu.
Le site est ici, et il est un peu rudimentaire.
Il semble qu'il existe d'autres éditeurs, mais je ne les ai pas essayés (jEdit (lilypondtool), Denemo, Canorus, Emacs, Vim — oui, je recopie Wikipédia, et alors ?), donc je ne les commenterai pas.

Ensuite, je prépare mon petit bout de code dans Frescobaldi, et je le copie dans un
<score vorbis="1">
</score>
à l'endroit qui va bien. Ensuite, il faut de plus en plus souvent passer de plus en plus de temps à purger le cache (pas celui du navigateur, l'autre, celui de MedaWiki), parce que visiblement il faut palier à la main aux insuffisances de je sais pas qui.

Le dernier à partir vérifiera /etc/timidify/timidify.cfg et éteindra la lumière. Merci.

Musique !

On rigole, on envoie des liens rouges à @Ideedarticles en se disant que quelqu'un aura le courage…
En fait, quand on pense à un truc, ça ne passionne pas souvent les autres. Et si on ne le fait pas, personne ne le fera¹

Mais commençons par le commencement.
J'étais tombé sur la catégorie des bluegrass old timers sur Commons, et je me suis poilé pendant un moment à écouter du yodle, du fiddle, des polyphonies approximatives et de la guitare hawaïenne (on a les trips qu'on peut, certes), quand soudain (le côté soudain de la chose est tout relatif) je me suis arrêté sur Old MacDonald…

Je vous laisse écouter.

Outre l'aspect animalier, fort sympathique au demeurant, c'est le fait qu'il y avait un article sur la chanson sur Wikipedia en anglais. Donc, j'ai envoyé le lien à @Ideedarticles et je suis passé à autre chose.
Et quelques jours plus tard, je suis repassé par là, et ça m'a pris. J'ai donc traduit à la grosse l'article².
Il y a la partition sur une image (en pdf ?_?) en 150 pixels de large, autant dire que ça peut à la limite servir d'alibi pour dire qu'on sait qu'il y a une musique à la chanson, mais guère plus.
C'est à ce moment précis que je me suis souvenu de ce vieux serpent de mer dont tout le monde s'est désintéressé au fil des années, l'extension score, qui avait fini par aboutir (mais c'était tellement merdique que tout le monde a mis son mouchoir dessus et a fait comme si ça n'existait pas³). Mais bon, maintenant on l'a, ça bugue comme un canard, ça marche quand ça a le temps, mais on l'a. Ça tourne avec une version du logiciel qui date de 3 ans, ça ne reconnaît pas la moitié du format, mais on l'a.
Arrêtez de vous plaindre.
Et ça permet de coder dans les articles des partitions (en dur, comme des sagouins) qui peuvent faire du bruit. Pour l'aspect farce, je dis pas, mais ça peut servir à ceux qui ont autre chose à faire que d'apprendre le solfège pour se faire une idée de la musique. Ça peut servir.

À ce moment de l'histoire, il faut que je vous explique que j'ai quatre tordus qui me racontent des trucs hilarants par-dessus l'épaule tandis que j'essaye de finir ce présent billet, et que c'est pas facile du tout d'avoir un minimum de suite dans les idées pour aller jusqu'au bout. En plus, ils me tannent pour que je fasse des notes de bas de page ⁴ !

J'ai donc essayé, étant bien entendu que j'ai tout au fond de moi l'âme d'un warrior qui s'ignore, tout près d'un intestin grêle, de coder en dur de la musique dans la fenêtre d'édition. J'ai essayé. Ça n'a pas trop marché.
D'abord, la notice de l'extension, où naïvement je m'attendais à trouver un début de doc, parle confusément de deux langages de codage dont quelqu'un qui s'y connaît (voir une note en bas de page, je sais plus laquelle) m'a dit que l'un d'eux est déprécié (même si c'est le plus récemment implémenté).
Ouh la la… C'est, à l'image de la doc, pas clair du tout.
Pour faire simple. L'extension s'appelait à l'origine LilyPond, du nom de LilyPond (allez lire, je vais pas répéter ce que je n'ai pas lu), puis il a fallu relire et corriger l'extension, et ça a saoulé tout le monde. C'est tombé aux oubliettes jusqu'à ce qu'une bonne âme reprenne le truc et ajoute le support pour la notation ABC (c'est elle qui est désuète⁵), du coup on a renommé l'extension en score (comme partition en anglais), et puis l'extension a été relue (je ne sais pas comment) et elle est sortie.

Donc, au début, je ne savais pas qu'il y avait une différence entre les deux (entre LilyPond et ABC, s'entend), j'ai essayé comme j'ai pu, ça n'a pas marché. Puis on m'a conseillé l'éditeur de trucs en LilyPond qui s'appelle Frescobaldi, qui n'est (pour l'avoir essayé) pas pratique du tout : il faut commencer par installer à la main LilyPond (sinon ça marche pas), puis on écrit dans un notepad, et il faut cliquer pour rafraîchir l'aperçu⁶, mais on a un truc qui joue la partition en midi⁷.
Et puis bon, j'ai ça, je fais avec. Je suis un warrior.

Naturellement le fichier bien organisé que ça fait n'est pas lu par l'extension score, du coup j'ai créé cette catégorie passionnante des trucs qui marchent pas même si on vous a dit qu'ils marchent, si on veut que ça marche en vrai, il faut aller à la hache dans le code LilyPond, virer tout un tas de trucs qui ne marchent pas du tout, et puis il reste ce qu'il reste (vous n'aurez pas la grille harmonique qui joue des accords en même temps que la mélodie, vous n'aurez pas d'indication de tempo, pas d'accompagnement, etc.⁸).

Arrivés à ce point, quand on sait ce qu'on sait, qu'on est qui on est et qu'on entend un piano synthétique, on se dit qu'il faut en mettre partout. On a quand même quelques articles (même si on pourrait en avoir tellement plus) sur des vieilles chansons. Donc fier de ma méthode qui marche à moitié pour faire marcher cette extension qui ne marche pas, j'ai continué avec Auprès de ma blonde, puis À la claire fontaine, et Chevaliers de la table ronde⁹.
On doit pouvoir faire les chansons révolutionnaires, genre la Marseillaise (on a déjà le texte de tous les couplets dans plus ou moins toutes les versions officielles, pourquoi pas une version de la musique aussi ? Ou le Chant du Départ (que je préfère nettement à la précédente), dont les paroles ont été écrites par Marie-Joseph Chénier (le frère du poète geignard et décapité), dont Gallica a une version de 1794 (mon regard se tourne irrésistiblement vers wikisource… où la situation est encore pire que sur Wikipédia : en pratique, l'édition des partition est impossible, même si l'extension est installée), etc.

Bref, si ça vous inspire, faites-vous plaisir.

Il y a une doc complète (pour ce que j'ai pu en juger) et en français sur le site de LilyPond, malheureusement dès que j'ai commencé à parler de ça sur twitter, le site est tombé en rade avec un joli message « Site currently down due to high traffic » (je veux bien croire que tout le monde s'intéresse à ce que j'ai à dire, mais je ne savais pas que j'avais l'envergure d'un tombeur de sites internet… la malchance sans doute).
Sinon, il y a un wikibook qui s'appelle Introduction à LilyPond, qui répond à pas mal de questions, sans être aussi exhaustif.

Notes¹⁰

1. Sauf si on l'attache à une chaise jusqu'à 18 heures et qu'on le fait pointer.
2. C'est tombé dans les 3 jours où je me mettais à l'éditeur visuel, donc je me suis amusé à faire ça à l'éditeur visuel, question de mode.
3. Même les développeurs, c'est dire !
4. Ils sont fous, ces tordus.
5. D'après ce qu'on m'a dit. Je ne vais pas faire semblant : il y a deux jours, j'ignorais encore que tout ça existait. Je fais de mon mieux, mais si vous voulez des infos waterproof, allez voir ailleurs.
6. Ça ne vous rappelle rien ?
7. Le son est atroce, mais bon, c'est un peu comme les choses de synthèse vocale.
8. Ça ne doit pas être dans le scope des devs de l'extension, ou un truc du genre.
9. Quand même.
10. Il faut ce qu'il faut.