Module d'import unitaire GTFS stops avec suppression + outils associés

[thbar]

Dans cette PR, j'ajoute un module qui importe uniquement les arrêts GTFS d'un ResourceHistory donné via un DataImport (en s'appuyant sur le code réalisé par @fchabouis précédemment dans import_gtfs_from_resource_history), puis qui efface tous les DataImport précédents en lien avec la resource (ou parce qu'elles sont le même resource_history_id, ou parce qu'elles sont en lien avec d'autres resource_history_id de la même resource).

Cela va permettre dans la PR suivante d'avoir N imports qui ne conservent que la dernière version.

J'ai fait évoluer le code de import_gtfs_from_resource_history pour pouvoir Mox'er l'import, sans quoi Unzip tentait une connection AWS. Ceci m'a permis de mettre le tout sous tests efficacement.

J'ai modifié DataImport pour avoir un cascading delete (dès lors qu'on en supprime un, effacer toutes les tables GTFS associées, de façon à ne pas polluer la base).

Par ailleurs j'ai ajouté un script (que je vais utiliser pour la suite) qui permet de télécharger les données de production GTFS dans un bucket local. ⚠️ pas la peine de le tester en réel, je compte l'ajuster dans la prochaine PR et il ne marche peut-être plus parfaitement.

Choses que je conserve pour la prochaine PR

En faisant des tests de volume sur S3 j'ai repéré par mal d'erreurs. Toutefois je ne souhaite garder cette PR suffisamment petite pour la relecture, et je garde donc ces todos pour la suite:

• Gérer N fichiers (la totalité) en essayant de faire un rapport (macro job ?)
• Tester un minimum avec quelques fichiers du Bucket de production que j'ai pu ramener (sans chercher à gérer le volume complet)
• Comprendre pourquoi j'ai autant de 404
• Comprendre l'erreur fréquente à l'import "1st argument: not a textual representation of an integer"

[thbar]

Mes commentaires sont ajoutés

[thbar]

@etalab/transport-tech j'ai pris en compte vos inputs (merci !), je redemande la review du coup.