Disponibilité des données Macho au CCIN2P3

Objectif : recopier au Centre de calcul les données de l’expérience Macho afin de pouvoir les associer aux données Eros.

Participants : Marc Moniez (Marc), Tristan Blaineau (Tristan), Jean-Noël Albert (Jna)

Le volume des données est le suivant :

  • courbes de lumière sous une forme comprimée : 700 Go
  • images : 7 To

Deux espaces sont disponibles au CC : SPS et iRods.

Les courbes de lumière peuvent être sauvées dans le SPS, puis dupliquées dans iRods. L’avantage d’iRods est qu’il accessible depuis l’extérieur du CC, alors que SPS n’est disponible qu’aux utilisateurs et batchs connectés au Centre.

Les images doivent être sauvées dans iRods.

Ces données ont déjà une organisation en répertoires et sous-répertoires qu’il conviendra de conserver.

Tristan dispose déjà des courbes de lumière. Il peut donc les recopier à Lyon dans son espace de travail SPS d’où elles seront déplacées vers une zone plus « officielle ».

Les images ne sont disponibles que sur un serveur situé en Australie. Il conviendra donc de transférer ces fichiers. L’accès direct à iRods étant soumis à quelques contraintes, les images seront transférées par Tristan du serveur australien vers un espace temporaire au LAL puis transférées du LAL vers iRods [Jna]. Idéalement l’opération devrait se faire en une fois, si le LAL peut dégager les quelques To nécessaires le temps du transfert (au maximum un mois).

Jna regardera la structure des images Macho afin de les indexer dans la base de données et les intégrer aux outils de sélection et de transfert déjà disponibles pour les données Eros.

Marc formalisera la tenue de réunion mensuelle afin de suivre les progrès du projet.

Ce contenu a été publié dans Macho. Vous pouvez le mettre en favoris avec ce permalien.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *