Dans un post de septembre (@14 Septembre 2018 / Images compositées calibrées), je décrivais la situation des images calibrées astronomiquement et les difficultés liées à leur nom, incompatible avec les contraintes de la base de données Eros, et leur entête FITS.
Dans cette note, je décrirais la procédure envisagée pour leur normalisation et leur intégration au système de stockage et d’indexation de l’expérience.
La situation
Les images calibrées conservées dans le HPSS présentent deux difficultés :
- leur nom n’est pas compatible avec les contraintes imposées par la base de données ErosDb ;
- la clé FITS FILENAME de leur entête ne correspond pas au nom du fichier.
La clé FILENAME
Pour ce que j’ai pu comprendre en étudiant différents cas, l’image calibrée astronomiquement a été produite à partir d’une image composée de type « x ». Durant ce processus, l’entête FITS de l’image composée a été reprise, enrichie de clés décrivant les traitements appliqués. Toutefois, les clés CDELT1 et CDELT2 semblent avoir disparues. Quant à la clé DATE-OBS, elle a été normalisée afin d’être conforme aux recommandations FITS.
Mais la clé FILENAME de l’image calibrée n’a pas été adaptée. Elle fait donc toujours référence à l’image composée initiale.
Le nom du fichier
Le nom attribué au fichier FITS de l’image calibrée est une forme réduite du nom de l’image composée d’origine où ne sont conservés que le code du programme scientifique, du champ, du CCD, du quart dans ce CCD et du filtre.
Ce format, plus simple, est cependant incompatible avec les contraintes mises en place dans la base de données afin de la protéger d’erreurs de manipulation.
Pour faire entrer les images calibrées dans le système de référencement Eros, il faut donc soit gauchir les contraintes de la base de données sur le nom des images, soit adapter les noms des images calibrées aux contraintes de la base de données.
L’idée est donc de repartir du nom de l’image composée d’origine et de modifier le code du traitement de « x » (ou éventuellement « c ») en « w ».
Campagne de migration
La migration des images calibrées est assez semblable aux autres migrations avec la difficulté d’un traitement préalable à leur sauvegarde dans iRods et leur enregistrement dans la base de données.
Lors de cette phase :
- le nom de l’image est déduit du nom de l’image composé initiale en changeant le code du traitement en « w » ;
- le nom du fichier FITS est modifié de manière à correspondre au nouveau nom de l’image ;
- la valeur de la clé FITS est modifiée de manière à refléter le nom réel du fichier FITS ;
- le fichier est sauvé dans iRods, dans un répertoire correspondant aux caractéristiques de l’image (programme, champ, ccd, …) ;
- les paramètres de l’image et du fichier sont enregistrés dans la base de données.
A l’issue de la migration, l’archive TAR issue du HPSS est placée dans un répertoire spécifique iRods. L’archive est conservée inchangée ! Ainsi, en cas d’erreur dans la procédure de migration, il sera possible de revenir aux fichiers d’origine.
Ping : 6 Février 2019 / Images calibrées | Eros Anastasis