5 Décembre 2018 / Heure des prises de vue

En analysant la base de données, je me suis aperçu que les enregistrements décrivant les images FITS indiquaient la date, mais pas de l’heure de la prise de vue.

En regardant les entêtes FITS des premières images, j’ai trouvé pas moins de 8 clés correspondant à des dates et des heures:

DATE-OBS= '20/08/96  '
TM-START= '06:17:59  '
TM-END  = '06:21:04  '
TU-START= '10:17:59  '
TU-END  = '10:21:04  '
TS-START= '03:31:12  '
TS-END  = '03:34:17  '
DATE    = '20/08/96  '

Les dates ne sont évidemment pas au standard Y2K, sorti en 1997. Les dernières images semblent avoir des clés DATE et DATE-OBS normalisées, et un mot-clé supplémentaire:

DATE-OBS= '27/02/2003'
TM-START= '01:59:42  '
TM-END  = '02:03:05  '
DATE-EXP= '2003-02-27T04:59:42'
TU-START= '04:59:42  '
TU-END  = '05:03:05  '
TS-START= '10:43:15  '
TS-END  = '10:46:39  '
DATE    = '2003-02-27L02:04:28'

A part les clés DATE et DATE-OBS, je n’ai pas trouvé trace des autres clés dans les différents dictionnaires FITS que j’ai pu consulter. Je peux imaginer que «TU» fait référence à un temps « universel ». «TM» pourrait représenter le temps calendaire local. Quid de «TS» ?

Par ailleurs, DATE utilise un indicateur d’heure « L », qui pourrait signifier « local », mais dont je n’ai trouvé trace nul part. Et pourquoi y a-t-il un décalage entre cette heure et la clé TM-END… ? Quant à DATE-EXP, elle semble indiquer la date de début de la prise de vue en TU…

D’où la question, quelle heure conviendrait-il de conserver dans la base de données?

Question subsidiaire : existe-t-il un document décrivant les clés utilisées par Eros?

Publié dans Non classé | Laisser un commentaire

5 Décembre 2018 / Stars Finder

StarsFinder est un utilitaire permettant de trouver les étoiles détectées par l’expérience Eros connaissant l’ascension droite et la déclinaison (ou ra/dec) de la zone de recherche et la largeur de cette zone.

Dans la précédente version, une vigoureuse optimisation permettait de trouver facilement les étoiles lorsque la zone était de petite taille. Mais lorsque la zone dépassait la dimension d’un quart de CCD, le programme ne conservait que les étoiles des quatre coins…

La correction est désormais effectuée, mais elle suppose de passer à ErosDb 6.6.0 (voir le post à ce sujet).

Continuer la lecture

Publié dans Non classé | Laisser un commentaire

3 Décembre 2018 / ErosDb Web

Le site web d’ErosDb a été rajeuni. L’ancienne version est conservée, momentanément du moins, dans un sous-répertoire.

La nouvelle version du site regroupe différentes informations sur l’environnement ErosDb, sur l’expérience Eros, les distributions stables de l’environnement et des notes pour la configuration des logiciels utilisés.

Références:

Publié dans Non classé | Laisser un commentaire

3 Décembre 2018 / ErosDb 6.6 & Jargon NIO

Sous ce titre étrange, Jargon NIO, se cache en réalité une évolution importante de l’environnement ErosDb II: celui-ci devient portable grâce à la librairie Jargon, librairie Java donnant accès au serveur iRods. Le mot « NIO » dans le titre fait référence à la librairie Java d’entrées-sorties, librairie définissant une convention pour l’intégration de systèmes de fichiers extérieurs. L’intégration de la librairie Jargon à l’environnement NIO donne donc une version unifiée des fichiers iRods et des fichiers locaux, ce qui constitue une simplification importante pour le développement d’applications.

ErosDb 6.6.0 utilise cette possibilité et devient donc de ce fait utilisable sur toute plateforme supportant Java 8.

Le prix à payer réside dans la difficulté à diffuser les mots de passe d’accès à iRods et à la base de données.

Un mécanisme d’encodage des mots de passe et fichiers de configuration est donc mis en place. Ce mécanisme présente évidemment des faiblesses mais s’appuie essentiellement sur la coopération des utilisateurs.

Les kits de distribution sont disponibles à l’onglet Distribution du site web ErosDb (http://eros.lal.in2p3.fr/ErosDB/) et les procédures d’installation et de configuration à l’onglet Configuration.

Publié dans Non classé | Laisser un commentaire

2 Octobre 2018 / Un point sur les migrations

En comparant la liste des suivis et des références référencés dans la base de données pour la production P5 et les fichiers effectivement présents dans iRods, il apparait une différence de:

  • 43 références manquantes
  • 3 092 suivis manquants

Malheureusement, lors de la production P5, la mise à jour de la base de données a été incomplète, et il est difficile de savoir ce qui s’est réellement passé alors.

Toutefois, il existe assez d’information pour tenter quelques hypothèses.

Les références

Sur les 43 références absentes de iRods, 42 n’ont aucune information d’état ni de nombres d’étoiles associées dans la base de données. Normalement, la base de données devrait contenir le nombre d’étoiles détectées et la référence devrait être dans l’état « A », pour ‘associée’, signifiant l’association des étoiles des images bleues et rouges. C’est bien le cas pour les références présentes dans iRods.

Le fait qu’il n’y ait aucune information laisse penser que la production de ces références a échoué…

Par ailleurs, la base de données ne conserve aucune trace de fichier correspondant à ces références. Normalement, la base de données devrait conserver la trace des fichiers qui étaient présents dans l’ancien système HPSS, avait la grande réorganisation. C’est logique pour les 42 références non associées : les fichiers n’ont probablement pas été créés ou sauvés.

La dernière référence manquante n’était donc pas présente dans le système HPSS. Il est donc logique qu’elle ne soit pas dans iRods. Quant à savoir ce qu’il est advenu…?

Les suivis

Sur les 3 092 suivis manquants, 2 899 concernent des programmes mineurs (cp, dg, eg, um, xm), qui n’ont pas été migrés vers iRods – donc de ce point de vue, tout est « normal » (ou en tout cas logique).

Sur les 193 autres suivis, 173 n’ont pas de fichiers correspondant dans l’ancien HPSS enregistrés dans la base de données. On peut donc penser que leur production a échoué.

Les 20 fichiers restants correspondent aux deux couleurs de deux quarts de CCD : cg 624 4k et lm 051 7k, 6 blocs pour le quart CG, 4 pour le quart LMC.

Le point préoccupant est que les archives contenant ces fichiers existent dans HPSS mais qu’elles n’ont pas été correctement recopiées vers iRods.

Ces archives viennent d’être transférées vers iRods et leur migration reprend…

Publié dans Non classé | Laisser un commentaire

1 Octobre 2018 / Courbes de lumière SMC (fin)

Les courbes de lumière SMC sont enfin disponible. Il ne reste plus d’archives de courbes de lumière à migrer et il y a autant de fichiers « time » que de d’étoiles référencées dans les catalogues ASCII.

 

Publié dans Non classé | Laisser un commentaire

21 Septembre 2018 / Courbes de lumière SMC

Nos lecteurs nous écrivent

Dans un post du 14 Septembre, vous signaliez « Toutes les archives [des courbes de lumière (ndr)] ont été migrées… » mais clairement il manque les courbes de lumière du programme SMC.

Force est de constater : il n’y a que 449 508 courbes de lumière SMC dans iRods sur les quelques 4 millions attendus.

Par ailleurs, détail croustillant, deux lignes plus hauts, on lit : « Il reste donc : (…)  9 fichiers sm002 .. sm010 – à explorer ».

Surtout que le 18 Juillet, un précédent post précisé le problème et annonçait, optimiste, qu’il était facile à régler…

Difficile d’être plus incohérent – l’enthousiasme d’une belle rentrée de vacances peut-être… ?

En tout cas, voici clairement un point à traiter en priorité…

Heureusement qu’il y avait un point d’interrogation dans le titre du 14 Septembre « (et fin ?) ». On n’est jamais trop prudent.

Publié dans Non classé | Laisser un commentaire

14 Septembre 2018 / Images compositées calibrées

Les images compositées sont des images produites à partir d’autres images afin d’améliorer la détection des étoiles.

Plusieurs techniques ont été utilisées dans Eros. Le traitement appliqué pour la création de l’image est représenté dans le nom de l’image produite par une lettre : principalement « c » – technique initialement utilisée ; ou « x » – correspondant à un traitement différentiel (si j’ai bien tout suivi…).

Puis les images « x » – ou en tout cas certaines d’entre elles – ont été retraitées afin de les calibrer astrométriquement. Différents traitements géométriques ont été appliqués.

Le problème est que les images corrigées ont reçu le même nom que les images d’origine. D’où une inévitable confusion pour savoir qui est qui. Et l’impossibilité d’entrer ces images dans la base de données ErosDB qui rejette les doublons de nom.

La proposition est donc de changer le code des images calibrées astrométriquement et de leur affecter un nouveau code – par exemple « w », afin de rappeler le traitement réalisé grâce au logiciel IMWCS.

Cela suppose de modifier le nom des fichiers, de modifier la clé FILENAME de leur entête Fits et d’ajouter une clé HISTORY pour indiquer les modifications réalisées.

Pour mémoire, les différents codes de traitement connus (de la base de données) :

  • b : 5047 références – les images brutes prises par les caméras du Marly, non réduites
  • c : 14027 références – les images compositées premières générations
  • f : 640 références – aucune idée …
  • r : 1974701 références – les images réduites capturées par le télescope Marly
  • x : 20505 références – les images compositées par traitement différentiel
Publié dans Non classé | Laisser un commentaire

14 Septembre 2018 / Migrations des courbes de lumière (et fin?)

Dans un post du 18 Juillet, je déclarais – optimiste – qu’il ne restait plus qu’une poignée de semaines pour finir la migration des courbes de lumière. C’était sans compter avec les soubresauts du CC et les interruptions liées au climat.

C’est passé et les courbes de lumières ASCII Eros 2 sont disponibles.

Il reste cependant différentes archives issues du HPSS qui n’ont pas été traitées. Ces fichiers portent des noms non reconnus des programmes de migration. Il faut donc analyser individuellement chacune de ces archives afin de pouvoir les traiter.

Il faut aussi définir la suite des opérations, et les priorités…

Continuer la lecture

Publié dans Non classé | Laisser un commentaire

18 Juillet 2018 / Migrations des courbes de lumière (suite)

Les migrations se poursuivent donc.

3 cas distincts. Les « petits » programmes, Bs, Gn, Gs et Tm, d’une dizaine de champs ou moins, sont migrés.

Les « gros » programmes, Cg et Lmc, sont en cours. 70 champs pour chaque programme sont encore à transférer. A raison de 6 migrations par jour et par programme, les opérations devraient être terminées dans 10 à 12 jours.

Reste le cas SMC. Le souci est qu’il existe une incohérence entre l’archive des catalogues, cat_fields.tar, utilisée pour préparer les migrations, et l’une des archives SMC. Pour être plus précis, les courbes de lumière, et le catalogue correspondant, de l’un des quarts de CCD, sm0020m, ne semblent pas avoir été créés avec les autres. L’index de l’archive sm002.tar montrent une différence de deux mois entre l’archive des courbes de lumière de sm0020m et les autres sm002. Manque de chance, la correction n’a été réalisée qu’une semaine après la construction de l’archive des catalogues…

En pratique, ce n’est pas un souci, juste une complication. Il va falloir enregistrer le catalogue manquant avant de relancer les opérations SMC. Fort heureusement, il n’y a que 9 champs SMC. Le rattrapage devrait donc se faire assez vite.

Publié dans Non classé | Laisser un commentaire