Auteur : Raphaël Medeiros
Date : décembre 2002
En 1993, un groupe de 40 personnes composé d'océanographes, d'informaticiens et de gestionnaires de données se sont réunis sur le campus de l'Université de Rhode Island (URI) pour convenir d'un système qui :
La première version de DODS a été conçue par Glenn Flierl (MIT) et James Gallagher (URI), qui continue à s'occuper de l'évolution et développement des nouvelles versions de ce logiciel. Depuis, DODS a continué d'évoluer et a fédéré de nouveaux partenaires qui participent activement à l'évolution du logiciel, tels : NCAR, MIT, UNIDATA, UCAR, plusieurs universités, ... (note : depuis 2003, le projet DODS s'appelle OPeNDAP).
DODS peut être vu comme une extension du Web : le langage HTML permet le transfert de textes, sons et images à travers le réseau, DODS permet le transfert de données sur le même réseau (en utilisant aussi le protocole http). Ainsi, à l'aide d'un navigateur ou d'une application, un chercheur français peut depuis sa station de travail accéder à des données stockées sur des sites se trouvant aux Etats-Unis ou ailleurs dans le monde, de façon aussi transparente que s'il accédait aux pages HTML d'un site web.
Les données (fichiers) sont connues par leur URL (Uniform Resource Locator) qui renseigne le site où elles se trouvent et le format avec lequel elles ont été écrites. L'URL peut être utilisé par un navigateur ou par une application.
DODS est composé de deux parties,
La partie serveur est constituée d'un serveur
httpd (par exemple Apache), de scripts perl et de programmes C++ qui
s'exécutent en tant que CGI-bin du serveur httpd.
Une version Java (DODS Java 1.1.1) est disponible depuis juin 2002.
Plusieurs clients sont disponibles : netCDF, HDF, MatLab, Ferret ...
Pour plus d'informations :
What's New with OPeNDAP
À la demande de la communauté climatologie, l'IDRIS a mis en place un serveur DODS, avec comme objectif la mise à la disposition du public d'une partie des données stockées sur le serveur fichiers de l'Institut.
Le serveur de fichiers IDRIS (Gaya) est composé de :
Ces équipements permettent une capacité de stockage en ligne (online + nearline) de plus d'un millier de Toctets (Po). Ils sont utilisés essentiellement pour stocker les données résultant de modèles numériques exécutés sur les serveurs de calcul du centre. Une fraction de cet espace est utilisé pour stocker des données océanographiques; le propriétaire des ces données peut décider d'en mettre une partie à disposition de la communauté océanographique mondiale. À l'IDRIS, cette opération est possible grâce à un développement local sur le serveur de fichiers et à la mise en place d'un serveur DODS.
Les principales particularités de notre serveur
par rapport à d'autres sont les suivantes :
Le serveur httpd et la partie serveur DODS se trouvent sur une machine de type PC sous Linux. Depuis la mise en place de ce serveur la configuration n'a pas nécessité d'évolution matérielle; par contre son logicile système est régulièrement mise à jour. Actuellement (décembre 2002) la configuration matérielle est la suivante :
Le transfert des données entre le serveur de fichiers et le serveur DODS est de type NFS; le trafic entre les deux serveurs est filtré. Depuis le serveur DODS, on ne peut accéder qu'en en lecture, uniquement, aux fichiers stockés sur le serveur de fichiers Gaya.
Nous avons mis à la disposition de nos utilisateurs une commande mfdods, qui permet depuis le serveur fichiers Gaya de rendre un fichier accessible par l'intermédiaire du serveur DODS. Cette commande établit un lien entre un fichier (appartenant à l'utilisateur qui l'exécute) et un espace visible depuis le serveur DODS. Ces opérations sont volontairement impossibles avec des commandes Unix telles cp, ln, etc.
Si l'utilisateur le souhaite, il peut détruire
les liens à l'aide de la même commande mfdods
: il retire du même coup l'accès des fichiers au public.
Régulièrement, une procédure vérifie la cohérence de l'espace DODS et tout particulièrement les accès des fichiers qui s'y trouvent, ainsi que l'existence des données chez l'utilisateur : si les données stockées chez l'utilisateur sont effacées, alors le lien dans l'espace DODS est détruit automatiquement.
Actuellement, nous avons deux serveurs : un serveur public http://dods.idris.fr et un serveur privé, accessible uniquement par certains de nos utilisateurs de la communauté "climat" française. Chaque serveur est constitué d'un serveur httpd et d'un serveur DODS; les deux serveurs tournent sur la même machine (le PC sous Linux). Bien que ce service soit utilisé pour distribuer des données océanographiques, son architecture permet la distribution ou le transfert de tout autre type de fichier. Seule restriction propre a l'IDRIS : les fichiers doivent être stockés sur le serveur fichiers Gaya et accessibles en lecture par tout le monde.