Intégration d’un moteur de workflow sur un environnement de grille

L’Institut de la Francophonie pour l’Informatique Laboratoire de Physique Corpusculaire de Clermont-Ferrand Master de l’IFI Intégration d’un Moteur De Workflow sur un Environnement de Grille Mémoire sur le stage de fin d'études présenté par TRAN Tuan Tu Stage effectué au Laboratoire de Physique Corpusculaire de Clermont-Ferrand Directeur: M Vincent BRETON - Directeur de Recherche, CNRS Hanoi, Octobre 2008 Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille Remerciements Je tiens d’abord remercier Monsieur le Directeur de Recherche Dr Vincent BRETON qui m’a dirigé mon mémoire de fin d’études Sans son initiative, ce stage n'aurait pas été achevé Je tiens lui exprimer toute ma reconnaissance pour son dévouement, la confiance qu'il m'a accordée, sa rigueur et la qualité des commentaires et des suggestions sur mes travaux Je tiens également remercier Jean SALZEMANN, Vincent BLOCH, Ana Lucia DA COSTA, Géraldine FÉTTAHI et Matthieu REICHSTADT pour m’avoir aidé, m’avoir donné des conseils, des encouragements importants ainsi que pour leur gentillesse Je remercie infiniment Dr Johan MONTAGNAT, chercheur au laboratoire I3S (polytech'Nice Sophia Antipolis) pour ses conseils précieux, son soutien tout au long de mon stage de fin d’études Ce travail n’aurait pu être accompli sans son aide Je voudrais exprimer un amical merci l'ensemble des membres de l'équipe PCSV et des amis au laboratoire I3S qui m’ont consacré du temps tout du long de mon stage Clermont-Ferrand et de mon travail Nice Mes gratitudes s’adressent aussi aux professeurs l’Institut de la Francophonie pour l'Informatique (IFI) pour m’avoir transmis de bonnes connaissances concernant le savoir et le savoir-faire qui sont utiles pour mon mémoire Finalement, j’exprime ma entière reconnaissance ma famille, mes confrères, mes amis pour leurs soutiens, aides, encouragements et conseils sincères Hanoi, le 24 Octobre 2008 TRAN Tuan Tu TRAN Tuan Tu, IFI-P12 Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille Résumé L'équipe Plate-forme de Calcul pour les Sciences du Vivant (PCSV) développe et déploie depuis ans des applications biomédicales dans des environnements de grille Au sein de la plate-forme bioinformatique de l'équipe, ces applications sont implémentées comme des services dont les tâches correspondantes sont exécutées sur la grille Il est nécessaire d'intégrer un gestionnaire de workflow la plateforme de l'équipe pour permettre la création d'interconnexions entre ses différents services et d'en permettre une exécution et un enchaînement automatique Les objectifs de ce stage sont : (i) l'amélioration du moteur de workflow nommé MOTEUR pour qu'il puisse travailler avec les services de l'équipe; (ii) La création des workflows pour soumettre et pour exécuter les tâches; (iii) Le développement d'un service bioinformatique spécifique pour la soumission des tâches de l'application de recherche de nouveaux médicaments Mots-clés : grille, PCSV, bioinformatique, MOTEUR, workflow, moteur de workflow Abstract For the past years, the Computing Platform Group for the Life Sciences (PCSV) has been developing and deploying biomedical applications on grid envronment In the computing platform of the group, these applications function as services whose correspoding tasks are executed in the grid To perfom and link such services automatically and sequentially, an integration of a workflow management into this platform is needed This thesis is, therefore, dedicated on : (i) Improving MOTEUR, a workflow engine, so that it can work with the services of the group (ii) Creating the workflows to submit and to perform the tasks (III) Developing a bioinformatic service for submitting the tasks corresponding the application of drug discovery Keywords : grid, PCSV, bioinformatic, MOTEUR, workflow, workflow engine TRAN Tuan Tu, IFI-P12 Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille Sommaire Remerciements Résumé Sommaire Liste des figures Liste des tables Avant-propos Chapitre-1 Introduction 1.1 La bioinformatique sur grille 1.2 Plateforme Bioinformatique de l'équipe PCSV 10 1.2.1 La couche des Services Bioinformatiques 10 1.2.2 La couche de gestion 12 1.2.2.1 Task Manager 12 1.2.2.2 Information System 13 1.2.3 L'Environnement de Production WISDOM 14 1.2.4 Les opérations de la plateforme 15 1.3 Interconnexion des services 16 Chapitre-2 Gestion de workflow sur la plateforme 18 2.1 Objectifs 18 2.2 Sculf - un langage de spécification de workflow 21 2.3 Le moteur de workflow MOTEUR 22 2.3.1 Introduction 22 2.3.2 Fichier de workflow 23 2.3.3 Fichier de données 25 2.3.4 La capacité de parallélisme des services et de parallélisme des données 25 2.3.5 MOTEUR et la grille 26 2.4 Le workflow de Découverte de Médicament d'équipe 27 Chapitre-3 Implémentation d’un gestionnaire de workflow sur la plateforme 30 3.1 Objectif 30 3.2 Problèmes 33 3.2.1 Lecture du fichier de description des services bioinformatiques 33 3.2.2 Le problème avec la plateforme actuelle 34 3.3 Amélioration de MOTEUR pour traiter les web services “doc/lit wrapped” 35 3.3.1 L'Amélioration de MOTEUR 35 TRAN Tuan Tu, IFI-P12 Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille 3.3.2 Examiner la possibilité d'utiliser les formats des fichiers de workflow et des fichiers de données avec la nouvelle version de MOTEUR 35 3.3.2.1 Les formats des fichiers de workflow 35 3.3.2.2 Le format des fichiers de données 37 3.4 Développement de docking_wf, le service bioinformatique pour les étapes du workflow de Découverte de Nouveaux Médicaments 38 3.4.1 L’Opération submitDocking 38 3.4.2 L'opération isFinished 40 3.4.3 L'opération thresholder 41 3.5 Mise en oeuvre du workflow TaskSubmision 42 3.5.1 Le processeur submitDocking 42 3.5.2 Le processeur isFinished 42 3.5.3 Le processeur thresholder 42 3.5.4 Le problème d'interconnexion des processeurs 43 3.6 Le workflow AgentSubmission 44 3.6.1 Conception de workflow 44 3.6.2 Le fichier de workflow 46 3.6.3 Le fichier de données 48 3.6.4 Les scripts utilisés par le workflow 48 3.6.4.1 Le script correspond l'opération de chaque agent : jobAgent_wf.sh 49 3.6.4.2 Le script corespond la simulation 51 3.6.4.3 Le script utilisé comme le fichier d'exécuter dans le fichier de description du grid-job 52 Chapitre-4 Expériences et Résultats 54 4.1 Tester l'amélioration de MOTEUR 54 4.2 Évaluation le service docking_wf 54 4.3 Évaluation deux workflows TaskSubmision et AgentSubmision 56 Chapitre-5 Conclusion et Perspectives 58 5.1 Conclusion 58 5.2 Perspectives 58 Références 59 Annexe Les étapes du script docking_wf.sh 61 Annexe Les résultats de tester deux workflow : TaskSubmision et AgentSubmision 65 TRAN Tuan Tu, IFI-P12 Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille Liste des figures Figure 1-1 La plateforme d'équipe PCSV 11 Figure 2-1: La souplesse de créer les workflow en interconnectant des services 19 Figure 2-2 : L'utilisation de moteur de workflow avec la flatforme 20 Figure 2-3 L'opérateur "dot" et l'opérateur "cross" 22 Figure 2-4 : Le workflow de faire la somme entre chiffres 24 Figure 2-5 : Les ports du service GASW 26 Figure 2-6 : L'idée principale de docking moleculaire 28 Figure 2-7: Le ligand lie avec le protéine 28 Figure 3-1:L’opération du workflow Découverte de Médicament 31 Figure 3-2 : Les étapes du workflow de soumission des agents 31 Figure 3-3 Le workflow de soumission des agents fait le rôle d’environnement de production de flatforme 32 Figure 3-4 :Le schéma des résultats d’Autodock dans l'Information System 38 Figure 3-5 : Le workflow de soumission des tâches spécifié pour le Découverte de Médicament 43 Figure 3-6 : De la conception de workflow AgentSubmission la mise en oeuvre en utilisant le processeur de MOTEUR 44 Figure (Annexe) : Observer l’interface de MOTEUR, le TaskManager et la table Simulation de Information System pour vérifier le workflow submitTest_wf ( 1) 65 Figure (Annexe) : Observer l’interface de MOTEUR, le TaskManager et la table Simulation de Information System pour vérifier le workflow submitTest_wf (2) 66 Figure (Annexe) : Observer l'interface de MOTEUR pour vérifier les états des agents 67 Figure (Annexe) : Observer le Task Manager pour vérifier les éxecutions des tâches des agents 68 Figure (Annexe) : Observer la table “hits” d’Information System pour vérifier l’execution des agents 69 Figure (Annexe) : Observer l’interface de MOTEUR pour vérifier l’opération du workflow isFinishedTest_wf 70 Figure (Annexe) : Observer l’interface de MOTEUR pour vérifier la liste des simulations d’entrées 71 Figure (Annexe) : Observer l’interface de MOTEUR et l’attribut « mean_energy » de la table «hits» pour vérifier le workflow threholderTest_wf ( 1) 72 Figure (Annexe) : Observer l’interface de MOTEUR et l’attribut « mean_energy » de la table «hits» pour vérifier le workflow threholderTest_wf ( 2) 73 TRAN Tuan Tu, IFI-P12 Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille Liste des tables Table : Les correspondances entre les agents de platefome et les grid-job 14 Table : Comparaison de la description d'un message entre le type emballé et le type non-emballé 33 Table : Les entrées de l'opérations submitDocking 39 Table : Les entrées de l'opérations thresholder 41 Table : Les entrées du processeur AgentSubmission de workflow 45 Table : Les changements par rapport la version actulle du script correspondant la simulation d’Autodock 52 Table : :La liste des workflow de test du workflow TaskSubmission 55 Table : Les étapes des tests des deux workflows 57 TRAN Tuan Tu, IFI-P12 Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille Avant-propos L'équipe Plate-forme de Calculs pour les Sciences du Vivant (PCSV) développe et déploie depuis ans des applications biomédicales dans des environnements de grille L'équipe a montré l'impact des grilles pour la recherche de nouveau médicament in-silico mais les différentes étapes du criblage virtuel – docking et dynamique moléculaire – sont traitées pour l'instant de façon indépendante et découplée La grille est aussi utilisée pour traiter des données de biologie moléculaire, mais le problème du temps de réponse de la grille pour les tâches courtes demeure un facteur limitant son impact aux sciences du vivant Dans le cadre de plusieurs projets nationaux (ANR GWENDIA) et européens (Embrace, EGEE-II), l'équipe PCSV s'intéresse améliorer la gestion des applications bioinformatiques sur la grille de calcul grâce la mise en place de traitements en pipeline ou par le développement d'approches nouvelles de gestion des tâches Dans le cadre de mon stage, j'ai étudié le déploiement d'une application bioinformatique avec des services de grille développés dans le cadre du projet GWENDIA et Embrace J'ai aussi étudié le moteur de workflow MOTEUR auquel j'ai apporté des améliorations pour intégrer des services web développées dans l'équipe PCSV Ce mémoire se compose de chapitres: Introduction On présente dans ce chapitre la bioinformatique sur grille On présente ensuite la plateforme de l'équipe PCSV et le problème de l'interconnexion des services de l'équipe Gestion de workflow sur la plateforme On décrit les besoins d'une gestion de workflow sur la plaforme Ensuite, on étudie le langage de spécification de workflow Sculf et le moteur de workflow TRAN Tuan Tu, IFI-P12 Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille MOTEUR A la fin de ce chapitre, on survole sur le docking moleculaire et le workflow de Découverte de Médicament d'équipe Implémentation d’un gestionaire de workflow sur la plateforme Dans ce chapitre, tout d'abord, on présente l'objectif d'implémentation du moteur de workflow sur la plateforme et les problématiques Après, on présente profondément l'amélioration de la version actuelle de MOTEUR, le déploiement de service pour la découverte de médicaments A la fin, ce sont la mise en œuvre d’un workflow de soumission des tâches spécifié pour la découverte de médicaments et le workflow de soumission des agents qui joue le rôle d'environnement de production de plateforme Expériences et Résultats On illustre les expériences et présente les résultats 5.Conclusion et Perspectives On fait la conclusion et propose des idées faire dans l'avenir TRAN Tuan Tu, IFI-P12 Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille Chapitre-1 Introduction 1.1 La bioinformatique sur grille La bioinformatique est un champ de recherche multidisciplinaire où travaillent de concert biologistes, informaticiens, mathématiciens et physiciens, dans le but de résoudre un problème scientifique posé par la biologie Le terme bio-informatique peut également décrire toutes les applications informatiques résultant de ces recherches Cette discipline constitue la « biologie in-silico » , par analogie avec « in-vitro » (dans le verre) ou « in-vivo » (au sein du vivant) La bioinformatique a pour but de produire de nouvelles connaissances sur le fonctionnement des cellules des organismes vivants, leur évolution, leur état sain ou pathologique Pour faire cela, elle s'est tout d'abord limitée la “génomique”, qui étudie la structure, le fonctionnement et l'évolution des génomes Mais il est apparu que la représentation de la cellule donnée par la génomique est statique, et ne permet pas de rendre compte de son évolution au cours du temps Ainsi est née la “post-génomique”, qui cherche savoir quand et dans quelles conditions les gènes vont enclencher la fabrication de protéines, et comment les protéines fabriquées interviennent dans le fonctionnement de la cellule La consultation et l'enrichissement permanent des bases de données sont au centre du travail des chercheurs En résulte un phénomène de multiplication des informations, de plus en plus nombreuses mais aussi de plus en plus variées Il serait mal venu de s'en plaindre! Cependant, il devient primordial de veiller ce que la gestion même de ces informations ne soit plus l'étape limitante de cette considérable – et, de ce fait, partiellement exploitée – masse de connaissances potentielles La bioinformatique hérite donc deux tâches lourdes : [2] • Élever la vitesse de traitement en utilisant des infrastructures de calcul puissantes ou en concevant de nouveaux algorithmes • Faire en sorte que les nouvelles données soient structurées et facilement accessibles TRAN Tuan Tu, IFI-P12 Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille Références [1] IN2P3, CNRS, “Grille de calcul : l'internet du calcul intensif”, http://www.in2p3.fr/presentation/thematiques/grille/grille.htm [2] Interstices, Découvrir la Recherche en Informatique, “Entre biologie, informatique et mathématiques : la bioinformatique”, 03/2004, http://interstices.info/jcms/c_6607/entre-biologie-informatique-et-mathematiquesla-bioinformatique [3] El-Ghazali Talbi, Albert Y Zomaya, “Grid Computing for Bioinformatics and Computational Biology”, 2008, John Wiley & Sons, Inc, ISBN 978-0-47178409-8 [4] The EMBRACE project, “Partner Details, Vincent Breton”, http://www.embracegrid.org/page.php?page=person&pid=37 [5] Portal d'EGEE (Enabling Grids for E-sciencE), http://www.eu-egee.org/ [6] LPC Clermont-Ferrand, © 2006, “WISDOM - Initiative for grid-enabled drug discovery against neglected and emergent diseases”, http://wisdom.eu-egee.fr/ [7] ARDA project, “Amga – Overview”, 2008, http://amga.web.cern.ch/amga/ [8] Danielle Venton, “WISDOM unplugged: malaria drug-leads graduate to the wet lab”, 05/2008 iSGTW – Internal Science Grid This Week, http://www.isgtw.org/?pid=1000993 [9] GWENDIA WikiSite, http://gwendia.polytech.unice.fr/doku.php [10] Tristan Glatard, “Description, deployment and optimization of medical image analysis workflows on production grids”, mémoire de thèse au niveau Docteur en Science, novembre 2007 Université de Nice Sophia-Antipolis TRAN Tuan Tu, IFI-P12 59 Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille [11] Site web de MOTEUR, http://www.i3s.unice.fr/~johan/ [12] Wikipedia, 09/2008, “Docking Molecular,” http://en.wikipedia.org/wiki/Docking_(molecular) [13] Site web d'Autodock, http://autodock.scripps.edu/ [14] Russell Butek, “Which style of WSDL should I use?”, 10/2003, http://www.ibm.com/developerworks/webservices/library/ws-whichwsdl/ TRAN Tuan Tu, IFI-P12 60 Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille Annexe Les étapes du script docking_wf.sh Assigner les valeur aux variables et l'argument d'environnement Notez qu’au début de ce script, il y a une commande qui décompresse l'archive autodock.tar.bz2 C'est une archive qui compose tous les application de la simulation autodock Elle est stockée dans l'archive docking_wf.tar.gz qui est copié précédement par le script jobAgent_wf.sh SE=$2 VO=$3 tar -jxf autodock.tar.bz2 export AUTODOCK_UTI= export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:./libstdc++-libc6.1-2.so.3 ulimit -s unlimited Obtenir les informations correspondantes : z fichier des paramètres z ligand z cible (la protéine) de l'Information System et les télécharger au répertoire actuel # get the parameters files from the database project_id=`./getAttr_query.py /moteur/testMoteurDD/results/autodock/simulation/entry_$i project_id` tmp=`./selectAttr_query.py "/moteur/testMoteurDD/results/autodock/project:project_id = $project_id" /moteur/testMoteurDD/results/autodock/project:program_options` software=`echo $tmp | tr '|' ' ' | awk '{print $1}' | tr '/' ' ' | awk '{print $NF}'` echo software = $software # download the parameters file from the lfn lcg-cp vo $VO lfn:${software} file:`pwd`/dpf3gen.awk # get the information about the ligand and target ligand_id=`./getAttr_query.py TRAN Tuan Tu, IFI-P12 61 Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille /moteur/testMoteurDD/results/autodock/simulation/entry_$i ligand_id` echo ligand_id = $ligand_id ligandSearchResults=`./getAttr_query.py /moteur/testMoteurDD/results/autodock/ligands/entry_${ligand_id} name pdbq_file` ligand=`echo $ligandSearchResults | awk '{print $1}'` ligandName=`basename $ligand pdbq` target_id=`./getAttr_query.py /moteur/testMoteurDD/results/autodock/simulation/entry_$i target_id` targetSearchResults=`./getAttr_query.py /moteur/testMoteurDD/results/autodock/target/entry_${target_id} name pdbqs` target=`echo $targetSearchResults | awk '{print $1}'` echo target = $target echo ligand = $ligand # download the target if [ ! -e ${target}.tar.gz ] then lcg-cp vo $VO lfn:DDMoteur/targets/${target}.tar.gz file:`pwd`/${target}.tar.gz tar -zxf ${target}.tar.gz fi # download the ligand from the lfn if [ ! -e ${ligand} ] then lcg-cp vo $VO lfn:DDMoteur/ligands/${ligand}.pdbq file:`pwd`/${ligand}.pdbq fi Faire le docking et vérifier le résultat # start the computation $AUTODOCK_UTI/mkdpf3 ${ligand}.pdbq ${target}.pdbqs $AUTODOCK_UTI/autodock3 -p ${ligandName}.${target}.dpf -l ${ligand}_${target}_$i.dlg if grep "autodock3: Successful Completion" ${ligand}_${target}_$i.dlg then echo "-successful autodock run of ${ligand} with ${target}: valid dlg found" else echo ERROR:failed docking ${i} with ${target} >> ${1}.status TRAN Tuan Tu, IFI-P12 62 Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille echo "-unsuccessful autodock run with ${i} either dlg was not found, either autodock did not run" exit fi Créer le nouveau ligand et le stocker dans l'élément de storage, mettre jour l'Information System # create the new ligand and store it on the lfn /get_best_docking.sh ${ligand}_${target}_$i.dlg lcg-del vo $VO -a lfn:DDMoteur/ligands/${ligand}_${target}_$i.pdbq lcg-cr -v vo $VO -d $SE -l lfn:DDMoteur/ligands/${ligand}_${target}_$i.pdbq file:`pwd`/${ligand}_${target}_$i.pdbq /ligand_insert.py ${ligand}_${target}_$i.pdbq DDMoteur/ligands/${ligand}_${target}_$i.pdbq /moteur/testMoteurDD/results/autodock/simulation/entry_$i 3.5 Compresser et stocker le fichier dlg dans l'élément de storage et mettre jour l'Information System #zip and store dlg file gzip `pwd`/${ligand}_${target}_$i.dlg dlg_file=DDMoteur/dlgs/${ligand}_${target}_$i.dlg.gz echo dlg_file = ${dlg_file} lcg-del vo $VO -a lfn:${dlg_file} lcg-cr -v vo $VO -d $SE -l lfn:${dlg_file} file:`pwd`/${ligand}_${target}_$i.dlg.gz /setAttr_query.py /moteur/testMoteurDD/results/autodock/simulation/entry_$i dlg_file ${dlg_file} Décompresser le fichier dlg et extraire les informations pour mettre jour les tables “hits” et “file” dans l'Information System TRAN Tuan Tu, IFI-P12 63 Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille gunzip `pwd`/${ligand}_${target}_$i.dlg.gz hitid=0 numrun=50 for (( run=1; run< $numrun; run++ )) /get-run ${ligand}_${target}_$i.dlg $run > output if [ $? = ] then rank=`grep Rank output | cut -d "=" -f 2` echo rank $rank >> bkp if [ $rank = ] then energy_level=`grep Docked output | cut -d "=" -f | awk '{print $1}'` mean_energy=`./PickLowestofCL.py ${ligand}_${target}_$i.dlg | grep "\_1 " | awk '{print $5}'` echo meanenergy $mean_energy >> bkp cluster_count=`grep cluster output | cut -d "=" -f 2` /get-coordinates ${ligand}_${target}_$i > coordinates /hits_insert.py $hitid $i $rank $energy_level $run $mean_energy $cluster_count coordinates Éffacer le fichier de paramètres et les résultats actuels pour préparer la nouvelle simulation # remove some files rm ${ligandName}* rm dpf3gen.awk if [ `grep "success" ${1}.status | wc -l` -gt ] then exit else exit fi TRAN Tuan Tu, IFI-P12 64 Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille Annexe Les résultats de tester deux workflow : TaskSubmision et AgentSubmision Soumettre des simulations avec le workflow submitTest_wf Figure (Annexe) : Observer l’interface de MOTEUR, le TaskManager et la table Simulation de Information System pour vérifier le workflow submitTest_wf ( 1) TRAN Tuan Tu, IFI-P12 65 Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille Figure (Annexe) : Observer l’interface de MOTEUR, le TaskManager et la table Simulation de Information System pour vérifier le workflow submitTest_wf (2) TRAN Tuan Tu, IFI-P12 66 Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille Lancer des agents avec le workflow AgentSubmission Figure (Annexe) : Observer l'interface de MOTEUR pour vérifier les états des agents TRAN Tuan Tu, IFI-P12 67 Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille Figure (Annexe) : Observer le Task Manager pour vérifier les éxecutions des tâches des agents TRAN Tuan Tu, IFI-P12 68 Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille Figure (Annexe) : Observer la table “hits” d’Information System pour vérifier l’execution des agents TRAN Tuan Tu, IFI-P12 69 Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille Lancer le workflow isFinishedTest_wf Figure (Annexe) : Observer l’interface de MOTEUR pour vérifier l’opération du workflow isFinishedTest_wf TRAN Tuan Tu, IFI-P12 70 Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille Lancer le workflow thresholderTest_wf Figure (Annexe) : Observer l’interface de MOTEUR pour vérifier la liste des simulations d’entrées TRAN Tuan Tu, IFI-P12 71 Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille Figure (Annexe) : Observer l’interface de MOTEUR et l’attribut « mean_energy » de la table «hits» pour vérifier le workflow threholderTest_wf ( 1) TRAN Tuan Tu, IFI-P12 72 Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille Figure (Annexe) : Observer l’interface de MOTEUR et l’attribut « mean_energy » de la table «hits» pour vérifier le workflow threholderTest_wf ( 2) TRAN Tuan Tu, IFI-P12 73 [...]... de fin d’étude Intégration d un moteur de workflow sur un environnement de grille Figure 2-2 : L'utilisation de moteur de workflow avec la flatforme TRAN Tuan Tu, IFI-P12 20 Mémoire de fin d’étude Intégration d un moteur de workflow sur un environnement de grille 2.2 Sculf - un langage de spécification de workflow Scufl (Simple Conceptual Unified Flow Language) est un langage orienté flux de données...Mémoire de fin d’étude Intégration d un moteur de workflow sur un environnement de grille Tous les deux besoins peuvent être atteints grâce à l'utilisation de la grille Ce sont des “hyper-ordinateurs” (des grilles de calcul) et des “bases de données distribuées et gigantesques” (des grilles de données) Une grille est un dispositif logiciel qui offre aux utilisateurs des puissances quasi illimitées de calcul... d un workflow de découverte de médicament pour le projet GWENDIA TRAN Tuan Tu, IFI-P12 30 Mémoire de fin d’étude Intégration d un moteur de workflow sur un environnement de grille Figure 3-1:L’opération du workflow Découverte de Médicament Le workflow de soumission des agents : AgentSubmission Le but général de ce workflow est de mettre en oeuvre un environnement de production Ce workflow a deux fonctions... le temps d'éxecution des applications De plus, MOTEUR utilise un service web générique d'encapsulation pour faciliter la réutilisation de codes développés sans prise en compte des spécificités des grilles de calcul TRAN Tuan Tu, IFI-P12 22 Mémoire de fin d’étude Intégration d un moteur de workflow sur un environnement de grille 2.3.2 Fichier de workflow Pour mettre en oeuvre un workflow, on doit spécifier... Simplicité : Le worflow exécuté sur la grille est très proche du workflow utilisateur TRAN Tuan Tu, IFI-P12 18 Mémoire de fin d’étude Intégration d un moteur de workflow sur un environnement de grille Figure 2-1: La souplesse de créer les workflow en interconnectant des services Une autre raison de l’implémentation d 'un gestionnaire de workflow sur la plateforme est la participation de l'équipe PCSV au projet... soumettre des agents et les gérer Figure 3-2 : Les étapes du workflow de soumission des agents Les deux workflows sont lancés et gérés par MOTEUR On peut utiliser le workflow de TaskSubmision avec soit l 'Environnement de Production WISDOM soit le workflow AgentSubmission Dans le cadre de ce TRAN Tuan Tu, IFI-P12 31 Mémoire de fin d’étude Intégration d un moteur de workflow sur un environnement de grille. .. automatique TRAN Tuan Tu, IFI-P12 17 Mémoire de fin d’étude Chapitre-2 Intégration d un moteur de workflow sur un environnement de grille Gestion de workflow sur la plateforme 2.1 Objectifs Actuellement, il manque une gestion de workflow sur la plateforme Pour executer des workflows qui comprenent plusieurs étapes successives à réaliser, il y a deux manières de procéder : • Utiliser les services bioinformatiques... Parallélisme des données : MOTEUR peut traiter simultanément les éléments de donnée des ports d un processeur Quand cette capacité de MOTEUR est activée, MOTEUR va créer plusieurs instances de processeur pour qu’il puisse traiter les données simultanément TRAN Tuan Tu, IFI-P12 25 Mémoire de fin d’étude Intégration d un moteur de workflow sur un environnement de grille 2.3.5 MOTEUR et la grille Pour... la couche des Services Bioinformatiques et la couche de Gestion pour créer une nouvelle plateforme pour le projet GWENDIA Figure 3-3 Le workflow de soumission des agents fait le rôle d environnement de production de flatforme TRAN Tuan Tu, IFI-P12 32 Mémoire de fin d’étude Intégration d un moteur de workflow sur un environnement de grille 3.2 Problèmes 3.2.1 Lecture du fichier de description des services... description C'est aussi un port de service: Figure 2-5 : Les ports du service GASW TRAN Tuan Tu, IFI-P12 26 Mémoire de fin d’étude Intégration d un moteur de workflow sur un environnement de grille Ci-dessous, c’est un exemple d un fichier de description concernant un job qui exécute le script CreateTask.sh :