03-2015-07-06-evqueue-pres-rmll

EvQueue Ordonnanceur Job Scheduler RMLL 2015, juillet Planificateur Moteur de Queueing Présentation d'EvQueue - Nicolas JEAN 1/18 L'UFC-Que Choisir ● Association loi 1901 ● Protection des consommateurs – Information, tests de produits et services – Soutien juridique des consommateurs – Veille et lobbying dans l'intérêt des consommateurs ● 130 salariés (à Paris) ● 000 bénévoles dans 150 associations locales ● Des magazines, un site Internet RMLL 2015, juillet Présentation d'EvQueue - Nicolas JEAN 2/18 EvQueue, la genèse ● Besoin : communication informatique avec un tiers (prestataire de service) – ● ● nécessité de faire de la reprise sur erreur, du suivi Étude de l'existant : logiciels trop complexes, non-libres, trop peu modulaires Publication sous licence libre : mars 2015 – pas d'intérêt économique – accord de la direction – mais un an de latence ! RMLL 2015, juillet Présentation d'EvQueue - Nicolas JEAN 3/18 Concepts ● ● La tâche : une brique logicielle indépendante – ligne de commande – prend des paramètres d'entrée (env, argv, stdin) – renvoie ou génère un résultat – exécutée en local ou sur une machine distante Le workflow : un enchnement de tâches – dans un ordre déterminé – avec passage d'information de l'une l'autre – dans un but plus global RMLL 2015, juillet Présentation d'EvQueue - Nicolas JEAN 4/18 Un workflow de traitement d'images ls convert -resize 1024x1024 zip * mail RMLL 2015, juillet Présentation d'EvQueue - Nicolas JEAN 5/18 Control the flow ls Loop : boucle sur un ensemble de résultats convert -resize 1024x1024 Queue (file d'attente) Concurrence : tâches simultanées max ! RMLL 2015, juillet Présentation d'EvQueue - Nicolas JEAN 6/18 Encore plus de contrôle Retry : reprise sur erreur FTP get cat wc -l Condition : au moins une ligne dans le fichier mail RMLL 2015, juillet Présentation d'EvQueue - Nicolas JEAN 7/18 EvQueue, moteur et interface evqueue-core evqueue-front-end Ordonnance, planifie, exécute Interface web de gestion qui donne accès l'ensemble des fonctionnalités (c++, daemon, événementiel) Appels sur interface réseau RMLL 2015, juillet Présentation d'EvQueue - Nicolas JEAN 8/18 Use case : Site web et traitement lourd ● ● ● Problématique : – notre visiteur navigue sur le site – une action demande un traitement long (30s - 1min d'exécution) Le but du jeu : – laisser l'internaute sa navigation – le prévenir quand le traitement est terminé Exemple : génération d'un fichier PDF – une page par adhérent de mon association – publipostage classique RMLL 2015, juillet Présentation d'EvQueue - Nicolas JEAN 9/18 Use case : Site web et traitement lourd f _pd riber e t a sc er gen s = sub ais v statu = beau town RMLL 2015, juillet evqueue-core js C'est prêt ? non generate_odt js C'est prêt ? non odt → pdf js C'est prêt ? oui Présentation d'EvQueue - Nicolas JEAN 10/18 Use case : Gestion d'erreur ● ● Causes possibles de tâches en erreur – la ressource n'est pas encore présente (fichier sur ftp) – le service que je contacte est cassé (prestataire HS) – l'action entreprise n'est pas autorisée (cas non prévu) Dans tous les cas : – on réessaye plus tard => retry schedule – on a une vue d'ensemble dans l'interface de monitoring RMLL 2015, juillet Présentation d'EvQueue - Nicolas JEAN 11/18 Use case : Retry schedule On attache un retry schedule une tâche RMLL 2015, juillet Présentation d'EvQueue - Nicolas JEAN 12/18 Use case : Erreurs et monitoring RMLL 2015, juillet Présentation d'EvQueue - Nicolas JEAN 13/18 Interface web - GUI RMLL 2015, juillet Présentation d'EvQueue - Nicolas JEAN 14/18 Interface web du futur - GUI RMLL 2015, juillet Présentation d'EvQueue - Nicolas JEAN 15/18 Interface web - fonctionnalités ● Gestion des utilisateurs et droits d'accès ● Planification de tâches ou workflows ● Notification en fin de workflow sur erreur ou succès – ● par mail, extensible par plugins Import / export de workflows (v1.4) – simple fichier zip – contenant le workflow et ses tâches RMLL 2015, juillet Présentation d'EvQueue - Nicolas JEAN 16/18 Conclusion ● C'est libre, c'est là, c'est utilisable ● C'est fonctionnel : millions de workflows Que Choisir ● Simple installer – paquets debian et repo disponibles – ● et simple utiliser ! Il nous manque juste un logo :) – mais si vous voulez tester, on est preneurs de retours ! RMLL 2015, juillet Présentation d'EvQueue - Nicolas JEAN 17/18 Merci ! http://www.evqueue.net dev@evqueue.net https://github.com/coldsource/evqueue-core https://github.com/coldsource/evqueue-frontend-php Sources graphiques : https://openclipart.org RMLL 2015, juillet Présentation d'EvQueue - Nicolas JEAN 18/18