Développement d’un moteur de planification dans lenvironnement J2EE weblogic

Matthieu PASCAUD IFI Solution J.S.C P2503, building 24T‐1 Hoang Dao Thuy Hanoi, Vietnam Master Informatque Opton Intelligence Artfcielle et Multmédia ‐ IFI ‐ Vietnam Master Ingénierie Informatque – Université de La Rochelle – France Stage effectué du 15 février 2009 au 15 juillet 2009 Mtre de stage : Monsieur DINH Van Hoan Matthieu Pascaud, ULR‐IFI, IFI Solution Master Informatique option I.A & Multimédia, Février – Juillet 2009 Page Matthieu Pascaud, ULR‐IFI, IFI Solution Table des matières Remerciements Résumé Abstract Introduction Présentation du cadre du stage 5.1.Présentation du Vietnam 5.2.Présentation de l’entreprise 5.3.Contexte de travail 5.3.1 L’équipe 5.3.2 L’environnement de 5.3.3 La langue Présentation du projet 6.1.Cahier des charges 6.2.L’architecture de l’application 6.3.Le déroulement du stage 6.4.Les liens entre la base de données et les fichiers clie 6.5.La base de données 6.6.Les besoins de l’application Master Informatique option I.A & Multimédia, Février – Juillet 2009 Matthieu Pascaud, ULR‐IFI, IFI Solution 6.7.Les solutions pour le projet 6.7.1 Les ordonnanceurs e 6.7.2 L’accès la base de d Le moteur PortailTV 7.1.Les composants du moteur 7.2.Les diagrammes de classes 7.2.1 Connexion 7.2.2 Accès la base de 7.2.3 Le moteur 7.2.4 Les servlets 7.2.5 Les classes de mappi 7.3.La connexion au serveur FTP 7.4.Manipulation des fichiers CSV 7.5.Le fonctionnement du moteur de PortailTV 7.6.Exécution des tâches sur le serveur BEA Weblogic 7.7.Les fichiers de configuration 7.8.Les difficultés rencontrées Master Informatique option I.A & Multimédia, Février – Juillet 2009 Matthieu Pascaud, ULR‐IFI, IFI Solution Conclusion 50 Bibliographie 51 10 Annexes 52 Master Informatique option I.A & Multimédia, Février – Juillet 2009 Page Matthieu Pascaud, ULR‐IFI, IFI Solution Table des figures Figure : compétences au sein d’IFI Solution 13 Figure : les secteurs dans lesquelles IFI Solution travaille 14 Figure : architecture de l’application Portail TV 17 Figure : description des fichiers profile clients 19 Figure : exemple de fichier profile client 19 Figure : description des fichiers « détails clients » 20 Figure : exemple de fichier « détails clients » 20 Figure : description des fichiers « détails consommation » 21 Figure : exemple de fichier « détails consommations » 21 Figure 10 : description des fichiers « prévisions météo » 21 Figure 11 : exemple de fichier « prévision météo » 22 Figure 12 : description de fichier « météo » 22 Figure 13 : exemple de fichier « météo » 22 Figure 14 : Job « Hello World » 30 Figure 15 : architecture hibernate 32 Figure 16 : diagramme de classes de la connexion 39 Figure 17 : diagramme de classe pour l’accès la base de données 40 Figure 18 : diagramme de classes du moteur 41 Figure 19 : diagramme de classes "servlet" 42 Figure 20 : classe SuiviConsoGaz 43 Figure 21 : classes de mapping de la base de données 43 Figure 22 : exemple de fichier CSV 44 Figure 23 : administration pour la planification des tâches 48 Master Informatique option I.A & Multimédia, Février – Juillet 2009 Page Matthieu Pascaud, ULR‐IFI, IFI Solution Remerciements Je tiens tout d’abord remercier Monsieur Dinh Van Hoan, mon responsable de stage au sein de la société IFI Solution Il s’est montré très disponible durant cinq mois J’ai pu, grâce lui, progresser, le questionner lorsque j’avais des difficultés Mes remerciements vont également aux employés d’IFI Solution qui m’ont apporté leur aide semaine après semaine durant toute la durée de mon stage et plus particulièrement Mademoiselle Tran Thi Ngoc Tram et Monsieur Quan Je remercie également Monsieur Alain BOUCHER, Directeur des études de l’IFI et Monsieur Ho Tuong Vinh qui m’ont permis d’effectuer ce stage, sans oublier l’équipe enseignante pour leur aide Enfin, mes remerciements vont Monsieur Rémy Mullot qui je dois de bénéficier de cette expérience au Vietnam Master Informatique option I.A & Multimédia, Février – Juillet 2009 Page Matthieu Pascaud, ULR‐IFI, IFI Solution Résumé Ce mémoire est l’aboutissement de cinq mois de stage au sein de la société IFI Solution Il entre dans le cadre de ma formation en Master, au sein de l’Institut de la Francophonie pour l’Informatique, en partenariat avec l’université de La Rochelle Le projet sur lequel j’ai travaillé provient d’une demande effectuée par Edelia (filiale du groupe EDF) Nommé Portail TV, il a pour but de permettre aux clients EDF de visualiser leur consommation d’énergie (électricité, gaz, eau) via un écran de télévision ou internet Cette application a également pour objectif de diminuer les consommations d’énergie En effet, le client pourra recevoir des alertes en cas de dépassement d’un niveau de consommation fixé On distinguera plusieurs parties dans cette application En effet, il faudra dans un premier temps récupérer toutes les informations concernant les clients, traiter ces données et les insérer dans la base centrale de données L’objectif sera ensuite de permettre au client de visualiser sa consommation, sa prévision et toutes les données le concernant Mots‐clés : Développement, J2EE, Java, Hibernate, JSP, Servlets Master Informatique option I.A & Multimédia, Février – Juillet 2009 Page Matthieu Pascaud, ULR‐IFI, IFI Solution Abstract This memory is the result of five months spent training in the company IFI Solution This course falls within the framework of my Master at the French Speaking Institute for computer sciences in partnership with the University of La Rochelle The project I worked on from a request made by Edelia (a subsidiary of EDF) This project is called TV Portal The aim of this project is to enable customers to view their EDF Energy consumption (electricity, gas, water) via a television screen or internet This application also seeks to reduce energy consumption Indeed, the client can receive alerts in case of exceeding a fixed level of consumption There are several parties in this application Indeed, it must first retrieve all information about customers, and process the data and insert them into the central database It will then allow the customer to view their consumption, forecast and all the data Master Informatique option I.A & Multimédia, Février – Juillet 2009 Page Matthieu Pascaud, ULR‐IFI, IFI Solution Introduction Ce stage de fin d’étude intervient dans le cadre de mon master effectué au sein de l’Institut de la Francophonie pour l’Informatique Hanoi, en partenariat avec l’université de La Rochelle Il s’est déroulé durant cinq mois dans la société IFI Solution basée Hanoi, capitale du Vietnam Le projet réalisé, Portail TV, est une initiative d’Edelia, filiale d’EDF A l’heure actuelle, la consommation d’énergie est un sujet qui revient quotidiennement ; l’objectif de Portail TV est de permettre au client de visualiser sa consommation, ou plutôt de la surveiller En effet, cette démarche aurait pour but de réduire la consommation des utilisateurs Le projet réalisé conjointement avec Thibaud FAURE devait utiliser les données des clients et ensuite leur permettre de visualiser ses données via un écran de télévision ou internet A la demande du client, les contraintes imposées était d’utiliser l’architecture SOA (service‐ oriented architecture) et de le déployer sur un serveur Weblogic 8.1 On distinguera deux parties dans le projet PortailTV : ¾ La partie récupération des données clients, traitement des données, mise jour de la base centrale de données, ¾ La partie client qui va lui permettre de visualiser ses données de consommation Je ne parlerai principalement que de la partie récupération des données, traitements des données, mise jour de la base car la partie client a été réalisée par Thibaud FAURE Une des principales difficultés lors de ce stage était de trouver quelles technologies et quelles solutions utiliser pour finaliser ce projet Je présenterai donc dans un premier temps de quelle manière j’ai abordé le stage et quelles solutions j’ai utilisées Master Informatique option I.A & Multimédia, Février – Juillet 2009 Page 10 Matthieu Pascaud, ULR‐IFI, IFI Solution Bibliographie [1] java‐source.net , « Open Source Job Schedulers in Java » , [2] Dejan Bosanac , « Job Scheduling in Java », < http://oreilly.com/java/archive/quartz.html>, octobre 2004 [3] Thom White, « Scheduling recurring tasks in Java applications », , novembre 2003 [4] Grégory Picavet, « Planification de tâche en JAVA », , juin 2005 [5] Equipe de développez.com, « FAQ hibernate », [6] Minosis, « Débuter avec Hibernate sous Eclipse », [7] Wikipedia, « Servlet », [8] Thibaud FAURE, « Portail TV », Juillet 2009 Master Informatique option I.A & Multimédia, Février – Juillet 2009 Page 51 Matthieu Pascaud, ULR‐IFI, IFI Solution 10 Annexes Annexe Ifi ServletUpdateCons ServletUpdateCons servlet.ServletUpdateCons 3 ServletDlDetails ServletDlDetails servlet.ServletDlDetails 2 ServletDlCons ServletDlCons servlet.ServletDlCons 1 ServletUpdateDetails ServletUpdateDetails servlet.ServletUpdateDetails 4 ServletDlCons /ServletDlCons ServletDlDetails /ServletDlDetails ServletUpdateDetails /ServletUpdateDetails ServletUpdateCons /ServletUpdateCons Master Informatique option I.A & Multimédia, Février – Juillet 2009 Page 52 Matthieu Pascaud, ULR‐IFI, IFI Solution index.html index.htm index.jsp default.html default.htm default.jsp Master Informatique option I.A & Multimédia, Février – Juillet 2009 Page 53 Annexe Purpose The purpose of this document is to describe the location, structure and frequency of t he export of consumption data from the EDRP Central Database With this information Edelia will develop the necessary import process that consumes this data to enable the Internet and Web interv entions It is understood that Edelia have their own database schema and data processing softwa re capable of rendering the exported data in graphical form to the requirements of the project as defined by EDF Energy Overview The basic premise is that PRI provid e data in the correct format and in a timely manner and for the purposes of this document, it is assumed that this will be daily no later than 2pm for th e previous day worth of consumption data In site will process this data and export the consumption data thereafter and make this available by 6pm on the same day The time to process the data is relatively quick, but as data volume s increase it may be required to alter this schedule / Figure - Overview Process Map Schedule The existing schedule is as follows, with ‘Day’ being the consumption data for 24 hours: Day+1 PRI collect data from all installed meters regardless of trial intervention  Day+1, by 2pm PRI upload ½ hourly consumption data to FTP site (for internet/TV)   Day+1, by 4pm Insite upload Edelia data to FTP site1 Day+1, by 6pm Edelia make available data online and on TV FTP Access The basic directory structure is as follows:  Downloads – this is where Edelia should look for consumption data The subdirectories are for Insite use and can be largely ignored and are included here for completeness  Uploads – this is where Edelia can send information files back to Insite An example would be that once Edelia have processed the data files, they could put a file here detailing all the MPAN’s that have been processed Insite could then process this file to provide management reporting to the EDF Energy project team This directory structure is common to all partner FTP sites Access to the FTP must use an ‘active’ connection and not ‘passive’ , i.e you cannot connect to the FTP server using a browser Using FTP client software such as CuteFTP, BulletProof FTP, etc., is recommended The requirement to use FTP client application is required for the staging server When the FTP server is relocated to the production server the need to use an active connection will no longer be a pre-requisite At the time that this document was created, no date has been set for the transfer of the FTP Server Login Details Edelia can access the FTP server using the following URL: URL: ftp://www.edrpcentraldatabase.com Username: Edelia Password: WMhvjUAP be This is subject to change Schedule indicated here is realistic given the current data volumes, but may necessary to adjust as volumes increase Subject to Edelia confirmation and agreement Directory Structure Figure - FTP File Structure Data Files Insite will make available following three files available on a daily basis:  EDRP_Customer_Details-yy yymmdd-hhmmss.csv  EDRP_Customer_Profile-yyyymmdd-hhmmss.csv  EDRP_Consumption_Details-yyyymmdd-hhmmss.csv Where yyyymmdd- hhmmss is the date and time that the data was exported from the EDRP Central Database Figure - Data Files It is envisaged that once the files h ave been processed by Edelia, that these are to be d eleted (by Edelia) Whether this is done or no t, new files will be uploaded daily with their unique date/time filename All files will be comma-delimited with all fields enclosed in double quotes (“”) Empty or blank data is also enclosed in double quotes The first row in each file will be the column header For the purposes of data schema, t he actual EDRP Central Database field types are specified It does not necessarily follow that the field types in the Edelia database match these, but they are included for guidance and completeness EDRP_Customer_Details This file contains all the customer contact details and any asset information This file w ill be updated daily with new and modified custo mer details (incremental) that are participating in the Internet and TV interventions If a customer leav es a trial their ‘Activeflag’ status will be (inactive) otherwise it will be (active) EDRP_Customer_Profile This file contains all the customer p rofile details This is a definitive list of all customers that are participating in the Internet and TV interventions This file will be updated daily with new customer details (incremental) The profile d ata will list (for every customer) the estimated usag e on a daily basis so future trends can be displayed A full year’s worth of profiles will be provided for each customer Post Year+1, then actual data should replace the profile data EDRP_Consumption_Detail s This file will record the incrementa l consumption data (daily totals) for each customer The contents of this file will record the type of fuel, total daily consumption, total daily cost and CO2 footprint Once the recruitment process has finished, i.e all the Internet/TV intervention customers have been recruited, then this file will represent the previous day’s consumption details as provid ed by PRI Data File Relationship and Indexes Overview Figure - File Relationships In the diagram above the primary key is the MPAN number (inferred as the files in question are CSV files and not database tables) The weather files are provided with the first part of the postcode as the key, i.e NE1 can be matched with all customers who postcode starts with NE1, e.g NE1 2XP, NE1 11XP, etc EDRP_Customer_Profile field types Field Name OFGEM_Ref MPAN MPRN ProfileDate elecCustProfile gasCustProfile Sample Data Figure - Sample Profile Data EDRP_Customer_Details field Types Field Name trialName MPAN MPRN elecFRB gasFBR Salutation mailingName addressLine1 addressLine2 addressLine3 addressLine4 postcode telNumber Activeflag LoginID custEmail custDayTelNumber custEveTelNumber custMobileNumber assetNumberIQUnit wallPanelSerialNumber setTopboxNumber SetTopboxMACAddress simCARDNumber psuNumber YearlyForecastElecCost YearlyForecastElecKWH YearlyForecastGasCost YearlyForecastGasKWH Not all address fields are complete, i.e some fields may be empty Latest means - updated by the recruitment process and should be used instead of TelNumber EAC value AAQ value Sample Data Figure - Customer Details Sample Data EDRP_Consumption_Details Field Name MPAN MPRN elecFRB gasFBR readDate TotalDaily dailyCost dailyCO2Cost Lastupdated Sample Data Figure - Consumption Details Sample Data EDRP_Forecast_Weather_Data Field Name PostCode DateTime Day DD MM YYYY WxType_D0 maxWChill_D0 minWChill_D0 aveWChill_D0 WxType_D1 maxWChill_D1 minWChill_D1 aveWChill_D1 Sample Data Figure - Sample Weather Forecast Data EDRP_Actual_Weather Field Name PostCode Day DD MM YYYY Mean Max Min Sample Data Figure - Sampe Actual Weather Data Weather Forecast Data Symbols The ‘WxType_D0’ and ‘WxType_D1’ fields refer to the following list of symbols and the ir associated meanings It is understood that Ede lia will use their own symbols and use their internal mapping tables based on this data, i.e reduc ed number of symbols Code Decode -99 10 11 12 13 14 15 Unknown Clear sky (Night) Sunny (Day) Partly cloudy (Night) Sunny intervals Dust storm Mist Fog (White) Medium-level clou d (Black) Low-level cloud Light rain shower (Night) Light rain shower (Day) Drizzle Light rain Heavy rain shower (Night) Heavy rain shower (Day) Heavy Rain ... réseau et utiliser de la bande passante inutilement, on va planifier les tâches de téléchargement de fichiers et de mise jour de base de données D’où le besoin de moteur de planification Ceci... l’accomplissement de travaux dans des domaines très variés, IFI Solution a su acquérir de l’expérience et de la notoriété Que ce soit dans le domaine médical, de l’aviation, des télé‐services ou des grands... inconvénients de chaque méthode 6.7.1.2 Planification de tâches avec le JDK ( API Timer) La version 1.3, l’API standard de Java propose un système de planification de tâches basique au travers des classes