Đố án Tin học ứng dụng Tìm hiểu Talend

Talend là một nhà cung cấp phần mềm mã nguồn mở. Talend cung cấp khả năng tích hợp dữ liệu (data integration), quản lý dữ liệu (data management), tích hợp ứng dụng doanh nghiệp (enterprise application integration), các phần mềm và các dịch vụ dữ liệu lớn (big data). Talend Open Studio là một tập hợp mạnh mẽ và linh hoạt của các sản phẩm mã nguồn mở để phát triển, thử nghiệm, triển khai, quản trị các dự án quản lý dữ liệu và các dự án ứng dụng tích hợp. Talend cung cấp các nền tảng thống nhất làm cho quản lý dữ liệu và tích hợp ứng dụng dễ dàng hơn bằng cách cung cấp một môi trường thống nhất quản lý toàn bộ vòng đời của doanh nghiệp qua các ranh giới hoạt động của doanh nghiệp. Talend - nhà lãnh đạo toàn cầu trong hội nhập mã nguồn mở, cung cấp giải pháp tích hợp mà thực sự mở rộng cho bất kỳ loại thách thức tích hợp, bất kỳ khối lượng dữ liệu và bất kỳ phạm vi dự án dù đơn giản hay phức tạp. Chỉ có số liệu đánh giá cao khả năng mở rộng của Talend, ứng dụng và quy trình kinh doanh nền tảng tích hợp khả năng mở rộng của Talend. Talend kết hợp các dự án và các công nghệ để tăng tốc đáng kể thời gian đưa ra giá trị cho các hoạt động kinh doanh. Sẵn sàng cho môi trường dữ liệu lớn, kiến trúc linh hoạt của Talend dễ dàng thích nghi với các nền tảng công nghệ thông tin trong tương lai. Sản phẩm của Talend giảm đáng kể rào cản áp dụng cho các doanh nghiệp muốn đóng gói các giải pháp mạnh mẽ để thách thức hoạt động như tích hợp dữ liệu (Data Integration), chất lượng dữ liệu (Data Quality), quản lý dữ liệu tổng thể (Master Data Management - MDM), xe buýt phục vụ doanh nghiệp (Enterprise Service Bus - ESB), quản lý qui trình kinh doanh (Business Process Management - BPM) và kho dữ liệu lớn (Big Data). Talend thúc đẩy và mở rộng công nghệ hàng đầu Apache. Mã nguồn mở Talend cho ESB và các giải pháp nguồn mở SOA giúp các tổ chức xây dựng linh hoạt kiến trúc doanh nghiệp hiệu suất cao đó là tích hợp và cho phép các dịch vụ ứng dụng phân tán. Không giống như các nhà cung cấp truyền thống cung cấp các giải pháp đóng cửa và rời rạc, Talend cung cấp một nền tảng mở và linh hoạt, được hỗ trợ bởi một mô hình thuê bao dựa trên giá trị dự đoán và khả năng mở rộng .

Đố án Tin học ứng dụng: Tìm hiểu Talend PHẦN 1: TÌM HIỂU TALEND CHƯƠNG NHÀ CUNG CẤP PHẦN MỀM TALEND 1.1 Giới thiệu Talend 1.1.1 Giới thiệu chung Talend      Talend nhà cung cấp phần mềm mã nguồn mở Talend cung cấp khả tích hợp liệu (data integration), quản lý liệu (data management), tích hợp ứng dụng doanh nghiệp (enterprise application integration), phần mềm dịch vụ liệu lớn (big data) Talend Open Studio tập hợp mạnh mẽ linh hoạt sản phẩm mã nguồn mở để phát triển, thử nghiệm, triển khai, quản trị dự án quản lý liệu dự án ứng dụng tích hợp Talend cung cấp tảng thống làm cho quản lý liệu tích hợp ứng dụng dễ dàng cách cung cấp môi trường thống quản lý toàn vòng đời doanh nghiệp qua ranh giới hoạt động doanh nghiệp Talend - nhà lãnh đạo toàn cầu hội nhập mã nguồn mở, cung cấp giải pháp tích hợp mà thực mở rộng cho loại thách thức tích hợp, khối lượng liệu phạm vi dự án dù đơn giản hay phức tạp Chỉ có số liệu đánh giá cao khả mở rộng Talend, ứng dụng quy trình kinh doanh tảng tích hợp khả mở rộng Talend Talend kết hợp dự án công nghệ để tăng tốc đáng kể thời gian đưa giá trị cho hoạt động kinh doanh Sẵn sàng cho môi trường liệu lớn, kiến trúc linh hoạt Talend dễ dàng thích nghi với tảng công nghệ thông tin tương lai Sản phẩm Talend giảm đáng kể rào cản áp dụng cho doanh nghiệp muốn đóng gói giải pháp mạnh mẽ để thách thức hoạt động tích hợp liệu (Data Integration), chất lượng liệu (Data Quality), quản lý liệu tổng thể (Master Data Management - MDM), xe buýt phục vụ doanh nghiệp (Enterprise Service Bus - ESB), quản lý qui trình kinh doanh (Business Process Management - BPM) kho liệu lớn (Big Data) Talend thúc đẩy mở rộng công nghệ hàng đầu Apache Mã nguồn mở Talend cho ESB giải pháp nguồn mở SOA giúp tổ chức xây dựng linh hoạt kiến trúc doanh nghiệp hiệu suất cao tích hợp cho phép dịch vụ ứng dụng phân tán Không giống nhà cung cấp truyền thống cung cấp giải pháp đóng cửa rời rạc, Talend cung cấp tảng mở linh hoạt, hỗ trợ mô hình thuê bao dựa giá trị dự đoán khả mở rộng 1.1.2 Lịch sử đời Talend Chuyên ngành Tin Học Ứng Dụng Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend  Talend thành lập vào năm 2005 Bertrand Diard Fabrice Bonan phát triển không ngừng đến ngày Hình 1: Lịch sử hình thành phát triển Talend   Talend nhà cung cấp mã nguồn mở thương mại phần mềm tích hợp liệu Các nhà cung cấp khác gia nhập thị trường bao gồm Apatar, Jitterbit, Pentaho, SnapLogic Các nhà cung cấp tích hợp liệu mã nguồn mở không bao gồm phần mềm AG, Ab Initio, SAS Institute, Pervasive Software, IBM, Informatica SAP Hình 2: Một số đối tác Talend Talend có trụ sở đặt thành phố Redwood, California, Talend có văn phòng Bắc Mỹ, châu Âu châu Á mạng lưới quốc tế đối tác kỹ thuật dịch vụ Talend có 400 nhân viên 14 văn phòng quốc gia Chuyên ngành Tin Học Ứng Dụng Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend  Sản phẩm công ty, Talend Open Studio for Data Integration, đưa tháng 10 năm 2006, tên trước nó: Talend Open Studio Vào tháng Giêng năm 2008, tải triệu lần Vào tháng Giêng năm 2012, sản phẩm đạt 20 triệu tải công ty có 3500 khách hàng toàn giới Ngày nay, Talend có 4000 khách hàng Khách hàng bao gồm eBay, Virgin Mobile, Sony Online Entertainment, Deutsche Post Allianz…… Hình 3: Những khách hàng lựa chọn sử dụng Talend  Ngoài ra, Talend có đối tác nhà sản xuất thiết bị (những nhà chế tạo, sửa chữa, đóng gói bán thiết bị phần cứng) đối tác công nghệ Hình 4: Các đối tác nhà sản xuất thiết bị Chuyên ngành Tin Học Ứng Dụng Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend Hình 5: Các đối tác nhà công nghệ Talend 1.1.3 Các sản phẩm Talend Talend có dòng sản phẩm: a Dòng sản phẩm quản lý liệu  Talend Open Studio for Big Data: kết hợp công nghệ liệu lớn vào môi trường mã nguồn mở thống đơn giản hóa việc tải liệu, khai thác, chuyển đổi, xử lý liệu lớn đa dạng  Talend Enterprise Big Data: giải pháp tích hợp liệu lớn mở rộng Talend Open Studio cho liệu lớn với khả làm việc nhóm quản lý  Talend Platform for Big Data: mạnh mẽ, linh hoạt tích hợp liệu lớn giải pháp chất lượng liệu mà đơn giản hoá việc tải, khai thác, xử lý liệu lớn đa dạng để bạn đưa nhiều định kịp thời  Talend Open Studio for Data Integration: ứng dụng mã nguồn mở cho công việc thiết kế tích hợp liệu với môi trường phát triển đồ họa, thiết kế để kết hợp, chuyển đổi cập nhật liệu địa điểm khác toàn doanh nghiệp Nó sản phẩm tích hợp liệu Talend cung cấp tích hợp mạnh mẽ, linh hoạt nên doanh nghiệp ngừng lo lắng sở liệu ứng dụng nói chuyện với thay tối đa hóa giá trị việc sử dụng liệu  Talend Enterprise Data Integration: sản phẩm mở rộng Talend Open Studio for Data Integration với việc bổ sung phân phối, hợp tác phát triển tính khả nắm bắt thay đổi liệu Trong sản phẩm Talend Open Studio thiết kế chủ yếu cho nhà phát triển làm việc máy tính nhất, Enterprise cung cấp kiến trúc phân tán cho phép nhiều nhà phát triển để chia tài nguyên kết hợp nỗ lực vào dự án  Talend Platform for Data Management: Giải pháp quản lý liệu Talend biến nguồn khác nhau, không thống liệu vào nguồn đáng tin cậy thông tin hợp nhất, doanh nghiệp bạn đáp ứng tốt tự tin định hàng ngày Chuyên ngành Tin Học Ứng Dụng Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend  Talend Platform for Data Services: Tạo thành liệu thống toàn diện, ứng dụng giải pháp tích hợp dịch vụ giảm tác động việc thay đổi cấu trúc liệu thực việc quản lý liệu lĩnh vực dễ dàng  Talend Open Studio for MDM: MDM với cách tiếp cận linh hoạt mã nguồn mở để làm chủ dự án liệu Nó cung cấp tảng chức quản lý liệu tổng thể tích hợp, chất lượng làm chủ liệu  Talend Platform for Master Data Management: Giải pháp quản lý liệu tổng thể Talend biến nguồn khác nhau, thông tin không phù hợp toàn doanh nghiệp bạn thành nhất, đáng tin cậy “phiên thật”, gia tăng tự tin định thực bạn  Talend Open Studio for Data Quality: công cụ hồ sơ liệu mã nguồn mở xem xét nội dung, cấu trúc chất lượng liệu có cấu trúc phức tạp Với giải pháp này, tổ chức hiểu cải thiện tính đầy đủ, xác toàn vẹn liệu, bạn phải tự tin thông tin bạn nhận định thực b Dòng sản phẩm tích hợp ứng dụng  Talend ESB Standard Edition: mã nguồn mở Apache dựa nguồn ESB  Talend Open Studio for ESB: xe buýt phục vụ doanh nghiệp lớp kết nối dựa tiêu chuẩn sử dụng để tích hợp thêm hệ thống phân phối chức năng, doanh nghiệp ranh giới địa lý Nó hổ trợ dự án tích hợp mã nguồn mở Apache CXF, Apache Camel Apache ActiveMQ  Talend Enterprise ESB: sản phẩm mở rộng Talend Open Studio for ESB với việc triển khai quản lý chức tiên tiến  Talend Platform for Enterprise Integration: quản lý thống quy trình kinh doanh, tích hợp ứng dụng liệu để doanh nghiệp tăng suất kinh doanh, cung cấp dự án nhanh hơn, chi phí vận hành thấp c Dòng sản phẩm tích hợp ứng dụng dựa điện toán đám mây  Talend Platform for Hybrid Cloud: Talend Cloud tập hợp toàn diện, thống ứng dụng tích hợp công cụ quản lý liệu cho phép kết nối nhanh chóng, điều chỉnh quản lý, ứng dụng dựa đám mây SAAS doanh nghiệp trả kết nhanh 1.2 Bắt đầu với dự án Talend 1.2.1 Cài đặt Talend  Tải phần mềm Talend công việc đơn giản, Talend tải từ website www.talend.com Tại bạn tải phiên bạn cần tải phiên hoàn thiện Talend version 5.5.1, nhiên có dùng thử 5.6.0 Talend chạy hệ điều hành khác như: Windows, OSX, Unix and Linux Chuyên ngành Tin Học Ứng Dụng Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend  Người dùng có hai cách lựa chọn cài đặt Talend: cài đặt vào windows sử dụng phiên nén không cài đặt Chúng ta sử dụng nén dễ dàng nhanh chóng hơn, cần việc giải nén chạy phiên phù hợp với cấu hình máy tính bạn  Hơn nữa, trang web Talend bạn tải phiên phù hợp cho việc phát triển ứng dụng bạn, cho dù bạn sử dụng Talend Open Studio for Big Data Talend Open Studio for Data Integration… tất phát triển bạn diễn môi trường Talend Studio 1.2.2 Xây dựng dự án ban đầu Như hình ảnh bạn nhìn thấy phía dưới, sau khởi động Talend Create, Open, Delete, Import dự án xem Demo Project dự án (điều thích hợp cho bạn học Talend) Nếu bạn muốn thay đổi không gian làm việc dự án, bạn ấn vào button Change lựa chọn không gian làm việc Để áp dụng thay đổi Talend yêu cầu cần phải Restart lại, nhấn Restart để đặt lại nơi lưu trữ dự án bạn Chuyên ngành Tin Học Ứng Dụng Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend Tạo dự án mới: Nhấn nút Create, hộp thoại tạo dự án mở ra, bạn nhập tên dự án vào ô Project Name (phải tên không gian làm việc bạn) Talend tự động sinh tên chuyên môn dựa vào tên dự án mà bạn xây dựng, bỏ qua phần mô tả dự án bạn khung Project description Open dự án: sau tạo dự án, click Open để mở dự án vừa tạo Talend yêu cầu bạn kết nối với TalendFore, nhiên bạn click Skip để bỏ bước Chuyên ngành Tin Học Ứng Dụng Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend Xóa dự án: Ấn vào button Delete để xóa dự án có, hộp thoại mở cho phép lựa chọn xóa đồng thời nhiều dự án Import dự án: Nhấn button Import, hộp thoại Import xuất Chuyên ngành Tin Học Ứng Dụng Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend Talend cung cấp cho bạn hai lựa chọn Import: Import project as Import several projects Import project as: để sử dụng tùy chọn bạn phải nhập tên dự án lựa chọn dự án có sẵn không gian làm việc bạn để Import Import several projects: Tùy chọn giống Select root directory bạn lựa chọn Import đồng thời nhiều dự án Select root directory: Tùy chọn cho phép bạn lựa chọn thư mục làm việc dự án Import Select archive file: Tùy chọn cho phép bạn lựa chọn file Job có sẵn export từ Talend Dưới hình làm việc Talend Chuyên ngành Tin Học Ứng Dụng Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend Màn hình làm việc Talend có menu cửa sổ cho thao tác liệu: Cửa sổ 1: ta thiết kế Job thực thao tác với Database, Hadoop, XML… Cửa sổ 2: cửa sổ biểu thị thao tác trích lọc, cập nhật, tải, chỉnh sửa, liệu… Cửa sở 3: cửa sổ chứa thuộc tính để thực thao tác cửa sổ Cửa sổ 4: cửa sổ dùng để thiết lập thông số theo yêu cầu toán cần thực hiện, chạy kiểm lỗi cho thao tác thực hiện… 1.2.3 Xây dựng Job Sau xây dựng dự án Chúng ta bắt đầu xây dựng Job - đơn vị thực thi mà bạn xây dựng Talend Job Về chất, Talend Job Class Java đơn Job ghi nhớ giá trị điều giúp cho việc hiểu công việc bạn nào, phạm vi thông tin có sẵn cho bạn phát triển thông tin Job bao gồm nhiều Job (SubJobs) Một SubJob thành phần số thành phần kết hợp dòng liệu (dataflow) Một Job có SubJob Tạo Talend Job: Để tạo Talend Job mới, right-click Job Designs khung Talend Repository Browser lựa chọn Create Job từ Context Menu Chuyên ngành Tin Học Ứng Dụng 10 Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend Trước tiên thực kết nối từ Talend tới MSSQL Ở ví dụ thực kết nối QLCB đến Microsoft SQL Server Odbc driver Sau kết nối tạo ra, tiến hành đưa bảng từ Microsoft SQL Server vào Talend Right click lên QLCB chọn Retrieve Schema lựa chọn bảng cần cho khai thác thống kê, báo cáo Chuyên ngành Tin Học Ứng Dụng 73 Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend Sau import bảng vào Talend, vào folder Table Schema để xem bảng vừa import Mỗi nhà quản lý xây dựng DWH có mục đích riêng, ví dụ sau xây dựng để biết trình độ học vị theo môn khoa Như đề cập từ phần lý thuyết trước đó, người dùng Talend cần phải có kiến thức thao tác truy vấn SQL Tạo Job, kéo thả kết nối QLCB vừa tạo vào cửa sổ thiết chọn tDBInput đồng thời từ Palette kéo components vào để thiết kế Job sau: Chuyên ngành Tin Học Ứng Dụng 74 Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend Lựa chọn QLCB(tDBInput), cửa sổ component lựa chọn edit query thiết lập câu truy vấn sau : select hv1.MsNV, NhanVien.HoLot+' ' + NhanVien.Ten as HoTen, hv1.MsHocVi, HocVi.TenHocVi, NamHocVi, BoMon.MsBoMon, BoMon.TenBm from HocViNV hv1, NhanVien, HocVi,BoMon where BoMon.MsBoMon=NhanVien.MsBoMon and HocVi.MsHocVi=hv1.MsHocVi and NhanVien.MsNV=hv1.MsNV and NamHocVi = (select max(namhocvi) from HocViNV hv2 where hv1.msnv=hv2.MsNV) union select HocViNV.MsNV, NhanVien.HoLot+' ' + NhanVien.Ten as HoTen, HocViNV.MsHocVi, HocVi.TenHocVi, NamHocVi,BoMon.MsBoMon,BoMon.TenBm from HocViNV, NhanVien, HocVi, BoMon where BoMon.MsBoMon=NhanVien.MsBoMon and HocVi.MsHocVi=HocViNV.MsHocVi and HocViNV.MsNV=NhanVien.MsNV and NamHocVi is null and HocViNV.MsNV not in ( select MsNV from HocViNV where NamHocVi is not null ) order by MsNV Câu lênh xây dựng với mục đích trích lọc thông tin nhân viên với học vị nhất, thông tin trình học tập Bỡi tất thông tin nhân viên từ khứ lưu trữ bảng, người dùng kiến thức sql dễ sai sót làm thống kê, báo cáo Ở khung cửa sổ đánh dấu thứ dùng để xây dựng câu truy vấn sql, Chuyên ngành Tin Học Ứng Dụng 75 Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend khung cửa sổ đánh dấu thứ hai dùng để kiểm tra kết câu truy vấn theo nhu cầu thống kê báo cáo Tạo Output thiết lập output lấy liệu theo môn hình Mở Toan(tFileOutputDelimited) thiết lập đường dẫn đến vị trí lưu file liệu kết xuất theo yêu cầu Tương tự thiết lập nơi lưu trữ file kết xuất môn khác Run dự án ta thấy danh sách nhân viên môn lưu vào file vừa định nghĩa, mở file BMToan.txt lên xem kết sau 00001;Nguyễn Xuân Tranh;02;Thạc sĩ;1981;KH1;Bm Toán 00002;Nguyễn Quang Hòa;02;Thạc sĩ;1999;KH1;Bm Toán 00003;Hồ Hữu Lộc;02;Thạc sĩ;1996;KH1;Bm Toán 00004;Trần Ngọc Liên;01;Tiến sĩ;2008;KH1;Bm Toán 00005;Lê Phương Quân;02;Thạc sĩ;2003;KH1;Bm Toán 00006;Nguyễn Hữu Khánh;01;Tiến sĩ;2005;KH1;Bm Toán 00007;Võ Văn Tài;01;Tiến sĩ;2010;KH1;Bm Toán Chuyên ngành Tin Học Ứng Dụng 76 Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend 00008;Dương Thị Tuyền;02;Thạc sĩ;2003;KH1;Bm Toán 00009;Lê Thị Kiều Oanh;02;Thạc sĩ;2003;KH1;Bm Toán 01110;Đặng Hoàng Tâm;02;Thạc sĩ;2003;KH1;Bm Toán 01111;Trần Văn Lý;02;Thạc sĩ;2003;KH1;Bm Toán 01518;Lê Thanh Tùng;01;Tiến sĩ;2012;KH1;Bm Toán 01845;Đinh Ngọc Quý;01;Tiến sĩ;2012;KH1;Bm Toán 01846;Lê Thị Mỹ Xuân;02;Thạc sĩ;2007;KH1;Bm Toán 02084;Lâm Hoàng Chương;01;Tiến sĩ;2012;KH1;Bm Toán 02085;Phạm Bích Như;02;Thạc sĩ;2008;KH1;Bm Toán 02171;Lê Hoài Nhân;02;Thạc sĩ;2010;KH1;Bm Toán 02172;Trần Phước Lộc;02;Thạc sĩ;2010;KH1;Bm Toán 2225;Nguyễn Thị Hồng Dân;02;Thạc sĩ;2008;KH1;Bm Toán 2303;Nguyễn Tử Thịnh;02;Thạc sĩ;2009;KH1;Bm Toán 2605;Nguyễn Duy Cường;04;Cử Nhân;2012;KH1;Bm Toán 2606;Dương Thị Bé Ba;04;Cử Nhân;2011;KH1;Bm Toán Mở rộng ví dụ ta muốn đánh giá xem từ nhân viên vào làm viêc khoa khoa học tự nhiên người có phấn đấu nâng cao trình độ chuyên môn hay không? Ta cần chỉnh sửa câu truy vấn đầu vào sau: SELECT dbo.NhanVien.MsNV, dbo.NhanVien.HoLot, dbo.NhanVien.Ten, dbo.HocViNV.MsHocVi, dbo.HocVi.TenHocVi, dbo.HocViNV.NamHocVi, dbo.HocViNV.NoiHoc, dbo.HocViNV.BangCap, dbo.NhanVien.MsBoMon, dbo.BoMon.TenBm FROM dbo.NhanVien INNER JOIN dbo.HocViNV ON dbo.NhanVien.MsNV = dbo.HocViNV.MsNV INNER JOIN dbo.HocVi ON dbo.HocViNV.MsHocVi = dbo.HocVi.MsHocVi INNER JOIN dbo.BoMon ON dbo.NhanVien.MsBoMon = dbo.BoMon.MsBoMon Với điều kiện truy vấn ta thấy nhân viên môn đánh dấu tiến trình độ học vấn xem thay đổi học vị theo thời gian nhân viên Trở lại ví dụ khác mà sử dụng Talend để thống kê số lượng nhân viên theo trình độ học vấn theo môn, từ đánh giá sức mạnh tổ chức môn Thiết kế Job sau: Chuyên ngành Tin Học Ứng Dụng 77 Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend Trong QLCB(tBDInput) lấy thông tin học nhân viên khoa select hv1.MsNV, NhanVien.HoLot+' ' + NhanVien.Ten as HoTen, hv1.MsHocVi, HocVi.TenHocVi, NamHocVi, BoMon.MsBoMon, BoMon.TenBm from HocViNV hv1, NhanVien, HocVi,BoMonwhere BoMon.MsBoMon=NhanVien.MsBoMon and HocVi.MsHocVi=hv1.MsHocVi and NhanVien.MsNV=hv1.MsNV and NamHocVi = (select max(namhocvi) from HocViNV hv2 where hv1.msnv=hv2.MsNV) union select HocViNV.MsNV, NhanVien.HoLot+' ' + NhanVien.Ten as HoTen, HocViNV.MsHocVi, HocVi.TenHocVi, NamHocVi,BoMon.MsBoMon,BoMon.TenBm from HocViNV, NhanVien, HocVi, BoMon where BoMon.MsBoMon=NhanVien.MsBoMon and HocVi.MsHocVi=HocViNV.MsHocVi and HocViNV.MsNV=NhanVien.MsNV and NamHocVi is null and HocViNV.MsNV not in ( select MsNV from HocViNV where NamHocVi is not null) order by MsNV Components (tMap) lấy thông tin môn để đưa output Chuyên ngành Tin Học Ứng Dụng 78 Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend Component (tFilterRow) chứa điều kiện lọc theo học vị sau Component (tAggregateRow) nơi thực điều kiện gom nhóm Lựa chọn tAggregateRow_1 click vào edit schema, thiết lập hình sau, trường đánh dấu Key điều kiện để gom nhóm liệu Chuyên ngành Tin Học Ứng Dụng 79 Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend Chúng ta thêm điều kiện gom nhóm khung Group by, thêm điều kiện đếm khung Operation đặt kết trả trường SoSVTienSi Component (tLogRow) nơi kết xuất kết thực thống kê cho người xem Run Job bạn nhìn thấy kết giống sau: Tương tự thực cho môn học vị khác, thống kê bảng liệu (TK_NV.csv) giống sau TenBM;SoSVTienSi;SoSVThacSi;SoSVKySu;SoSVCuNhan;SoSVCaoDang;SoSVTrungCap ;SoSVNganHan BmHoaHoc;5;15;0;3;0;2;2 BmSinhHoc;4;9;;6;0;0;0 BmTinHoc;2;13;2;3;1;0;0 BmToan;6;14;0;2;0;0;0 BmVatLy;5;9;0;1;0;1;0 ToVanPhong;0;0;1;7;1;0;0 Chuyên ngành Tin Học Ứng Dụng 80 Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend Bây vẽ biểu đồ thống kê cho kết vừa tìm Thiết kế Job sau: Trong đó, TK_SV(tFileInputDelimited) file liệu TK_SV.csv đưa vào để phục vụ cho việc xây dựng biểu đồ Components tMap nơi xây dựng output sau Các components (tFileOutputDelimited) lưu file output vào một file Temp.csv file lưu nối tiếp vào tập tin Chuyên ngành Tin Học Ứng Dụng 81 Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend Component Temp(tFileInputDelimited) lấy kết file kết xuất Temp.csv để xây dựng biểu đồ Chú ý: Cần kiểm tra xem thư mục làm việc có tập tin trùng tên với tập tin kết xuất hay không, liệu kết xuất thêm vào mà không tạo file Vấn đề quan trong xây dựng biểu đồ component tBarChart Mở tBarChart, chọn edit schema thiết kế sau Tại tBarChart đặt tên cho biểu đồ, định dạng kích thước cho biểu đồ quan trọng lựa chọn trường để làm cột x hay cột y biểu đồ Bây Run Job xem kết nào, hi vọng không báo lỗi Chuyên ngành Tin Học Ứng Dụng 82 Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend Nhìn vào kết biểu đồ ta cho nhiều nhận xét lực chuyên môn môn tổ chức khoa Chuyên ngành Tin Học Ứng Dụng 83 Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend Từ điển phần mềm Apatar - mã nguồn mở trích xuất, chuyển đổi tải liệu ETL (Extract - Transform- Load) ứng dụng phần mềm tích hợp liệu Jitterbit - sản phẩm tích hợp doanh nghiệp phần mềm thương mại Jitterbit công cụ đồ họa cho phép vận chuyển chuyển đổi loại liệu nguồn, bao gồm dịch vụ web, tập tin XML, sở liệu ODBC JDBC, file EDI, tập tin có cấu trúc phẳng phân cấp Pentaho - công ty cung cấp Pentaho Business Analytics, mã nguồn mở kinh doanh thông minh (Business Intelligence - BI), sản phẩm cung cấp tích hợp liệu, dịch vụ OLAP, báo cáo, dashboarding, khai thác liệu khả ETL SnapLogic - công ty phần mềm thương mại cung cấp liệu ứng dụng tích hợp công cụ để kết nối với nguồn liệu đám mây, ứng dụng SAAS ứng dụng kinh doanh tiền đề AG - phần mềm giao dịch thị trường chứng khoán Phần mềm AG nhà cung cấp phần mềm sở hạ tầng kinh doanh với sản phẩm công nghệ khác DBMS, đại hóa ứng dụng, SOA, BPMS ESB SOA (Service-oriented architecture) - Kiến trúc hướng dịch vụ phần mềm thiết kế mô hình thiết kế kiến trúc phần mềm dựa mảng riêng biệt phần mềm cung cấp chức ứng dụng dịch vụ cho ứng dụng khác Điều gọi dịch vụ định hướng, độc lập nhà cung cấp, sản phẩm công nghệ BPM (Business process management) hay BPMS - Quản lý quy trình kinh doanh môn học quản lý tập trung vào việc cải thiện hiệu suất công ty cách quản lý tối ưu hóa quy trình kinh doanh công ty Do đó, mô tả “quá trình tối ưu hóa trình” ESB (Enterprise Service Bus) - Một xe buýt phục vụ doanh nghiệp mô hình kiến trúc phần mềm dùng để thiết kế thực giao tiếp hai bên tương tác ứng dụng phần mềm kiến trúc hướng dịch vụ Là mô hình kiến trúc phần mềm cho tính toán phân tán, biến thể đặc biệt mô hình tổng quát máy chủ khách hàng thúc đẩy nhanh nhẹn, linh hoạt liên quan đến thông tin liên lạc ứng dụng EBS sử dụng tích hợp ứng dụng doanh nghiệp (EAI) không đồng phức tạp EAI (Enterprise application integration) - việc sử dụng phần mềm nguyên tắc kiến trúc tích hệ thống máy tính hợp thành ứng dụng máy tính doanh nghiệp Ab Initio - phần mềm Ab Initio tập đoàn doanh nghiệp đa quốc gia Mỹ có trụ sở Lexington, Massachusetts Công ty chuyên số lượng lớn ứng dụng xử lý liệu tích hợp ứng dụng doanh nghiệp Chuyên ngành Tin Học Ứng Dụng 84 Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend SAS Institute - nhà phát triển phần mềm phân tích Nó sở hữu thị phần lớn cho phân tích tiên tiến công ty phần mềm tư nhân lớn giới Pervasive Software - công ty phát triển phần mềm bao gồm hệ thống quản lý sở liệu giải nén, chuyển đổi công cụ tải liệu Pervasive Data Integrator Pervasive Data Profiler sản phẩm tích hợp, hệ thống quản lý sở liệu quan hệ tràn lan psql sản phẩm lưu trữ liệu Những sản phẩm quản lý liệu nhúng cung cấp tích hợp liệu công ty, ứng dụng bên thứ ba phần mềm tùy chọn IBM (International Business Machines Corporation) - công nghệ đa quốc gia Mỹ công ty tư vấn ,sản xuất buôn bán phần cứng phần mềm máy tính, cung cấp sở hạ tầng, lưu trữ dịch vụ tư vấn lĩnh vực khác nhau, từ máy tính lớn đến công nghệ nano Informatica Corporation - công ty phát triển phần mềm, sản phẩm Informatica danh mục đầu tư tập trung vào tích hợp liệu SAP SE (Systems Applications Products Societas Europaea) hay SAP công ty phần mềm đa quốc gia châu Âu làm phần mềm doanh nghiệp để quản lý hoạt động kinh doanh quan hệ khách hàng eBay - công ty thương mại điện tử đa quốc gia Mỹ, cung cấp cho người tiêu dùng dịch vụ bán hàng qua Internet EBay - đấu giá trực tuyến website mua sắm, người dân doanh nghiệp mua bán loạt rộng rãi hàng hóa dịch vụ toàn giới Virgin Mobile thương hiệu truyền thông không dây sử dụng tám thương hiệu cấp phép độc lập toàn giới Sony Online Entertainment (SOE) phận tập đoàn Sony, nhà phát triển trò chơi video nhà xuất trò chơi video Deutsche Post AG hoạt động tên thương mại Deutsche Post DHL công ty chuyển phát nhanh lớn giới Allianz SE công ty tài đa quốc gia dịch vụ Đức có trụ sở Munich Kinh doanh cốt lõi trọng tâm bảo hiểm Tính đến năm 2013, công ty bảo hiểm lớn giới Apache CXF mã nguồn mở, có đầy đủ tính cho dịch vụ Web, có nguồn gốc kết hợp hai dự án mã nguồn mở: Celtix XFire Hai dự án kết hợp người làm việc Apache Software Foundation tên CXF lấy cách kết hợp "Celtix" "XFire" Apache Camel định tuyến công cụ hòa giải dựa nguyên tắc cung cấp đối tượng Java thực mẫu tích hợp doanh nghiệp cách sử dụng thư viện API để cấu hình định tuyến qui tắc hòa giải Apache ActiveMQ nhà môi giới tin nhắn mã nguồn mở viết Java với toàn dịch vụ tin nhắn Java khách hàng Nó cung cấp "tính Chuyên ngành Tin Học Ứng Dụng 85 Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend doanh nghiệp" trường hợp có nghĩa thúc đẩy truyền thông từ nhiều khách hàng máy chủ REST (Representational State Transfer) chọn sử dụng rộng rãi thay cho Web service dựa SOAP WSDL Bằng chứng quan trọng thay đổi việc công ty dẫn đầu lĩnh vực cung cấp dịch vụ mạng 2.0 Yahoo, Google Facebook phản đối giao thức dựa SOAP WSDL ủng hộ phương thức hướng đến tài nguyên dễ sử dụng dịch vụ họ REST định nghĩa quy tắc kiến trúc để bạn thiết kế Web services trọng vào tài nguyên hệ thống, bao gồm trạng thái tài nguyên định dạng chuyển tải qua HTTP thông qua số lượng lớn người dùng viết ngôn ngữ khác SOAP – Simple Object Access Protocol - Một tiêu chuẩn W3C, giao thức sử dụng XML để định nghĩa liệu dạng văn (plain text) thông qua HTTP SOAP cách mà Web Service sử dụng để truyền tải liệu Vì dựa XML nên SOAP giao thức không phụ thuộc platform ngôn ngữ lập trình TÀI LIỆU THAM KHẢO Quá trình tìm hiểu, thực làm báo cáo có tham khảo, sử dụng website sau www.talend.com http://www.talendforge.org/ https://help.talend.com/display/HOME/Welcome http://www.wikipedia.org/ Chuyên ngành Tin Học Ứng Dụng 86 Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend Chuyên ngành Tin Học Ứng Dụng 87 Bộ môn Tin Học Ứng Dụng [...]... Settings được mở ra  Lựa chọn Designer -> Palette Settings Chuyên ngành Tin Học Ứng Dụng 12 Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend  Click chọn Folder Technical (click button show nếu bạn muốn xem chi tiết Folder Technical) Click button  Chọn Ok để thoát khỏi hộp thoại Project Settings Chuyên ngành Tin Học Ứng Dụng 13 Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu. .. Repository Recycle bin, tại thùng rác của Talend ta có thể thực hiện phục hồi lại Job vừa xóa bằng cách Restore hoặc thực hiện các thao tác khác Chuyên ngành Tin Học Ứng Dụng 11 Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend Duplicating, Copying and Pasting một Talend Job: Điều thuận lợi của bất kì môi trường phát triển phần mềm nào là khả năng tái sử dụng code có sẵn, có nghĩa là Job giúp... generic schema from existing metadata  Cutting and pasting schema information Chuyên ngành Tin Học Ứng Dụng 14 Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend  Dropping schemas to empty components Quản lý metadata là một trong những khía cạnh quan trọng nhất của phát triển Talend Jobs, và các hình thức phổ biến nhất của metadata được sử dụng trong Talend Jobs là schemas Để phát triển thành... Ok để áp dụng những thay Talend sẽ hỏi bạn nếu bạn muốn áp dụng nó, bạn chọn button Yes để hoàn thành các thiết lập của bạn Bước 9: Run Job Để chạy công việc của bạn chọn tab Run và nhấn button Run Hy vọng là bạn không có lỗi và kết quả như hình sau: Chuyên ngành Tin Học Ứng Dụng 27 Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend Bây giờ bạn có thể mở file kết quả lên và so sánh với... ngành Tin Học Ứng Dụng 20 Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend  Để droping schema ta chỉ kéo metadata bỏ vào tHashOutput Khi bạn kéo một schema metadata vào một component, component tự động phân chia với các schema mới Chuyên ngành Tin Học Ứng Dụng 21 Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend  CHƯƠNG 3 MAPPING DATA Chương này chủ yếu là thao tác với các... Trong cửa sổ Palette tìm đến 3 components tFileInputDelimited, tMap và tFileOutputDelimited Sau khi tìm được các components, ta lần lượt kéo thả chúng vào cửa sổ thiết kế của bạn, kết quả được như hình dưới đây Chuyên ngành Tin Học Ứng Dụng 22 Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend Tiếp theo, chúng ta sẽ thay đổi nhãn của các components Như các bạn thấy Talend sẽ tự động sinh... file đầu vào Chuyên ngành Tin Học Ứng Dụng 26 Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend Bạn tiến hành cấu hình MapEmployee như hình trên, đặc biệt Talend hổ trợ cho bạn lựa chọn Copy và Paste Bạn sử dụng các nút lệnh để copy hoặc paste một hoặc nhiều schema từ EmployeeInput vào MappedEmployee Khi bạn copied các schema input vào output thành công thì Talend tự động tạo biểu đồ... ngành Tin Học Ứng Dụng 18 Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend  Click Ok để lưu những thay đổi Khi Talend cập nhật Job schema cho một thành phần Output, nó không tuyên truyền thay đổi các thành phần Input Sử dụng tùy chọn ... nguồn đáng tin cậy thông tin hợp nhất, doanh nghiệp bạn đáp ứng tốt tự tin định hàng ngày Chuyên ngành Tin Học Ứng Dụng Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend  Talend. .. thiết bị Chuyên ngành Tin Học Ứng Dụng Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend Hình 5: Các đối tác nhà công nghệ Talend 1.1.3 Các sản phẩm Talend Talend có dòng sản phẩm:... ngành Tin Học Ứng Dụng 11 Bộ môn Tin Học Ứng Dụng Đố án Tin học ứng dụng: Tìm hiểu Talend Duplicating, Copying and Pasting Talend Job: Điều thuận lợi môi trường phát triển phần mềm khả tái sử dụng