Ứng dụng điện toán đám mây xây dựng kho dữ liệu phục vụ đào tạo tại trường Trung cấp Kinh tế Quảng Bình

LỜI CAM ĐOAN Tôi xin cam đoan: 1 Những nội dung trong luận văn này là do tôi thực hiện dưới sự hướng dẫn trực tiếp của PGS. TS. Phan Huy Khánh. 2 Mọi tham khảo dùng trong luận văn đều được trích dẫn rõ ràng tên tác giả, tên công trình, thời gian, địa điểm công bố. 3 Mọi sao chép không hợp lệ, vi phạm quy chế đào tạo, hay gian trá, tôi xin chịu hoàn toàn trách nhiệm. Tác giả Võ Phi Thanh MỤC LỤC DANH MỤC CÁC TỪ VIẾT TẮT TIẾNG ANH IV DANH MỤC CÁC HÌNH V DANH MỤC CÁC BẢNG VI MỞ ĐẦU 1 1. Lý do chọn đề tài 1 2. Mục tiêu và nhiệm vụ 2 3. Đối tượng và phạm vi nghiên cứu 3 4. Phương pháp nghiên cứu 3 5. Ý nghĩa khoa học và thực tiễn của đề tài 3 6. Bố cục của luận văn 3 CHƯƠNG 1 TÌM HIỂU KHO DỮ LIỆU VÀ ĐIỆN TOÁN ĐÁM MÂY 5 1.1. KHO DỮ LIỆU 5    !"# $%&'()*+(", 1.2. ĐIỆN TOÁN ĐÁM MÂY 16 *#  !*- ./0*, $1(234* 5(678(69578:# #;<=>?@*, AB&C( * CHƯƠNG 2 PHÂN TÍCH VÀ THIẾT KẾ HỆ THỐNG 34 2.1. GIỚI THIỆU 34 .DE$ 5C@ F &G(H (2IJ(K0A 2.2. PHÂN TÍCH THỰC TRẠNG CÔNG TÁC ĐÀO TẠO TẠI TRƯỜNG TRUNG CẤP KINH TẾ QUẢNG BÌNH 38 .DE- LE)*+(&'( 0"$M N2OJP$M $( ($ 2.3. PHÂN TÍCH NHU CẦU XÂY DỰNG KHO DỮ LIỆU 41 2.4. ĐỀ XUẤT GIẢI PHÁP ỨNG DỤNG ĐIỆN TOÁN ĐÁM MÂY 42 $./J>(4($ $5JQR4(*$ 43 2.5. PHÂN TÍCH VÀ THIẾT KẾ HỆ THỐNG 45 %STU@QR4(9VQ6@Q6:$ .WX@/(Y CHƯƠNG 3 XÂY DỰNG ỨNG DỤNG 58 3.1. CHỌN MÔI TRƯỜNG, CÔNG CỤ CÀI ĐẶT HỆ THỐNG 58 B*+(1'QD Z.*[I;- [R4(/(4\ 0]@@^][%- 5(678(69578:, 3.2. THIẾT KẾ KHO DỮ LIỆU 59 H"", H"T# 3.3. XÂY DỰNG VÀ TRIỂN KHO DỮ LIỆU TRÊN GOOGLE APP ENGINE 66 _("P"J?@5(678(69578:## 18Q65(6%(8Q6`#, H% a6#, $H "@>(4(" Z578A 3.4. ĐÁNH GIÁ KẾT QUẢ THỰC NGHIỆM 77 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 79 TÀI LIỆU THAM KHẢO 80 PHỤ LỤC 82 DANH MỤC CÁC TỪ VIẾT TẮT TIẾNG VIỆT CSDL Cơ sở dữ liệu CBGV Cán bộ giáo viên CNTT Công nghệ thông tin CT Chương trình DS Danh sách ĐTĐM Điện toán đám mây HP Học phần HSSV Học sinh sinh viên HT Hệ thống KQ Kết quả QL Quản lý SXKD Sản xuất kinh doanh TCCN Trung cấp chuyên nghiệp TCKTQB Trung cấp kinh tế Quảng Bình DANH MỤC CÁC TỪ VIẾT TẮT TIẾNG ANH API Application Programming Interface DW Data Warehouse ETL Extract Transform Load HTTP Hypertext Transfer Protocol IaaS Infrastructure as a Service IP Internet Protocol IT Information Technology LAN Local Area Network OS Operating system PaaS Platform as a Service PC Personal computer PDA Personal digital assistant SaaS Software as a Service SLA Service Level Agreement SMTP Simple Mail Transfer Protocol SOA Service oriented architecture SOAP Simple Object Access Protocol URL Uniform Resource Location XML eXtensible Markup Language DANH MỤC CÁC HÌNH Số hiệu hình Tên hình Trang 1.1 Mô hình kiến trúc kho dữ liệu 7 1.2 Dòng dữ liệu trong kho 8 1.3 Mô hình hình sao 9 1.4 Mô hình bông tuyết 10 1.5 Mô hình lược đồ nhiều chiều 11 1.6 Quá trình tạo lập dữ liệu của kho dữ liệu 15 1.7 Sáu mô hình máy tính 16 1.8 Kiến trúc ĐTĐM 18 1.9 Mô hình dịch vụ ĐTĐM 20 1.10 Mô hình triển khai ĐTĐM 22 1.11 Top 10 lĩnh vực công nghệ chiến lược năm 2010 và sự phát triển trong những năm gần đây 32 2.1 Mô hình giải pháp ĐTĐM 43 2.2 Quá trình tích hợp dữ liệu 44 2.3 Biểu đồ ca sử dụng người quản lý đào tạo 46 2.4 Biểu đồ ca sử dụng học sinh 47 2.5 Biểu đồ ca sử dụng giáo viên 47 2.6 Biểu đồ ca sử dụng người quản trị hệ thống 48 2.7 Biểu đồ ca sử dụng người dùng hệ thống 48 3.1 Sơ đồ kho dữ liệu đào tạo 59 3.2 Lược đồ quan hệ CSDL điểm học sinh 60 3.3 Đăng ký tài khoản GAE bước 1 65 3.4 Đăng ký tài khoản GAE bước 2 66 3.5 Đăng ký tài khoản GAE bước 3 66 3.6 Đăng ký tài khoản GAE bước 4 67 3.7 Giao diện ứng dụng GAE 68 3.8 Cấu trúc thư mục Project 69 3.9 Giao diện đăng nhập hệ thống 71 3.10 Giao diện chương trình quản lý đào tạo 71 3.11 Giao diện chương trình quản lý giáo viên 72 3.12 Giao diện chương trình quản lý học tập 73 3.13 Giao diện chương trình quản lý học phần 74 3.14 Giao diện chương trình quản ly thư viện 75 3.15 Giao diện chương trình quản lý phòng học 76 DANH MỤC CÁC BẢNG Số hiệu bảng Tên bảng Trang 2.1 Số doanh nghiệp đang hoạt động SXKD 3 năm gần đây 35 2.2 Số trường học, GV, HS các cơ sở ĐT TCCN tỉnh Quảng Bình trong 3 năm gần đây 36 2.3 Chất lượng đội ngũ giáo viên của trường 3 năm gần đây 37 2.4 Thống kê kinh phí của trường trong 3 năm gần đây 38 2.5 Số học sinh đăng ký dự thi vào trường, trúng tuyển và nhập học. 39 2.6 Kết quả học tập của học sinh trong 3 năm gần đây 39 2.7 Dạng mã hóa hệ thống tổ chức 53 2.8 Bảng mã hóa đơn vị trực thuộc 53 2.9 Dạng mã hóa CBGV 54 2.10 Bảng mã hóa CBGV 54 2.11 Dạng mã hóa ngành nghề đào tạo 54 2.12 Bảng mã hóa ngành nghề đào tạo 55 2.13 Dạng mã hóa học phần 55 2.14 Bảng mã hóa học phần 55 2.15 Dạng mã hóa lớp học 55 2.16 Bảng mã hóa lớp học 56 2.17 Dạng mã hóa HSSV 56 2.18 Bảng mã hóa HSSV 56 MỞ ĐẦU 1. Lý do chọn đề tài Ngày nay, sự bùng nổ thông tin, truyền thông đã có những bước phát triển vượt bậc. Sự phát triển công nghệ của các thiết bị tính toán: Siêu máy tính, máy chủ, máy tính cá nhân, các thiết bị di động thông minh, được kết nối và sự bùng nổ ứng dụng Web. Với sự phát triển nhanh chóng của công nghệ thông tin đòi hỏi sự đầu tư trang thiết bị cơ sở hạ tầng CNTT ngày càng lớn, chi phí sử dụng các phần mềm, quản lý hệ thống cũng tăng. Trong khi nhu cầu lưu trữ, xử lý thông tin nhanh chóng, chính xác nên các doanh nghiệp, các tổ chức tăng cường ứng dụng CNTT. Do áp lực cạnh tranh, mong muốn ứng dụng CNTT hiệu quả nhưng lại giảm chi phí luôn đặt ra. Trong thời gian gần đây, chủ đề ĐTĐM được nhắc đến nhiều nhất trong các sự kiện công nghệ, bất kỳ tạp chí công nghệ, các trang Web, blog về IT đều đề cập đến ĐTĐM. Theo khảo sát mới đây của hãng nghiên cứu Gartner, tốc độ phát triển ĐTĐM trên toàn thế giới đã đạt mức 17% hàng năm trong khi hơn 50% doanh nghiệp, tổ chức tham gia đều triển khai điện toán đám mây dưới hình thức này hay hình thức khác. [25] Hiện nay, ĐTĐM được dự đoán là “cơn sóng thần công nghệ”. Không nằm ngoài xu thế chung của thế giới, Việt Nam dần tiếp cần ĐTĐM thông qua các nhà cung cấp như Google, IBM, Microsoft, Nhiều công ty tại Việt Nam đã triển khai ĐTĐM như FPT, Sacombank, Misa, Để giảm thiểu chi phí và tăng cường ứng dụng CNTT trong quản lý đào tạo nhằm tăng hiệu quả đào tạo thì việc ứng dựng điện toán đám mây mang lại nhiều lợi ích. Mặt khác, quản lý dữ liệu đào tạo gồm nhiều dữ liệu không tương thích với nhau, khi dữ liệu ngày càng khổng lồ thì việc truy xuất, thống kê, phân 1 loại càng khó khăn. Nhà quản lý còn mong muốn phân tích dữ liệu có khả năng hỗ trợ các quyết định thì xây dựng kho dữ liệu giúp ích được điều đó. Trong khi đó nhu cầu đào tạo của Trường Trung cấp Kinh tế Quảng Bình ngày càng mở rộng, với chủ trương nhà trường mở nhiều mã ngành mới nhằm đa dạng hóa ngành nghề đào tạo và đáp ứng nhu cầu xã hội. Hiện trạng quản lý dữ liệu chưa đồng bộ, tính hệ thống chưa cao, việc tiếp cận nguồn dữ liệu cần thiết đối với cán bộ, giáo viên, học sinh, người quản lý còn hạn chế. Công tác lưu trữ dữ liệu chưa đảm bảo, chủ yếu lưu trữ trên từng máy do từng cá nhân phụ trách. Chưa tiến hành phân tích dữ liệu để hỗ trợ các quyết định của nhà quản lý. Thông qua mối quan hệ chương trình đào tạo, các khâu quản lý, chất lượng giáo viên, ảnh hưởng đến chất lượng đào tạo để phân tích, so sánh, đối chiếu hỗ trợ quá trình lãnh đạo. Việc ứng dụng điện toán đám mây để xây dựng kho dữ liệu là cần thiết, do đó tôi chọn đề tài “Ứng dụng điện toán đám mây xây dựng kho dữ liệu phục vụ đào tạo tại trường Trung cấp Kinh tế Quảng Bình” . 2. Mục tiêu và nhiệm vụ Trên cơ sở phân tích hiện trạng và nhu cầu phát triển hiệu quả đào tạo tại trường Trung cấp Kinh tế Quảng Bình, đề tài tìm hiểu lĩnh vực ĐTĐM, các công cụ phát triển khai thác ĐTĐM, xây dựng kho dữ liệu phục vụ đào tạo, trợ giúp, phân tích, báo cáo, dự báo hoạt động đào tạo tại trường trong bối cảnh phát triển kinh tế địa phương Quảng Bình và hội nhập quốc tế. Từ thực trạng, sẽ đánh giá được ưu điểm, hạn chế của việc sử dụng mô hình này. Từ đó đề xuất các giải pháp nhằm nâng cao hiệu quả đào tạo tại trường. 2 3. Đối tượng và phạm vi nghiên cứu Nghiên cứu nguồn dữ liệu phục vụ đào tạo tại trường Trung cấp Kinh tế Quảng Bình Tìm hiểu kho dữ liệu, ĐTĐM, các công cụ phát triển, khai thác Kho dữ liệu và ĐTĐM. 4. Phương pháp nghiên cứu - Phân tích hiện trạng và nhu cầu đào tạo tại trường Trung cấp Kinh tế Quảng Bình - Tìm hiểu ĐTĐM để đề xuất giải pháp. - Lựa chọn mô típ công cụ, ngôn ngữ lập trình để xây dựng ứng dụng và đánh giá kết quả thử nghiệm. 5. Ý nghĩa khoa học và thực tiễn của đề tài Về khoa học, đề tài tìm hiểu, nghiên cứu ứng dụng điện toán đám mây, xây dựng kho dữ liệu, trên cơ sở đó có cách nhìn tổng quan để đề xuất giải pháp xây dựng ứng dụng. Về thực tiễn, đề tài xây dựng ứng dụng nhằm giảm chi phí nguồn lực CNTT, quản lý dữ liệu đào tạo khoa học, hỗ trợ nhà quản lý đưa ra quyết định kịp thời góp phần nâng cao hiệu quả đào tạo của nhà trường. 6. Bố cục của luận văn Luận văn gồm có 3 chương: Chương 1: Tìm hiểu kho dữ liệu và điện toán đám mây Tìm hiểu, nghiên cứu về kho dữ liệu (Data Warehouse), một số khái niệm cơ bản, đặc điểm, phân loại, sử dụng Tìm hiểu, nghiên cứu tổng quan về điện toán đám mây (Cloud Computing), một số khái niệm cơ bản, tìm hiểu về kiến trúc, mô hình chung của điện toán đám mây, tìm hiểu một số sản phẩm ứng dụng công nghệ này. 3 [...]... tác đào tạo tại Trường TCKTQB, nhu cầu cầu xây dựng kho dữ liệu và đề xuất giải pháp ứng dụng ĐTĐM xây dựng kho dữ liệu Chương 3: Xây dựng ứng dụng Thiết kế kho dữ liệu, thiết kế báo cáo, phân tích dữ liệu Xây dựng và triển khai kho dữ liệu trên nền tảng đám mây của Google 5 CHƯƠNG 1 TÌM HIỂU KHO DỮ LIỆU VÀ ĐIỆN TOÁN ĐÁM MÂY 1.1 KHO DỮ LIỆU 1.1.1 Khái niệm về Kho dữ liệu Có nhiều cách định nghĩa về Kho. .. chuyển đổi dữ liệu, tải dữ liệu vào kho dữ liệu 8 - Kho dữ liệu - Cơ sở dữ liệu của kho dữ liệu - Siêu dữ liệu (Metadata) - Kho dữ liệu chủ đề (Datamart) - Bảng sự kiện tổng hợp (Fact) - Ứng dụng đầu cuối Người sử dụng khai thác lợi ích từ kho dữ liệu như: Báo biểu, phân tích, khai phá dữ liệu b Dòng dữ liệu trong kho Do kho dữ liệu chứa lượng dữ liệu lớn, đồng thời hạn chế thao tác sửa đổi nên rất... Metadata là một loại dữ liệu về dữ liệu , nó được xây dựng nhằm mục đích mô tả cấu trúc nội dung về dữ liệu bên trong cơ sở dữ liệu Metadata có ý nghĩa đặc biệt quan trọng trong việc xây dựng và tổ chức lưu trữ dữ liệu của Data Warehouse 1.1.3 Kiến trúc kho dữ liệu a Kiến trúc kho dữ liệu Mô hình kiến trúc của kho dữ liệu cơ bản gồm có ba thành phần: Nguồn dữ liệu, khu vực xử lý và kho dữ liệu 7 Hình 1.1... hoặc bởi một nhà cung cấp dịch vụ điện toán đám mây Một đám mây lai là một sự kết hợp các phương pháp khác nhau của các nguồn tài nguyên tổng hợp Ví dụ, kết hợp các đám mây công cộng và cộng đồng 1.2.4 Các nhà cung cấp dịch vụ điện toán đám mây a Amazon Amazon là một trong những công ty đầu tiên cung cấp dịch vụ đám mây cho công chúng Amazon cung cấp một số dịch vụ điện toán đám mây, bao gồm: Elastic... tác với dữ liệu của kho dữ liệu chủ yếu dựa trên cơ sở là Mô hình dữ liệu đa chiều (multidimensional data model) thường áp dụng cho các khối dữ liệu (data cube) Khối dữ liệu là trung tâm của vấn đề cần phân tích, bao gồm một hay nhiều tập dữ kiện (fact) và các dữ kiện được tạo ra từ nhiều chiều (dimension) dữ kiện khác nhau Hình 1.2 Dòng dữ liệu trong kho 9 1.1.4 Phương pháp xây dựng kho dữ liệu a Phương... người sử dụng đầu cuối: Người sử dụng đầu cuối của kho dữ liệu là các doanh nghiệp, các kỹ thuật viên, các nhà quản lý, các thương gia, các chuyên viên của những lĩnh vực liên quan Mục đích là xử lý thông tin từ kho dữ liệu phục vụ nhu cầu quản lý của họ - Thiết kế và xây dựng kho dữ liệu Xây dựng kho dữ liệu là quá trình tích hợp dữ liệu từ các nguồn khác nhau vào một kho Các nhà phân tích nghiệp vụ có... đến dữ liệu không sạch, không toàn vẹn Do đó việc kiểm tra dữ liệu, làm sạch dữ liệu phải được tiến hành ngay tại đây nhằm bảo đảm tính toàn vẹn, tính đúng đắn, tính nhất quán dữ liệu trước khi đưa vào kho dữ liệu đích Thông thường người ta sử dụng các công cụ trích xuất, chuyển đổi và nạp dữ liệu (ETL) Công cụ này thực hiện các thao tác trích xuất dữ liệu, chuyển đổi dữ liệu, tải dữ liệu vào kho dữ liệu. .. a Phương pháp xây dựng kho dữ liệu Xây dựng kho dữ liệu vừa là một tiến trình công việc và cũng đồng thời là một kiến trúc nhằm thực hiện các nội dung như: lựa chọn, chuyển đổi, lưu chuyển, bảo toàn tính toàn vẹn, tích hợp, làm sạch dữ liệu, đưa dữ liệu từ nhiều nguồn dữ liệu tác nghiệp vào hệ thống quản lý cơ sở dữ liệu để phục vụ các quá trình ra quyết định Thiết kế CSDL cho kho dữ liệu theo các... hóa còn những bảng khác chứa một khối lượng lớn các cột dữ liệu Sinh viên chưa được chuẩn hóa Môn học Hình 1.5 Mô hình lược đồ nhiều chiều b Quy trình xây dựng Kho dữ liệu Để xây dựng kho dữ liệu gồm các bước sau: Lập kế hoạch, Xác định yêu cầu, thiết kế, xây dựng, triển khai, bảo trì - Lập kế hoạch Sau khi đã thống nhất xây dựng kho dữ liệu phục vụ quản lý của tổ chức, đầu tiên phải lập kế hoạch bao... xuất, kinh doanh Dữ liệu bên ngoài (External Data): Là dữ liệu không nằm trong các hệ thống tác nghiệp của tỏ chức đó, là những dữ liệu do người sử dụng đầu cuối yêu cầu để phục vụ các nhu cầu công việc của họ Phân tích các nguồn dữ liệu: Các hệ thống thông tin có sẵn được phát triển xung quanh các vùng nghiệp vụ của tổ chức cần xây dựng dự án Các ứng dụng được phát triển với dữ liệu mà các dữ liệu . cần thiết, do đó tôi chọn đề tài Ứng dụng điện toán đám mây xây dựng kho dữ liệu phục vụ đào tạo tại trường Trung cấp Kinh tế Quảng Bình . 2. Mục tiêu và nhiệm vụ Trên cơ sở phân tích hiện trạng. 1 TÌM HIỂU KHO DỮ LIỆU VÀ ĐIỆN TOÁN ĐÁM MÂY 1.1. KHO DỮ LIỆU 1.1.1. Khái niệm về Kho dữ liệu Có nhiều cách định nghĩa về Kho dữ liệu (Data Warehouse - DW) Kho dữ liệu là kho lưu trữ dữ liệu lưu. nâng cao hiệu quả đào tạo tại trường. 2 3. Đối tượng và phạm vi nghiên cứu Nghiên cứu nguồn dữ liệu phục vụ đào tạo tại trường Trung cấp Kinh tế Quảng Bình Tìm hiểu kho dữ liệu, ĐTĐM, các công