Ứng dụng khai phá dữ liệu xây dựng hệ thống trợ giúp phòng, chống và giảm nhẹ rủi ro thiên tai tại trường học

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM LÊ VĂN TRUNG ỨNG DỤNG KHAI PHÁ DỮ LIỆU XÂY DỰNG HỆ THỐNG TRỢ GIÚP PHÒNG, CHỐNG VÀ GIẢM NHẸ RỦI RO THIÊN TAI TẠI TRƯỜNG HỌC LUẬN VĂN THẠC SĨ KỸ THUẬT Đà Nẵng - 2016 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM LÊ VĂN TRUNG ỨNG DỤNG KHAI PHÁ DỮ LIỆU XÂY DỰNG HỆ THỐNG TRỢ GIÚP PHÒNG, CHỐNG VÀ GIẢM NHẸ RỦI RO THIÊN TAI TẠI TRƯỜNG HỌC Chuyên ngành: Hệ thống thông tin Mã số: 60.48.01.04 LUẬN VĂN THẠC SĨ KỸ THUẬT Cán hướng dẫn khoa học: PGS.TS LÊ VĂN SƠN Đà Nẵng - 2016 LỜI CAM ĐOAN Tôi xin cam đoan Luận văn cơng trình nghiên cứu riêng tơi hướng dẫn thầy PGS TS Lê Văn Sơn Các kết nêu Luận văn chưa công bố cơng trình khác Các số liệu, ví dụ trích dẫn Luận văn đảm bảo tính xác, tin cậy trung thực NGƯỜI CAM ĐOAN Lê Văn Trung LỜI CẢM ƠN Luận văn thạc sĩ kỹ thuật chuyên ngành hệ thống thông tin với đề tài “Ứng dụng khai phá liệu xây dựng hệ thống trợ giúp phòng, chống giảm nhẹ rủi ro thiên tai trường học” kết trình cố gắng thân giúp đỡ, động viên khích lệ q thầy, cơ, bạn bè đồng nghiệp người thân Qua trang viết tác giả xin gửi lời cảm ơn tới người giúp đỡ thời gian học tập - nghiên cứu vừa qua Tơi xin tỏ lịng kính trọng biết ơn sâu sắc thầy giáo PGS.TS Lê Văn Sơn trực tiếp tận tình hướng dẫn cung cấp tài liệu thông tin khoa học cần thiết cho luận văn Xin tỏ lòng kính trọng chân thành cảm ơn q thầy, giáo tận tình giảng dạy chuyên đề, giúp tiếp thu nhiều kiến thức phục vụ cho việc nghiên cứu hoàn thành luận văn Cuối xin chân thành cảm ơn đồng nghiệp, đơn vị cơng tác giúp đỡ tơi q trình học tập thực luận văn TÁC GIẢ Lê Văn Trung MỤC LỤC MỞ ĐẦU 1 Lý chọn đề tài Mục đích nhiệm vụ đề tài Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Giải pháp đề xuất Kết cấu luận văn CHƯƠNG TỔNG QUAN VỀ PHÁT HIỆN TRI THỨC VÀ KHAI PHÁ DỮ LIỆU 1.1 KHÁM PHÁ TRI THỨC VÀ KHAI PHÁ DỮ LIỆU 1.2 QUÁ TRÌNH KHÁM PHÁ TRI THỨC 1.2.1 Gom liệu (Gathering) 1.2.2 Trích lọc liệu (Selection) 1.2.3 Làm sạch, tiền xử lý chuẩn bị trước liệu (Cleansing, Preprocessing and Preparation) 1.2.4 Chuyển đổi liệu (Transformation) 1.2.5 Khai phá liệu (Data Mining) 1.2.6 Đánh giá kết mẫu (Evaluation of Result) 1.3 CÁC LOẠI DỮ LIỆU CÓ THỂ KHAI PHÁ 10 1.4 CÁC PHƯƠNG PHÁP, KỸ THUẬT CHÍNH TRONG KHAI PHÁ DỮ LIỆU 10 1.4.1 Phân lớp dự đoán (Classification & Prediction) 11 1.4.2 Luật kết hợp (Association Rules) 13 1.4.3 Khai thác mẫu (Sequential / Temporal patterns) 14 1.4.4 Phân nhóm- đoạn (Clustering / Segmentation) 14 1.4.5 Hồi quy (Regression) 14 1.4.6 Tổng hợp hóa (Summarization) 15 1.4.7 Mơ hình hóa phụ thuộc (dependency modeling) 15 1.4.8 Phát biến đổi độ lệch (Change and deviation detection) 15 1.5 NHỮNG KHÓ KHĂN TRONG KHAI PHÁ DỮ LIỆU 16 1.6 ỨNG DỤNG CỦA KHAI PHÁ DỮ LIỆU 17 1.7 KẾT LUẬN 18 CHƯƠNG TÌM HIỂU PHÂN CỤM DỮ LIỆU, LUẬT KẾT HỢP, THUẬT TOÁN K_MEANS VÀ THUẬT TOÁN APRIORI 19 2.1 KHÁI NIỆM VÀ MỤC TIÊU CỦA PHÂN CỤM DỮ LIỆU 19 2.1.1 Khái niệm phân cụm liệu 19 2.1.2 Các mục tiêu phân cụm liệu 20 2.2 CÁC ỨNG DỤNG CỦA PHÂN CỤM DỮ LIỆU 22 2.3 CÁC YÊU CẦU VÀ NHỮNG VẤN ĐỀ CÒN TỒN TẠI TRONG PHÂN CỤM DỮ LIỆU 23 2.3.1 Các yêu cầu phân cụm liệu 23 2.3.2 Những vấn đề tồn phân cụm liệu 25 2.4 THUẬT TOÁN K_MEANS 26 2.5 LUẬT KẾT HỢP TRONG KHAI PHÁ DỮ LIỆU (ASSOCIATION RULE IN DATA MINING) 31 2.6 THUẬT TOÁN APRIORI (by Agrawal and Srikant 1994) 32 2.7 KẾT LUẬN 36 CHƯƠNG ỨNG DỤNG KHAI PHÁ DỮ LIỆU XÂY DỰNG HỆ THỐNG TRỢ GIÚP PHÒNG, CHỐNG VÀ GIẢM NHẸ RỦI RO THIÊN TAI TẠI TRƯỜNG HỌC 37 3.1 ĐẶT VẤN ĐỀ 37 3.2 CƠ SỞ LÝ LUẬN VÀ KHOA HỌC THỰC TIỄN 38 3.2.1 Cơ sở lý luận 38 3.2.2 Cơ sở thực tiễn 40 3.2.3 Cơ sở khoa học 40 3.3 BIỂU MẪU BAN ĐẦU 41 3.3.1 Biểu xác định loại thiên tai 41 3.3.2 Cơ sở vật chất giúp nhà trường an toàn trước thiên tai 42 3.3.3 Quản lí trường học an tồn 47 3.3.4 Giáo dục phòng chống giảm nhẹ thiên tai trường học 48 3.3.5 Các thông tin khu vực xung quanh trường học 49 3.3.6 Các mối nguy hiểm đường đến trường 50 3.4 CẤU TRÚC DỮ LIỆU CỦA CHƯƠNG TRÌNH 50 3.4.1 Tập tin liệu danh sách trường 50 3.4.2 Thông tin chi tiết trường 52 3.5 GIẢI PHÁP THỰC HIỆN 54 3.5.1 Mô tả hệ thống 54 3.5.2 Kịch triển khai phân tích liệu 55 3.6 CÀI ĐẶT CHƯƠNG TRÌNH 57 3.6.1 Cài đặt phần cứng 57 3.6.2 Cài đặt phần mềm 57 3.6.3 Các chức chương trình 57 3.7 KẾT LUẬN 58 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 59 TÀI LIỆU THAM KHẢO QUYẾT ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN (BẢN SAO) DANH MỤC VIẾT TẮT BCRD Dự án xây dựng lực phịng ngừa ứng phó thiên tai cho cộng đồng vùng cao Việt Nam Bộ GDĐT Bộ Giáo dục Đào tạo CECI Trung tâm nghiên cứu hợp tác Quốc tế CSDL Cơ sở liệu DBMS Database Management System DIPECHO Chương trình giảm nhẹ thiên tai quan viện trợ nhân đạo Châu Âu MS Micosoft WWW World Wide Web DANH MỤC CÁC HÌNH Số hiệu Tên hình hình Trang 1.1 Quá trình khám phá tri thức 2.1 Ví dụ phân cụm liệu 20 2.2 Ví dụ phân cụm ngơi nhà dựa khoảng cách 21 2.3 Ví dụ phân cụm ngơi nhà dựa kích cở 22 2.4 Biểu diễn loại thuốc đặc trưng X Y 28 2.5 2.6 3.1 3.2 3.3 3.4 Phân nhóm sau vịng lặp thứ Phân nhóm sau vịng lặp thứ hai 29 30 Các bước triển khai hệ thống phân tích liệu trường học 55 Giao diện phân cụm liệu điểm đánh giá phòng chống thiên tai Giao diện khai thác luật kết hợp từ thông tin phịng chống thiên tai Giao diện chương trình 56 56 58 MỞ ĐẦU Lý chọn đề tài Ngày với thay đổi phát triển không ngừng ngành Công nghệ thông tin nói chung ngành cơng nghệ phần cứng, phần mềm hệ thống liệu phục vụ lĩnh vực kinh tế - xã hội nói riêng, việc thu thập thơng tin nhu cầu lưu trữ thông tin ngày lớn Bên cạnh việc tin học hóa cách nhanh chóng hoạt động sản xuất, kinh doanh nhiều lĩnh vực hoạt động khác tạo cho lượng liệu lớn Rất nhiều sở liệu (CSDL) sử dụng hoạt động sản xuất, kinh doanh, quản lí…Sự bùng nổ dẫn tới yêu cầu cấp thiết cần có kỹ thuật công cụ để tự động chuyển đổi lượng liệu khổng lồ thành tri thức có ích Một vấn đề đặt phải trích chọn thơng tin có ý nghĩa khối liệu lớn để từ giải yêu cầu thực tế trợ giúp định, dự đoán…và Khai phá liệu (Data mining) đời nhằm giải yêu cầu Những ứng dụng thành cơng khám phá tri thức cho thấy khai phá liệu lĩnh vực phát triển bền vững mang lại nhiều lợi ích có nhiều triển vọng, đồng thời có ưu hẳn so với cơng cụ phân tích liệu truyền thống Khai phá liệu có nhiều hướng quan trọng hai số phân cụm liệu (Data Clustering) luật kết hợp (Association Rule) Phân cụm liệu trình tìm kiếm để phân cụm liệu, mẫu liệu từ khối liệu lớn, luật kết hợp tìm mối quan hệ đối tượng khối liệu lớn Phân cụm liệu luật kết hợp kỹ thuật để khai thác liệu có hiệu Phân cụm liệu luật kết hợp ứng dụng nhiều lĩnh vực khác như: kinh tế, bảo hiểm, quy hoạch đô thị, du lịch…Tuy nhiên lĩnh vực giáo dục khía cạnh dự báo nguy rủi ro thiên tai trường học chưa khai thác hiệu ...ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM LÊ VĂN TRUNG ỨNG DỤNG KHAI PHÁ DỮ LIỆU XÂY DỰNG HỆ THỐNG TRỢ GIÚP PHÒNG, CHỐNG VÀ GIẢM NHẸ RỦI RO THIÊN TAI TẠI TRƯỜNG HỌC Chuyên ngành: Hệ thống thông... CHƯƠNG ỨNG DỤNG KHAI PHÁ DỮ LIỆU XÂY DỰNG HỆ THỐNG TRỢ GIÚP PHÒNG, CHỐNG VÀ GIẢM NHẸ RỦI RO THIÊN TAI TẠI TRƯỜNG HỌC 37 3.1 ĐẶT VẤN ĐỀ 37 3.2 CƠ SỞ LÝ LUẬN VÀ KHOA HỌC THỰC... tích liệu trường học để đưa dự đốn nguy rủi ro, thiệt hại có thiên tai xảy Xuất phát từ nhu cầu thực tế nên tơi chọn vấn đề: ? ?Ứng dụng khai phá liệu xây dựng hệ thống trợ giúp phòng, chống giảm nhẹ