Nghiên cứu phần tử ngoại lai đối với các dạng chuẩn trong CSDL quan hệ (LV01981)

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI NGUYỄN KHẮC HIẾU NGHIÊN CỨU PHẦN TỬ NGOẠI LAI ĐỐI VỚI CÁC DẠNG CHUẨN TRONG CSDL QUAN HỆ LUẬN VĂN THẠC SĨ MÁY TÍNH HÀ NỘI, 2016 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI NGUYỄN KHẮC HIẾU NGHIÊN CỨU PHẦN TỬ NGOẠI LAI ĐỐI VỚI CÁC DẠNG CHUẨN TRONG CSDL QUAN HỆ Chuyên ngành: Khoa học máy tính Mã số: 60 48 01 01 LUẬN VĂN THẠC SĨ MÁY TÍNH Người hướng dẫn khoa học: TS Lê Văn Phùng HÀ NỘI, 2016 i LỜI CẢM ƠN Tôi xin gửi lời cảm ơn chân thành sâu sắc đến thầy giáo TS Lê Văn Phùng, người thầy tận tình hướng dẫn tạo điều kiện để hoàn thành luận văn Tôi xin gửi lời cảm ơn đến Ban giám hiệu trường THPT Mê Linh thầy cô trường tạo điều kiện để có liệu thực tế góp phần vào hoàn thiện luận văn Xin gửi lời cảm ơn đến bạn đồng môn bạn bè thân thiết đồng hành suốt trình hoàn thành luận văn Hà Nội, ngày 08 tháng 07 năm 2016 Học viên Nguyễn Khắc Hiếu ii LỜI CAM ĐOAN Tôi xin cam đoan số liệu kết nghiên cứu luận văn trung thực không trùng lặp với đề tài khác Tôi xin cam đoan giúp đỡ cho việc thực luận văn cảm ơn thông tin trích dẫn luận văn rõ nguồn gốc Hà Nội, ngày 08 tháng 07 năm 2016 Học viên Nguyễn Khắc Hiếu iii MỤC LỤC LỜI CẢM ƠN i LỜI CAM ĐOAN ii BẢNG KÍ HIỆU CÁC CHỮ VIẾT TẮT v DANH MỤC CÁC BẢNG vi DANH MỤC CÁC HÌNH VẼ vii MỞ ĐẦU viii CHƯƠNG TỔNG QUAN VỀ PHÁT HIỆN PHẦN TỬ NGOẠI LAI ĐỐI VỚI CÁC DẠNG CHUẨN TRONG CSDL QUAN HỆ 1.1 Các dạng chuẩn CSDL quan hệ 1.1.1 1.1.2 1.2 Khái quát CSDL quan hệ Các dạng chuẩn mô hình CSDL quan hệ Tổng quan phát phần tử ngoại lai 16 1.2.1 Khái niệm phần tử ngoại lai 16 1.2.2 Các phương pháp xác định phần tử ngoại lai 17 CHƯƠNG 19 THUẬT TOÁN XÁC ĐỊNH PHẦN TỬ NGOẠI LAI 19 ĐỐI VỚI CÁC DẠNG CHUẨN 19 2.1 Khái niệm phát phần tử ngoại lai chuẩn CSDL quan hệ 19 2.2 Phân loại phần tử ngoại lai CSDL quan hệ 20 2.3 Mô hình phát phần tử ngoại lai dựa theo luật CSDL quan hệ 20 2.4 Các thuật toán phát phần tử ngoại lai dạng chuẩn 23 2.4.1 Đối với dạng chuẩn 2NF 23 2.4.2 2.4.3 Đối với dạng chuẩn 3NF 25 Đối với dạng chuẩn BCNF 26 CHƯƠNG ỨNG DỤNG TÌM PHẦN TỬ NGOẠI LAI ĐỐI VỚI DẠNG CHUẨN VÀO BÀI TOÁN NHẬP ĐIỂM TRONG TRƯỜNG THPT MÊ LINH 28 3.1 Mô tả toán yêu cầu 28 iv 3.1.1 Đặt vấn đề 28 3.1.2 Mô tả toán yêu cầu 28 3.2 Phân tích thiết kế toán ứng dụng (input, output, hệ thống xử lý, giao diện) 29 3.2.1 Liệt kê chức 29 3.2.2 Phân tích hệ thống 30 3.3 Cài đặt thử nghiệm thuật toán phát phần tử ngoại lai dạng chuẩn 3NF để hỗ trợ nhập điểm trường THPT Mê Linh 36 3.3.1 Cài đặt môi trường thử nghiệm 36 3.3.2 Một số giao diện chương trình 36 3.3.3 3.3.4 Thử nghiệm chương trình 43 Đánh giá kết thử nghiệm 52 KẾT LUẬN 53 TÀI LIỆU THAM KHẢO 54 v BẢNG KÍ HIỆU CÁC CHỮ VIẾT TẮT Từ viết tắt Tiếng Anh Nghĩa tiếng Việt CSDL Cơ sở liệu THPT Trung học phổ thông vi DANH MỤC CÁC BẢNG Bảng 1.1 Biểu diễn quan hệ r Bảng 1.2 Bảng thiết bị lưu giữ thông tin mặt hàng Bảng 1.3 Bảng xét quan hệ THISINH Bảng 1.4 Bảng quan hệ BANHANG Bảng 1.5 Xét quan hệ trình độ ngoại ngữ Bảng 2.1 Bảng quan hệ r 25 Bảng 2.2 Bảng quan hệ r sau sửa giá trị t4(B) = 26 Bảng 2.3 Bảng quan hệ r sau sửa giá trị t4(D) = 27 vii DANH MỤC CÁC HÌNH VẼ Hình 1.1 Hình phân lớp dạng chuẩn 11 Hình 1.2 Phần tử ngoại lai tập điểm có tọa độ (x,y) mặt phẳng có giá trị tung độ y nhỏ hẳn phần tử khác tập hợp 16 Hình 2.1 Sơ đồ phát phần tử ngoại lai dựa theo luật CSDL quan hệ 23 Hình 3.1 Biểu đồ Use Case cho actor giáo viên 30 Hình 3.3 Trang đăng nhập vào hệ thống quản trị 37 Hình 3.4 Giao diện trang chủ admin 37 Hình 3.5 Trang thông tin giáo viên 38 Hình 3.6 Trang thông tin lớp học 38 Hình 3.7 Trang thông tin học sinh 39 Hình 3.8 Trang thông tin môn học 39 Hình 3.9 Phân lớp môn học cho giáo viên 40 Hình 3.10 Trang đăng nhập vào hệ thống nhập điểm 41 Hình 3.11 Tạo công việc 41 Hình 3.12 Nhập điểm môn học 42 Hình 3.13 Điểm sau nhập đầy đủ 42 Hình 3.14 Bảng điểm học sinh theo lớp 43 Hình 3.15 Xem in bảng điểm học sinh 43 Hình 3.16 File liệu excel 47 Hình 3.17 Chọn file điểm nhập sẵn từ excel 48 Hình 3.18 Chương trình tìm thấy phần tử ngoại lai sau kiểm tra file nhập vào 48 Hình 3.19 Hiển thị bước chạy thuật toán sau tìm thấy phần tử ngoại lai 49 Hình 3.20 Kết sau thay giá trị t4(Lý) = t4(Lý) = 50 Hình 3.21 Kết báo cáo sau phát phần tử ngoại lai 50 Hình 3.22 Hiển thị bước chạy thuật toán kiểm tra ngoại lai 51 viii MỞ ĐẦU Lý chọn đề tài Gắn liền với phát triển giới ngày không kể đến việc ngành nghề có hỗ trợ đắc lực hệ thống máy tính, nhu cầu phát triển xã hội thúc đẩy ngành khoa học máy tính đời phát triển, khiến người sâu vào nghiên cứu, tìm tòi khám phá Trong khoa học máy tính có công trình nghiên cứu sâu vào việc làm để quản lí, khai thác sở liệu (CSDL) cách hiệu an toàn Tuy nhiên, trình xử lí, khai thác liệu có CSDL không mong muốn tồn phá vỡ qui định hay chuẩn mà CSDL phải tuân theo Trog thực tiễn, nhiều liệu xem hợp lệ thỏa mãn luật đó, luật bị vi phạm xem phần tử ngoại lai Xác định phần tử ngoại lai (outlier) tập hợp liệu hướng quan tâm nghiên cứu tỏ có nhiều ứng dụng thiết thực Phần tử ngoại lai CSDL gồm loại: loại thứ liệu thu thập tạo sinh theo quy luật khác với liệu khác xem liệu sai hay liệu không hợp lệ, loại thứ hai liệu hợp lệ có đặc điểm khác biệt so với đa số liệu khác Vấn đề đặt phát triển phần mềm để phát tự động phần tử có dấu hiệu khác biệt CSDL cho phép chuyên gia xác định xem cần loại bỏ khỏi CSDL hay cần xử lý đặc biệt với phần tử ngoại lai phát Đến nay, phương pháp xác định liệu ngoại lai phương pháp thống kê, tác giả xác định phần tử ngoại lai theo phương pháp so sánh khoảng cách hay mức tương đồng liệu 40 Hình 3.9 Phân lớp môn học cho giáo viên  Giao diện trang nhập điểm Bước 1: Khởi động trình duyệt web (sử dụng tốt trình duyệt google chrome, cốc cốc) Bước 2: Truy cập vào trang nhập điểm theo địa chỉ: http://localhost/student-marks/public Tên đăng nhập: sử dụng tên đăng nhập họ tên giáo viên viết liền không dấu Password: Là mật ban đầu người quản trị hệ thống cung cấp cho giáo viên (giáo viên thay đổi mật cho tài khoản mình) 41 Hình 3.10 Trang đăng nhập vào hệ thống nhập điểm - Chức cho phép người dùng tạo thêm công việc cần ghi nhớ lên trang web lưu lại để nhắc nhở Hình 3.11 Tạo công việc 42 - Chức giúp giáo viên nhập điểm học sinh lớp dạy theo đầu điểm khác nhau, bao gồm điểm miệng, điểm viết điểm thi cuối kì Sau nhập xong điểm hệ thống tự tính toán điểm trung bình theo công thức Hình 3.12 Nhập điểm môn học Hình 3.13 Điểm sau nhập đầy đủ 43 - Sau thao tác nhập điểm hoàn thiện đầy đủ, giáo viên xem in bảng điểm học sinh theo đơn vị lớp Hình 3.14 Bảng điểm học sinh theo lớp Hình 3.15 Xem in bảng điểm học sinh 3.3.3 Thử nghiệm chương trình 44  Thuật toán xác định ngoại lai_3NF Input: quan hệ r tập thuộc tính R (được giả thiết dạng 3NF) Output: tập cặp ngoại lai 3NF, kí hiệu OUTLI_3NF Bước 1: Tính toán hệ Er, tập cực đại Mr r Er= {Eij : ≤ i < j ≤ m Eij = {a ∈ R; tj(a)}} M = {B ∈ P(R) : ∃ Eij∈ Rr : Eij = B} Mr = {B ∈ M : ∀ B’ ∈ M : B B’} Bước 2: Tính lần lượt: Fn = Mr Nếu Fn= (không có thuộc tính thứ cấp) OUTLI_3NF = kết thúc tính toán Ngược lại chuyển sang bước Bước 3: Với B ∈ Mr với a ∈ Fn tính: (B – a)r+ = ∩ BM∈ M BM⊇ (B – a), Nếu (B – a)r+≠ B – a thực hiện: Với Eij ∈ Er, (B – a)r+⊆ Eij lưu cặp (ti, tj) vào OUTLI_3NF Với cặp ngoại lai (ti, tj) kiểm tra ngữ nghĩa để loại bỏ ngoại lai 3NF nằm  Bài toán thử nghiệm: cho r quan hệ “bảng điểm học sinh Lớp 10A6” giả thiết dạng chuẩn Khi nhập điểm sai nên dẫn đến vi phạm chuẩn, cần phát chỗ điểm nhập sai để sửa, bảo đảm r đạt chuẩn 3NF Để thử nghiệm, đơn giản lấy quan hệ r gồm cột, tương ứng với lược đồ R(A,B,C,D,E) ghi điểm môn học học sinh lớp Input: bảng điểm nhận từ cô chủ nhiệm: STT Tên học sinh A-Toán B-Lý C-Hóa D-Sinh E-Tin 45 Tạ Lan Anh Nguyễn Văn Bình 6 Nguyễn Thị Hà 6 6 Trần Mỹ Hào 7 Nguyễn Thị Hiền Xác định r: gồm thuộc tính A,B,C,D,E A-Toán B-Lý C-Hóa D-Sinh E-Tin 6 6 8 7 4 Output: tập cặp ngoại lai 3NF, kí hiệu OUTLI_3NF Bước 1: Tính hệ Er, tập M tập cực đại Mr r: So sánh dòng dòng 2, theo cột không thấy có giá trị nhau, Ta có: E1,2 = ; So sánh dòng dòng 3, có cột B,C,E có cặp giá trị dòng trùng nhau, ta có: E1,3 = BCE; Tương tự: E1,4 = E; E1,5 = ; E2,3 = A; E2,4 = BCD; E2,5 = B; E3,4 = E; E3,5 = D; E4,5 = AB Vậy, tập nhau: M = {A, B, D, E, BCE, AB, BCD}; Suy tập cực đại: Mr = {AB, BCE, BCD} (bỏ tập tập khác M) Bước 2: Tính Fn Fn = Mr = B (đây thuộc tính thứ cấp) Vì tồn thuộc tính thứ cấp nên chuyển sang bước 46 Bước 3: Vì B ∈ Fn , kiểm tra phần tử Mr , ví dụ BCD: kiểm tra (BCD – B)r+ có BCD – B không? Thấy (BCD – B)r+ = (CD)+ = CDB (vì cột CD->B 6,7->4 dòng 6,7->4 dòng B-Lý 6 C-Hóa D-Sinh t1 t2 t3 t4 t5 4 + + (CDB – B)r = (CD)r =CDB≠ CD (CD)r+=CDB⊆ E24 nên cặp (t2, t4) OUTLI_3NF - Nếu thay giá trị t4(B) = giá trị t4(B) = ta có : ASTT Tên học sinh B-Lý C-Hóa D-Sinh E-Tin Toán Tạ Lan Anh Nguyễn Văn Bình 6 Nguyễn Thị Hà 6 6 Trần Mỹ Hào Nguyễn Thị Hiền Tính lại Er: 4 E1,2 = ; E1,3 = BCE; E1,4 = E; E1,5 = ; E2,3 = A; E2,4 = CD; E2,5 = B; E3,4 = E; E3,5 = D; E4,5 = A M = {A, B, D, E, BCE, CD}; Mr = {A, BCE, CD} Suy Fn= Mr = , quan hệ r bảo đảm 3NF Kết quả: Điểm Mỹ Hào nhập sai (không đạt) nên không bảo đảm chuẩn 3NF, điểm sửa lại (khá giỏi) 47 Dễ kiểm tra khóa quan hệ AB,AC,AD,AE,BD, với khóa r đạt 3NF  Giao diện toán thử nghiệm đưa vào chương trình - File excel kết xuất nhập vào theo mẫu Hình 3.16 File liệu excel 48 - Sau đăng nhập vào tài khoản mình, giáo viên chọn mục hỗ trợ nhập điểm chọn file cần kiểm tra chuẩn bị sẵn Hình 3.17 Chọn file điểm nhập sẵn từ excel - Sau chọn file liệu cần kiểm tra, giáo viên click chọn nút kiểm tra để kiểm tra phần tử ngoại lai theo dạng chuẩn 3NF Hình 3.18 Chương trình tìm thấy phần tử ngoại lai sau kiểm tra file nhập vào 49 - Sau kiểm tra file liệu để tìm phần tử ngoại lai, giáo viên xem bước chạy thuật toán cách click vào nút hiển thị bước chạy thuật toán Hình 3.19 Hiển thị bước chạy thuật toán sau tìm thấy phần tử ngoại lai Kết chạy chương trình cho thấy phần tử ngoại lai tương ứng với t4 r: STT Tên học sinh Trần Mỹ Hào A-Toán B-Lý C-Hóa D-Sinh E-Tin 7 - Giao diện cho kết sau phát sai sót phương pháp phát phần tử ngoại lai dạng chuẩn: 50 Hình 3.20 Kết sau thay giá trị t4(Lý) = t4(Lý) = Hình 3.21 Kết báo cáo sau phát phần tử ngoại lai 51 Hình 3.22 Hiển thị bước chạy thuật toán kiểm tra ngoại lai Dễ kiểm tra khóa quan hệ AB,AC,AD,AE,BD, với khóa r đạt 3NF 52 3.3.4 Đánh giá kết thử nghiệm Bước đầu cài đặt thành công thuật toán phát phần tử ngoại lai dạng chuẩn 3NF BCNF để hỗ trợ nhập điểm trường THPT Mê Linh Trong trình thử nghiệm chương trình hoạt động tốt xác định phần tử ngoại lai để xử lý loại bỏ khỏi chương trình giúp cho việc nhập điểm trường THPT nói chung trường THPT Mê Linh nói riêng đạt hiệu 53 KẾT LUẬN Kết đạt luận văn: - Luận văn tìm hiểu khái niệm phần tử ngoại lai, dạng chuẩn CSDL quan hệ số thuật toán phát phần tử ngoại lai dạng chuẩn - Giới thiệu cách quản lí điểm trang web để nhà trường phổ thông quản lí điểm cách hiệu hơn, quản lí điểm trực tuyến nhiều vị trí khác có kết nối internet - Giải toán nhập điểm trường THPT có ứng dụng việc xác định phần tử ngoại lai dạng chuẩn CSDL quan hệ Hạn chế: - Trong trình hoàn thiện luận văn chương trình, có nhiều hạn chế trình độ, mặt thời gian thực nên chương trình đơn giản, liệu giáo viên học sinh toàn trường chưa đầy đủ - Vấn đề phát phần tử ngoại lai dạng chuẩn CSDL quan hệ việc nghiên cứu ứng dụng việc quản lí điểm nói riêng vấn đề công nghệ thông tin khoa học máy tính nói chung Hướng phát triển: - Ứng dụng xác định phần tử ngoại lai dạng chuẩn CSDL quan hệ vào số tính khác chương trình - Xây dựng trang web với quy mô lớn hơn, nhiều ứng dụng giao diện đẹp thân thiện - Nghiên cứu, tìm hiểu nhiều để ứng dụng thêm nhiều chức phục vụ cho yêu cầu quản lí (đặc biệt việc quản lí điểm) trường phổ thông 54 TÀI LIỆU THAM KHẢO A Tiếng Việt [1] Hoàng Xuân Huấn, Phạm Hạ Thủy (2006), Phát phần tử ngoại lai sở liệu nhờ phân tích hồi quy Tạp chí Tin học điều khiển T22(1) trang 45-52 [2] Lê Văn Phùng, Quách Xuân Trưởng (2012), Khai phá liệu, Nhà xuất Thông tin Truyền thông [3] Vũ Đức Thi (1997), Cơ sở liệu-Kiến thức thực hành, Nhà xuất Thống kê Hà Nội [4] Phạm Hạ Thủy (2007), Nghiên cứu phần tử ngoại lai sở liệu ứng dụng Luận án tiến sĩ Viện Công nghệ thông tin Viện Hàn Lân khoa học Việt Nam B Tiếng Anh [5] Dieter Adriaans, Dolf Zanting (1996), Data mining Addision-Wesly [6] Barnett, V and Lewis T (1994), Outliners in Statiscal Data, Jonh Wiley, 3rd edition [7] Breuing, M., Kreigel, H – P., Ng, R., and Sander, J (2000), LOF: Identifying density –based local outliners.In Proc SIGMOD, pp.93 104 [8] Edwin M Knorr (2000), Outliers And Datamining: Finding Exceptions In Data Ph:b Disertation, University of British Columbia, 2002