Luận văn phụ thuộc hàm xấp xỉ kiểu tương quan hàm số và ứng dụng để phát hiện phần tử ngoại lai

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC SƢ PHẠM HÀ NỘI ====== NGUYỄN LÊ HỒNG NHẬT PHỤ THUỘC HÀM XẤP XỈ KIỂU TƢƠNG QUAN HÀM SỐ VÀ ỨNG DỤNG ĐỂ PHÁT HIỆN PHẦN TỬ NGOẠI LAI LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH HÀ NỘI, 2018 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC SƢ PHẠM HÀ NỘI ====== NGUYỄN LÊ HỒNG NHẬT PHỤ THUỘC HÀM XẤP XỈ KIỂU TƢƠNG QUAN HÀM SỐ VÀ ỨNG DỤNG ĐỂ PHÁT HIỆN PHẦN TỬ NGOẠI LAI Chuyên ngành: Khoa học máy tính Mã số: 48 01 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Ngƣời hƣớng dẫn khoa học: TS LÊ VĂN PHÙNG HÀ NỘI, 2018 i LỜI CẢM ƠN Tôi xin cảm ơn thầy cô Trƣờng Đại học Sƣ phạm Hà Nội 2, bạn học viên lớp Cao học khoa học máy tính, đồng nghiệp gia đình tạo điều kiện, giúp đỡ nhƣ động viên trình học tập hồn thành luận văn Xin cảm ơn thầy cô giảng dạy trực tiếp giúp đỡ, truyền đạt cho tơi nhiều kiến thức bổ ích cho công tác thực tiễn thân Đặc biệt xin chân thành cảm ơn Tiến sỹ Lê Văn Phùng bảo, hƣớng dẫn, giúp đỡ suốt q trình hồn thành luận văn Trong q trình thực luận văn, khơng thể tránh khỏi khiếm khuyết, xin chân thành cảm ơn ý kiến đóng góp q báu thầy cơ, anh chị bạn Một lần xin trân trọng cảm ơn! Hà Nội, ngày tháng năm 2018 Học viên Nguyễn Lê Hồng Nhật ii LỜI CAM ĐOAN Tôi xin cam đoan luận văn tự nghiên cứu, tìm hiểu tổng hợp từ nhiều nguồn tài liệu khác Luận văn tốt nghiệp kết trình học tập, nghiên cứu thực hoàn toàn nghiêm túc, trung thực thân Tất tài liệu tham khảo có xuất xứ rõ ràng đƣợc trích dẫn hợp pháp Tơi xin hoàn toàn chịu trách nhiệm nội dung trung thực luận văn tốt nghiệp Thạc sĩ Hà Nội, ngày tháng năm 2018 Học viên Nguyễn Lê Hồng Nhật iii MỤC LỤC MỞ ĐẦU 1 Lý chọn đề tài Mục đích nghiên cứu 3 Đối tƣợng nghiên cứu Dự kiến đóng góp Nhiệm vụ nghiên cứu Giới hạn phạm vi nghiên cứu Phƣơng pháp nghiên cứu Bố cục luận văn CHƢƠNG 1: TỔNG QUAN VỀ PHỤ THUỘC HÀM VÀ PHẦN TỬ NGOẠI LAI 1.1 Khái quát phụ thuộc hàm 1.1.1 Khái qt mơ hình liệu quan hệ 1.1.2 Phụ thuộc hàm, khóa, hệ tiên đề Armstrong 1.1.3 Các dạng phụ thuộc hàm đặc biệt 10 1.1.4 Phụ thuộc đa trị phụ thuộc kết nối 12 1.1.5 Phụ thuộc mạnh phụ thuộc yếu 17 1.1.6 Phụ thuộc hàm mờ 19 1.1.7 Mô tả tƣơng đƣơng học họ thuộc hàm 20 1.2 Khái quát Phần tử ngoại lai 21 1.2.1 Khái niệm phần tử ngoại lai 22 1.2.2 Mối quan hệ phần tử ngoại lai với khai phá liệu 24 1.2.3 Mơ hình phát phần tử ngoại lai CSDL quan hệ 25 1.2.4 Phân loại phần tử ngoại lai CSDL quan hệ 26 1.2.5 Mơ hình phát phần tử ngoại lai dựa theo luật CSDL quan hệ 27 iv 1.2.6 Ứng dụng phần tử ngoại lai 30 CHƢƠNG 2: PHỤ THUỘC HÀM XẤP XỈ KIỂU TƢƠNG QUAN HÀM SỐ 31 2.1 Khái quát phụ thuộc hàm xấp xỉ 31 2.1.1 Khái niệm PTH xấp xỉ 31 2.1.2 Các độ đo xấp xỉ 32 2.2 Độ đo khoảng cách 35 2.2.1 Khoảng cách hai giá trị tập thuộc tính 35 2.2.2 Một số tính chất hàm khoảng cách 35 2.3 Phụ thuộc hàm xấp xỉ loại 36 2.3.1 Định nghĩa 36 2.3.2 Ví dụ 36 2.4 Một số tính chất Phụ thuộc hàm xấp xỉ loại 37 2.5 Điều kiện để quan hệ phụ thuộc hàm xấp xỉ loại thuật toán kiểm tra 38 2.5.1 Khái niệm hệ xấp xỉ mức  quan hệ r 38 2.5.2 Điều kiện để quan hệ phụ thuộc hàm xấp xỉ loại 39 2.5.3 Thuật toán kiểm tra quan hệ phụ thuộc hàm xấp xỉ loại 40 2.6 Phần tử ngoại lai phụ thuộc hàm 41 2.6.1 Khái niệm phần tử ngoại lai phụ thuộc hàm 41 2.6.2 Định lý nhận biết cặp ngoại lai phụ thuộc hàm 42 2.6.3 Phần tử ngoại lai dạng phụ thuộc hàm đặc biệt 43 2.6.4 Phần tử ngoại lai dạng phụ thuôc hàm xấp xỉ loại 45 2.7 Phần tử ngoại lai phụ thuộc hàm xấp xỉ loại 45 2.7.1 Định nghĩa Phần tử ngoại lai phụ thuộc hàm xấp xỉ loại 45 2.7.2 Định lý nhận biết cặp ngoại lai phụ thuộc hàm xấp xỉ loại 45 v 2.7.3 Thuật toán xác định cặp ngoại lai phụ thuộc hàm xấp xỉ loại 46 2.8 Kết luận chƣơng 47 CHƢƠNG 3:ỨNG DỤNG PHỤ THUỘC HÀM XẤP XỈ KIỂU TƢƠNG QUAN HÀM SỐ ĐỂ PHÁT HIỆN PHẦN TỬ NGOẠI LAI 48 3.1 Bài tốn minh họa phát liệu sai sót doanh thu doanh nghiệp 48 3.2 Vấn đề chọn ngƣỡng thuật toán 48 3.3 Sơ đồ tính tốn phân tích kết 50 3.3.1 Sơ đồ tính tốn50 kết 51 3.4 Một số giao diện chƣơng trình 52 3.5 Kết luận chƣơng: Đánh giá kết đạt đƣợc hạn chế chƣơng trình thử nghiệm 61 KẾT LUẬN VÀ KIẾN NGHỊ 62 TÀI LIỆU THAM KHẢO 64 vi DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT TỪ VIẾT TẮT CSDL FD AFDs TIẾNG ANH TIẾNG VIỆT Database Cơ sở liệu Dependent Function Phụ thuộc hàm Approximate Functional Dependencies Phụ thuộc hàm xấp xỉ Dual Dependency Phụ thuộc đối ngẫu Multi Valued Dependency Phụ thuộc đa trị Join Dependency Phụ thuộc kết nối EJD Embedded Join Dependency Phụ thuộc kết nối nhúng SD Strong Dependency Phụ thuộc mạnh WD Weak Dependency Phụ thuộc yếu FFD Fuzzy Functional Dependency Phụ thuộc hàm mờ CPU Central processing unit DD MVD JD Bộ vi xử lý VAT Thuế NVL Nguyên vật liệu CNTT Công nghệ thông tin PTH Phụ thuộc hàm vii DANH MỤC CÁC BẢNG Bảng 1.1 Biểu diễn quan hệ r Bảng 1.2 Bảng thiết bị lƣu giữ thông tin mặt hàng Bảng 1.3 Quan hệ THISINH Bảng 1.4 Bảng quan hệ BANHANG 10 Bảng 1.5 Quan hệ thỏa phụ thuộc đa trị 13 Bảng 1.6 Quan hệ thỏa phụ thuộc kết nối 15 Bảng 1.7 Bảng tƣơng ứng với phụ thuộc kết nối 16 Bảng 1.8 Quan hệ DTNAM (Tên, Chiều cao, Cân nặng) 20 Bảng 2.1 Bảng liệu quan hệ số 36 Bảng 3.1 Số liệu doanh thu doanh nghiệp (input) 48 Bảng 3.2 DOANH THU 53 Bảng 3.3 DOANHTHU 54 Bảng 3.4 DOANH THU 57 Bảng 3.5 DOANH THU 58 Bảng 3.6 DOANH THU 59 viii DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình 1.1 Sơ đồ phát phần tử ngoại lai dựa theo luật CSDL quan hệ 29 Hình 3.1 Sơ đồ tính tốn 51 Hình 3.2 Giao diện chƣơng trình 52 Hình 3.3 Màn hình nhập liệu DOANHTHU 53 Hình 3.4 Kết DOANHTHU 54 Hình 3.5 Kết DOANHTHU (𝛿=0.01) 55 Hình 3.6 Kết DOANHTHU (𝛿=0.02) 55 Hình 3.7 Kết DOANHTHU (𝛿=0.03) 56 Hình 3.8 Kết DOANHTHU (𝛿=0.148) 56 Hình 3.9 Kết DOANHTHU 57 Hình 3.10 Kết DOANHTHU 58 Hình 3.11 Kết DOANHTHU (𝛿=0.01) 59 Hình 3.12 Kết DOANHTHU (𝛿=0.02) 60 Hình 3.13 Kết DOANHTHU (𝛿=0.021) 60 51 Chuẩn bị liệu tệp EXCEL Kiểm tra quan hệ có thỏa mãn PTH xấp xỉ loại theo ngƣỡng  Sử dụng thuật tốn kiểm tra … Chọn ngƣỡng  , tính Er  X E(  )i,j => Y E(  )i,j STOP s đ Xác định cặp ngoai lai Sử dụng thuật tốn nhận biết cặp ngoại lai… tính Fr   Xi ≈>σ Yi  Fr  ,  E(  )p,q  Er  : Xi  E(  )p,q , Yi  E(  )p,q s đ Lƣu cặp (tp,tq) vào TAPNGOAILAI Phân tích kết hiệu chỉnh sai sót Hình 3.1 Sơ đồ tính tốn 52 3.3.2 Phân tích kết Lập trình thử nghiệm giải lại máy tính tốn theo số liệu cho bảng đặt ECXEL (Doanh thu 1,…, Doanh thu 5) thu đƣợc kết nhƣ kiểm định tay để sai xót xảy đâu Trong q trình thử nghiệm, thử với trƣờng hợp cặp ngoại lai có cặp ngoại lai Có trƣờng hợp, nới ngƣỡng xấp xỉ để khảo sát kết khác 3.4 Một số giao diện chƣơng trình Khởi động chƣơng trình có hình khởi đầu với ngƣỡng xấp xỉ 0,01 đƣợc chọn: Hình 3.2 Giao diện chương trình Bấm phím “Tải doanh thu” chọn tệp EXCEL DOANH THU để nhập số liệu vào: 53 Bảng 3.2 DOANH THU Bản ghi THANG DOANH_THU CHI_NVL TIEN_LUONG VAT t1 1,450,267,320 580,271,928 507,823,562 41,019,035 t2 1,465,890,000 586,521,000 513,291,500 41,456,470 t3 1,500,540,000 600,381,000 525,419,000 42,426,670 t4 1,510,567,000 604,391,800 528,928,450 42,707,426 t5 1,515,680,000 605,437,000 530,718,000 42,430,590 Ta có hình nhập liệu: Hình 3.3 Màn hình nhập liệu DOANHTHU 54 Bấm phím “Tính tốn” thu đƣợc kết khơng có phần tử ngoại lai: Hình 3.4 Kết DOANHTHU Nếu chọn DOANH THU : Bảng 3.3 DOANHTHU Bản ghi THANG DOANH_THU CHI_NVL TIEN_LUONG VAT t1 1,450,267,320 580,271,928 507,823,562 41,019,035 t2 1,465,890,000 586,521,000 513,291,500 41,456,470 t3 1,500,540,000 600,381,000 525,419,000 42,426,670 t4 1,510,567,000 604,391,800 528,928,450 42,707,426 t5 1,515,680,000 680,437,000 530,718,000 48,030,590 55 Kết xác định đƣợc có cặp phần tử ngoại lai: Hình 3.5 Kết DOANHTHU (𝛿=0.01) Nới ngƣỡng xấp xỉ lên 0,02 có kết mới: Hình 3.6 Kết DOANHTHU (𝛿=0.02) 56 Nới ngƣỡng xấp xỉ lên 0,03 có kết mới: Hình 3.7 Kết DOANHTHU (𝛿=0.03) Nếu nâng ngƣỡng xấp xỉ lên 0,148 có kết khơng có phần tử ngoại lai: Hình 3.8 Kết DOANHTHU (𝛿=0.148) 57 Chọn bảng có quy mô liệu lớn DOANH THU Bảng 3.4 DOANH THU Bản THANG DOANH_THU CHI_NVL TIEN_LUONG VAT t21 21 1,488,588,861 610,400,546 521,236,102 43,128,040 t22 22 1,488,588,862 610,400,546 521,236,102 43,128,039 t23 23 1,488,588,863 610,400,546 521,236,102 43,128,038 t24 24 1,488,588,864 610,400,546 521,236,102 43,128,037 t25 25 1,488,588,865 610,400,546 521,236,102 43,128,036 t26 26 1,488,588,866 610,400,546 521,236,102 43,128,035 t27 27 1,488,588,867 610,400,546 521,236,102 43,128,034 t28 28 1,488,588,868 610,400,546 521,236,102 43,128,033 t29 29 1,488,588,869 610,400,546 521,236,102 43,128,032 t30 30 1,488,588,800 610,400,546 521,236,102 43,128,031 ghi Kết khơng có phần tử ngoại lai: Hình 3.9 Kết DOANHTHU 58 Chọn bảng có quy mô liệu lớn DOANH THU Bảng 3.5 DOANH THU t20 20 1,488,588,864 610,400,546 521,236,102 43,128,038 t21 21 1,488,588,864 610,400,546 521,236,102 43,128,038 t22 22 1,488,588,864 610,400,546 521,236,102 43,128,038 t23 23 1,488,588,864 610,400,546 521,236,102 43,128,038 t24 24 1,488,588,864 610,400,546 521,236,102 43,128,038 t25 25 1,488,588,864 610,400,546 521,236,102 43,128,038 t26 26 1,488,588,864 610,400,546 521,236,102 43,128,038 t27 27 1,488,588,864 610,400,546 521,236,102 43,128,038 t28 28 1,488,588,864 610,400,546 521,236,102 43,128,038 t29 29 1,488,588,864 610,400,546 521,236,102 43,128,038 t30 30 1,488,588,864 610,400,546 521,236,102 43,128,038 Kết có nhiều cặp phần tử ngoại lai: Hình 3.10 Kết DOANHTHU 59 Chọn bảng có quy mô liệu lớn DOANH THU Bảng 3.6 DOANH THU Bản THANG DOANH_THU CHI_NVL TIEN_LUONG VAT t21 21 1,488,588,861 610,400,546 521,236,102 439,128,040 t22 22 1,488,588,862 610,400,546 521,236,102 438,128,039 t23 23 1,488,588,863 610,400,546 521,236,102 437,128,038 t24 24 1,488,588,864 610,400,546 521,236,102 436,128,037 t25 25 1,488,588,865 610,400,546 521,236,102 435,128,036 t26 26 1,488,588,866 610,400,546 521,236,102 434,128,035 t27 27 1,488,588,867 610,400,546 521,236,102 433,128,034 t28 28 1,488,588,868 610,400,546 521,236,102 432,128,033 t29 29 1,488,588,869 610,400,546 521,236,102 431,128,032 t30 30 1,488,588,800 610,400,546 521,236,102 430,128,031 ghi Kết có nhiều cặp phần tử ngoại lai: Hình 3.11 Kết DOANHTHU (𝛿=0.01) 60 Nới ngƣỡng xấp xỉ lên 0,02 phát cặp phần tử ngoại lai: Hình 3.12 Kết DOANHTHU (𝛿=0.02) Nới ngƣỡng xấp xỉ lên 0,021 thu đƣợc kết khơng có phần tử ngoại lai: Hình 3.13 Kết DOANHTHU (𝛿=0.021) 61 3.5 Kết luận chƣơng: Đánh giá kết đạt đƣợc hạn chế chƣơng trình thử nghiệm A- Kết đạt đƣợc Kết thử nghiệm phản ánh tốt kết nghiên cứu đạt đƣợc mục tiêu đề Phần chƣơng trình đơn giản nhƣng thể rõ tính đắn thuật tốn thử nghiệm Nhận xét: - Kết thu đƣợc phụ thuộc nhiều vào giá trị ngƣỡng; - Ngƣỡng lớn số cặp phần tử ngoại lai B- Hạn chế chƣơng trình Chƣơng trình đơn giản; Chƣơng trình tự động tìm đƣợc cặp phần tử ngoại lai nhƣng chƣa rõ cần phải điều chỉnh nhƣ Việc điều chỉnh cần phải tiến hành thủ cơng sau 62 KẾT LUẬN VÀ KIẾN NGHỊ Qua tìm hiểu, học hỏi kinh nghiệm từ ngƣời nghiên cứu phụ thuộc hàm xấp xỉ kiểu tƣơng quan hàm số CSDL quan hệ xác định phần tử ngoại lai phụ thuộc hàm xấp xỉ CSDL quan hệ Cùng với hƣớng dẫn tận tình giảng viên hƣớng dẫn, học viên thu thập tìm hiểu tài liệu lĩnh vực phụ thuộc hàm, phụ thuộc hàm xấp xỉ kiểu tƣơng quan hàm số CSDL quan hệ, khai phá liệu đặc biệt phát phần tử ngoại lai CSDL quan hệ Để vận dụng kiến thức nghiên cứu vào việc hỗ trợ phát liệu sai sót báo cáo doanh thu doanh nghiệp; Đáp ứng đƣợc nhu cầu quản lý doanh thu doanh nghiệp Trong trình xây dựng ứng dụng thử nghiệm, học viên tìm hiểu số hệ thống có phân tích để đƣa giải pháp, thiết kế ứng dụng thử nghiệm vào đề tài - Kết đạt đƣợc: + Xác định phần tử ngoại lai phụ thuộc hàm xấp xỉ CSDL quan hệ + Xây dựng đƣợc chƣơng trình demo quản lý báo cáo doanh thu doanh nghiệp nhờ ứng dụng việc xác định phần tử ngoại lai phụ thuộc hàm xấp xỉ kiểu tƣơng quan hàm số CSDL quan hệ - Hạn chế: + Lĩnh vực khám phá phần tử ngoại lai chƣa có đƣợc quan tâm, đầu tƣ phát triển nƣớc + Lĩnh vực khám phá phần tử ngoại lai bƣớc đầu đƣợc thực quan tâm nghiên cứu - Hƣớng phát triển: 63 + Nghiên cứu vận dụng kiến thức nghiên cứu vào việc hỗ trợ phát liệu sai sót báo cáo doanh thu doanh nghiệp phát thẻ bất thƣờng hệ thống ngân hàng, tuyến đƣờng bất ổn không hợp lý giao thông, ứng dụng hệ thống an ninh, dự báo thời tiết, thị trƣờng chứng khoán, lĩnh vực thể thao, y tế, giáo dục,… + Nâng cấp phần mềm triển khai vào thực tế cho doanh nghiệp để kiểm chứng đƣợc tính hiệu giải pháp đề tài 64 TÀI LIỆU THAM KHẢO A Tiếng Việt [1] Nguyễn Đăng Nguyên (2017), Phương pháp xây dựng định dựa tập phụ thuộc hàm xấp xỉ, Luận văn Thạc sỹ chuyên ngành Khoa học máy tính, Đại học CNTT&TT Thái Nguyên [2] Lê Văn Phùng (2018), Cơ sở liệu quan hệ cơng nghệ phân tích thiết kế, Tái lần 1, Nhà xuất Thông tin Truyền thông [3] Lê Văn Phùng, Quách Xuân Trƣởng (2017), Khai phá liệu, Tái lần 1, Nhà xuất Thông tin Truyền thông [4] Phạm Hạ Thủy (2005), Xác định phần tử ngoại lai sở liệu quan hệ, Hội thảo khoa học “Một số vấn đề chọn lọc CNTT”, Hải Phòng, tháng 8, Viện Công nghệ thông tin, Viện Hàn Lâm KH&CN Việt Nam [5] Phạm Hạ Thủy (2007), Nghiên cứu phần tử ngoại lai sở liệu ứng dụng, Luận án tiến sĩ, Viện Công nghệ thông tin, Viện Hàn Lâm KH&CN Việt Nam B Tiếng Anh [6] Edwin M Knorr (2000), Outliers And Datamining: Finding Exceptions In Data Ph:b Disertation, University of British Columbia, 2002 [7] Jia Wei Han, Michiline Kember (2001), Datamining MorGan KauFmann Publishers Academic Press 65 [8] Ykä Huhtala, Juha Kärkkäinen, Hannu Toivonen: Published 1999 in Data Mining and Knowledge Discovery [9] , 2009, pp 269–283 Jalal Atoum and Ayman Elholoul, “An Improved Efficient Personalized Data Mining Intrusion Detection System” [10] Hawkins (Hawkins, 1980) Defines an outlier as an observation that deviates so much from other observations as to arouse suspicion that it was generated by a [11] E.F.Codd (1923-2003) Derivability, Redundancy, and Consistency of Ralations Stored in Large Data Banks [12] 1974 W.W.Armstrong Dependency structures relationships Information Processing of database ... cặp ngoại lai phụ thuộc hàm 42 2.6.3 Phần tử ngoại lai dạng phụ thuộc hàm đặc biệt 43 2.6.4 Phần tử ngoại lai dạng phụ thuôc hàm xấp xỉ loại 45 2.7 Phần tử ngoại lai phụ thuộc hàm xấp xỉ. .. Ứng dụng phụ thuộc hàm xấp xỉ kiểu tƣơng quan hàm số để phát phần tử ngoại lai - Kết luận Kiến nghị - Tài liệu tham khảo CHƢƠNG TỔNG QUAN VỀ PHỤ THUỘC HÀM VÀ PHẦN TỬ NGOẠI LAI 1.1 Khái quát phụ. .. xỉ kiểu tƣơng quan hàm số CSDL quan hệ Nhiệm vụ nghiên cứu - Tìm hiểu phần tử ngoại lai, phụ thuộc hàm, phụ thuộc hàm xấp xỉ kiểu tƣơng quan hàm số CSDL quan hệ - Tìm hiểu phần tử ngoại lai phụ