Luật kết hợp âm dương và ứng dụng trong công tác bình ổn giá

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN HỮU HOÀNG LUẬT KẾT HỢP ÂM DƯƠNG VÀ ỨNG DỤNG TRONG CƠNG TÁC BÌNH ỔN GIÁ LUẬN VĂN THẠC SĨ Hà Nội - 2011 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ o0o NGUYỄN HỮU HOÀNG LUẬT KẾT HỢP ÂM DƯƠNG VÀ ỨNG DỤNG TRONG CƠNG TÁC BÌNH ỔN GIÁ Ngành: Công nghệ Thông tin Chuyên ngành: Hệ thống thông tin Mã số: LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS ĐỖ VĂN THÀNH Hà Nội - 2011 Chương Giới thiệu lu 1.1 Lời mở đầu 1.2 Tổng quan luật kết hợp 1.2.1 Khái niệm luậ 1.2.2 Giải thuật Ap 1.3 Luật kết hợp mẫu âm 1.3.1 Khái niệm luậ 1.3.2 Các giai đoạn 1.3.3 Thuật toán ph 1.4 Kết luận chương Chương Xác định 2.1 Bài toán 2.2 Quá trình thu thập số liệu 2.2.1 Nhóm dân sin 2.2.2 Nhóm nhập k 2.2.3 Nhóm xuất kh 2.2.4 Nhóm mặ 2.3 Phần mềm sử dụng để phát luật kết h 2.3.1 Giới thiệu ph 2.3.2 Xử lý file 2.3.3 Xác định luật 2.4 Kết luận chương Chương Phát mối quan hệ biến động giá mặt hàng dân sinh 3.1 Mở đầu chương 3.2 Chuyển đổi biểu diễn liệu 3.2.1 Bước 3.2.2 Bước 3.2.3 Bước 3.3 Thực chạy phần mềm CBA đ 3.4 Xác định mối quan hệ giá p 3.4.1 giá, giữ nguyên giá Luật kế 3.4.2 giá Luật kế ……… 3.4.3 Luật kế 3.4.4 : ………………………………………………………… 58 Luật kế 3.4.5 giới Luật kế 3.5 Kết luận chương Kết luận Tài liệu tham khảo Phụ lục Phụ lục 1: Danh sách mặt hàng Phụ lục 2: Kết luật phát DANH MỤC CSDL Cơ sở liệu CNTT Công nghệ thông tin NK Nhập XK Xuất KT-XH Kinh tế xã hội DM Data Mining (Khai phá CPI Consumer Price Index (Chỉ AI Artificial Intelligence (Trí t DSS Decision Suport System (H MỞ ĐẦU Trong năm gần chứng kiến giá nhiều mặt hàng thiết yếu đời sống dân sinh, nhiều mặt hàng xuất, nhập chủ đạo kinh tế tăng cao Việc biến động giá lạm phát xẩy nhiều nguyên nhân, cung khơng đáp ứng đủ cầu; chi phí sản xuất doanh nghiệp bị đẩy lên; đầu cơ, lợi dụng kẽ hở, hội để tăng giá kiếm lời cao; giá nhập số nguyên liệu quan trọng kinh tế tăng cao; thiên tai, bão lụt, dịch bệnh gây ra; yêu cầu tiêu dùng hàng hoá dịch vụ xã hội thay đổi hay tác động mơi trường kinh tế, trị quốc tế… biến động thay đổi nhanh, chí hàng ngày; địa bàn khác có mức độ thay đổi khác Thời gian qua Chính phủ thực nhiều giải pháp để bình ổn giá kìm chế lạm phát, giải pháp lý thuyết kinh tế, nhiên tác động chúng lại không đạt mong muốn Một nguyên nhân tình trạng chưa định lượng tác động thực mặt hàng, có biến đổi giá Đề tài nằm hướng góp phần xác định nguyên nhân nhằm phục vụ đề xuất giải pháp bình ổn giá kìm chế lạm phát tăng cao nước ta Cụ thể đề tài tập trung nghiên cứu quan hệ nhân tình hình biến động giá mặt hàng xuất, nhập chủ đạo sản phẩm thiết yếu đời sống dân sinh nước ta Đồng thời kết luận văn làm làm tàng để xây dựng mơ hình dự báo giá áp dụng công thương Đề tài nghiên cứu dựa luật kết hợp (một những kỹ thuật quan trọng khai phá liệu - data mining) Nội dung luận văn chia thành ba chương sau: Chương 1: Giới thiệu luật kết hợp, luật kết hợp mẫu âm Chương 2: Xác định toán ứng dụng phát luật kết hợp mẫu âm Chương 3: Phát luật kết hợp mẫu âm Cuối cùng, phần kết luận trình bày số kết đạt luận văn hướng nghiên cứu tương lai Chương Giới thiệu luật kết hợp, luật kết hợp mẫu âm 1.1 Lời mở đầu Trong giao dịch mua bán, nhận thấy chủng loại mặt hàng lớn số lượng giao dịch có chứa đồng thời số mặt hàng xác định chiếm tỉ lệ đáng quan tâm Trên thực tế người mua ai, vấn đề đặt trùng lặp có ngẫu nhiên hay có qui luật hay khơng? Đó tiền đề cho đời luật kết hợp 1.2 Tổng quan luật kết hợp 1.2.1 Khái niệm luật kết hợp 1.2.1.1 Định nghĩa Để đơn giản hóa, hiểu luật kết hợp sau: luật kết hợp luật mối quan hệ hai hay nhiều đối tượng (đối tượng xét mặt hàng) Cấu trúc luật sau: A=>B (sup, conf) Có nghĩa luật có A kéo theo B với độ hỗ trợ sup độ tin cậy conf Trong đó: - sup= support (độ hỗ trợ): tỉ lệ giao dịch chứa hai mặt hàng A B tổng số giao dịch - conf= confidence (độ tin cậy): tỉ lệ giao dịch chứa mặt hàng B giao dịch chứa mặt hàng A Nếu nhìn nhận luật kết hợp theo lý thuyết tập hợp định nghĩa sau: Cho tập I = { I 1, I2,…, Im } tập m mục, giao dịch T định nghĩa tập khoản mục I (T I) Gọi D CSDL n giao dịch giao dịch đánh nhãn với định danh Nói rằng, giao dịch T D hỗ trợ tập X I chứa tất mục tập X, điều có nghĩa X T, số trường hợp người ta dùng ký hiệu T(X) để tập giao dịch hỗ trợ cho X Kí hiệu support(X) (hoặc sup(X), s(X)) tỷ lệ phần trăm giao dịch hỗ trợ X tổng giao dịch D, nghĩa là: sup(X)= Độ hỗ trợ tối thiểu minsup giá trị cho trước người sử dụng Nếu tập mục X có sup(X) minsup ta nói X tập mục phổ biến Các phần sau sử dụng cụm từ khác “X có độ hỗ trợ tối thiểu”, hay “X khơng có độ hỗ trợ tối thiểu” để nói lên X thỏa mãn hay không thỏa mãn support(X) minsup Một luật kết hợp có dạng R: X => Y, X, Y tập mục; X, Y I X Y = Luật X => Y tồn độ tin cậy c Độ tin cậy c định nghĩa khả giao dịch T hỗ trợ X hỗ trợ Y Cơng thức để xác định độ tin cậy c sau: conf(X =>Y) = p(Y I | X I ) = Qua định nghĩa cho thấy trình khai phá luật kết hợp phải thực thông qua hai bước: Bước 1: Tìm tất tập mục mà có độ hỗ trợ lớn độ hỗ trợ tối thiểu người dùng xác định Các tập mục thoả mãn độ hỗ trợ tối thiểu gọi tập mục phổ biến Bước 2: Dùng tập mục phổ biến để sinh luật mong muốn Ý tưởng chung gọi ABCD AB tập mục phổ biến, xác định luật AB => CD giữ lại với tỷ lệ độ tin cậy: (3) Nếu conf ≥ minconf luật giữ lại (luật thoả mãn độ hỗ trợ tối thiểu ABCD phổ biến) 1.2.1.2 Ý nghĩa Một ứng dụng quan trọng luật kết hợp phân tích thị trường Đó việc phân tích thói quen mua hàng khách để tìm kết hợp mặt hàng khác lần mua hàng họ Thực tế, lần mua hàng siêu thị khách hàng mua bánh mì, thường họ mua sữa Hoặc lần người mua hàng mua máy tính xách tay khơng mua máy tính để bàn…Thơng tin dẫn người bán lựa chọn mặt hàng để xếp chúng giá hàng, người bán đặt sữa bánh mì phạm vi gần kề để gây tác động tích cực tới việc mua khách cho hai mặt hàng Việc nhận mặt hàng thường mua nhau, mặt hàng thường không mua giúp người bán hàng bán nhiều hàng tăng doanh thu Khai thác luật kết hợp nhằm tìm mối liên kết đáng quan tâm quan hệ tương quan tập lớn đối tượng Trong giao dịch thương mại 10 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 2010 10 1,007 881 707 620 620 811 811 811 811 800 800 800 800 800 800 855 855 873 873 366 366 366 366 366 396 396 NA11 NA12 NA12 NA12 NA10 NA11 NA10 NA10 NA10 NA12 NA10 NA10 NA10 NA10 NA10 NA11 NA10 NA11 NA10 NA12 NA10 NA10 NA10 NA10 NA11 NA10 10 11 12 13 14 15 16 112 113 114 115 116 117 118 119 120 396 396 420 433 433 433 433 433 433 NA10 NA10 NA11 NA11 NA10 NA10 NA10 NA10 NA10 Một số mặt hàng xuất khẩu: STT Năm 2008 Tuần Dầu thô thứ (USD/tấn) XA1 11 677 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 12 677 719 711 711 709 720 677 677 677 692 692 746 754 754 762 763 763 766 832 846 846 919 919 914 914 969 XA10 XA11 XA12 XA10 XA12 XA11 XA12 XA10 XA10 XA11 XA10 XA11 XA11 XA10 XA11 XA11 XA10 XA11 XA11 XA11 XA10 XA11 XA12 XA12 XA10 XA11 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 2009 13 969 996 947 913 919 919 749 749 880 838 838 843 590 590 590 749 414 462 462 806 806 383 349 273 273 346 XA10 XA11 XA12 XA12 XA11 XA10 XA12 XA10 XA11 XA12 XA10 XA11 XA12 XA12 XA10 XA11 XA12 XA11 XA10 XA11 XA10 XA12 XA12 XA12 XA10 XA11 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 14 321 339 373 374 379 379 379 386 385 381 390 404 392 392 390 384 380 377 378 377 377 379 396 407 410 428 XA12 XA11 XA11 XA11 XA11 XA11 XA12 XA11 XA12 XA12 XA11 XA11 XA12 XA10 XA12 XA12 XA12 XA12 XA11 XA12 XA12 XA11 XA11 XA11 XA11 XA11 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 2010 15 447 474 496 499 500 525 532 533 532 532 528 532 527 532 559 582 547 571 566 538 599 607 606 606 606 607 XA11 XA11 XA11 XA11 XA11 XA11 XA11 XA11 XA12 XA11 XA12 XA11 XA12 XA11 XA11 XA11 XA12 XA11 XA12 XA12 XA11 XA11 XA12 XA11 XA10 XA11 10 11 12 13 14 15 16 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 16 608 609 610 611 612 613 614 615 616 617 618 619 620 621 622 XA11 XA11 XA11 XA11 XA11 XA11 XA11 XA11 XA11 XA11 XA11 XA11 XA11 XA11 XA11 Phụ lục 2: Kết luật phát Mục 1: Luật kết hợp mặt hàng với đầy đủ trạng thái tăng giá, giảm giá giữ nguyên giá: Rule 1: DH20 = Y (96.610% 93.86% 114 107 90.678%) Rule 2: DA60 = Y (92.373% 98.17% Rule 3: DH30 = Y (96.610% 93.86% 114 107 90.678%) Rule 4: DA60 = Y (92.373% 98.17% Rule 5: DK40 = Y (97.458% 93.04% 115 107 90.678%) Rule 6: DA60 = Y (92.373% 98.17% 109 107 90.678%) Rule 7: DD20 = Y (96.610% 94.74% 114 108 91.525%) Rule 8: DC80 = Y (94.915% 96.43% 112 108 91.525%) Rule 9: DH20 = Y (96.610% 95.61% Rule 10: DC80 = Y (94.915% 97.32% 112 109 92.373%) Rule 11: DH30 = Y Rule 22: DD20 = Y (96.610% 93.86% 114 107 90.678%) Rule 23: DH10 = Y (94.915% 96.43% 112 108 91.525%) Rule 24: DD20 = Y (96.610% 94.74% 114 108 91.525%) Rule 25: DH20 = Y (96.610% 96.49% 114 110 93.220%) Rule 26: DD20 = Y (96.610% 96.49% 114 110 93.220%) Rule 27: DH30 = Y (96.610% 96.49% 114 110 93.220%) Rule 28: DD20 = Y (96.610% 96.49% 114 110 93.220%) Rule 29: DK20 = Y (94.915% 96.43% 112 108 91.525%) Rule 30: DD20 = Y (96.610% 94.74% 114 108 91.525%) Rule 31: DK40 = Y (97.458% 96.52% 115 111 94.068%) Rule 32: DD20 = Y (96.610% 97.37% 114 111 94.068%) Rule 33: DK50 = Y (94.068% 97.30% 111 108 91.525%) Rule 34: DD20 = Y (96.610% 94.74% 114 108 91.525%) Mục 2: Luật kết hợp mặt hàng xem xét trạng thái tăng giá, giảm giá loại bỏ trạng thái giữ nguyên giá: (52.101% 82.26% 62 51 42.857%) -> (41.176% 85.71% 49 42 35.294%) -> (41.176% 85.71% 49 42 35.294%) -> (42.857% 82.35% 51 42 35.294%) -> (35.294% 92.86% 42 39 32.773%) -> (38.655% 84.78% 46 39 32.773%) -> (37.815% 86.67% 45 39 32.773%) Rule 15: WA21 = Y -> WA31 = Y (44.538% 86.79% 53 46 38.655%) Rule 16: WA31 = Y -> WA21 = Y (41.176% 93.88% 49 46 38.655%) Rule 17: WA21 = Y -> WA11 = Y (35.294% 85.71% 42 36 30.252%) Rule 18: WA81 = Y -> WA21 = Y (35.294% 85.71% 42 36 30.252%) Rule 19: WA11 = Y (52.101% 85.48% 62 53 44.538%) Mục 3: Luật kết hợp mặt hàng thuộc nhóm dân sinh: Rule 1: DB71 = Y -> DA81 = (13.445% 81.25% Rule 2: DB71 = Y -> DA91 = (13.445% 81.25% Rule 3: DA92 = Y -> DK71 = (10.924% 92.31% Rule 7: DC32 = Y -> DK71 = (13.445% 81.25% Rule 8: DF21 = Y -> DK71 = (12.605% 86.67% Rule 9: DA82 = Y -> DA92 = (11.765% 85.71% Rule 10: DH62 = Y (11.765% 85.71% Rule 11: DB12 = Y -> DA92 = Mục 4: Luật kết hợp mặt hàngthuộc nhóm dân sinh loại vàng, la mỹ: Rule 1: DB11 = Y -> DA91 = (16.102% 78.95% Rule 2: DA91 = Y -> DB11 = (16.949% 75.00% Rule 3: DB71 = Y -> DA81 = (13.559% 81.25% Rule 4: DB71 = Y -> DA91 = (13.559% 81.25% 16 13 11.017%) Rule 9: DA92 = Y -> DA82 = Y (12.712% 80.00% Rule 10: DA82 = Y (23.729% 78.57% Rule 11: DB12 = Y -> DA92 = Y Mục 5: Luật kết hợp mặt hàngthuộc nhóm dân sinh nhóm nhập khẩu: -> DK61 = (18.487% 81.82% -> NA51 = (17.647% 85.71% -> NA51 = (18.487% 81.82% -> NA51 = (17.647% 90.48% Rule 11: NB31 = Y -> NA51 = (19.328% 86.96% Rule 12: NB31 = Y -> NA51 = (22.689% 81.48% Rule 13: DF21 = Y (18.487% 86.36% Mục 6: Luật kết hợp mặt hàngthuộc nhóm nhập khẩu, xuất mặt hàng giới: Rule 1: WA11 = Y (52.542% 82.26% 62 51 43.220%) Rule 2: WA31 = Y -> WA11 = (41.525% 85.71% 49 42 35.593%) Rule 3: WA31 = Y -> WA41 = (41.525% 85.71% 49 42 35.593%) Rule 4: WA41 = Y -> WA31 = (43.220% 82.35% 51 42 35.593%) Rule 5: WA21 = Y -> WA11 = (44.068% 86.54% 52 45 38.136%) Rule 11: WA21 = Y -> WA31 = (44.915% 86.79% 53 46 38.983%) Rule 12: WA31 = Y -> WA21 = (41.525% 93.88% 49 46 38.983%) Rule 13: WA21 = Y (56.780% 79.10% 67 53 44.915%) Rule 14: WA11 = Y (52.542% 85.48% 62 53 44.915%) Rule 15: WA31 = Y (53.390% 77.78% 63 49 41.525%) Rule 16: WA21 = Y -> WA41 = (44.068% 80.77% 52 42 35.593%) Rule 17: WA21 = Y -> WA31 = (44.068% 80.77% 52 42 35.593%) ... đề luật kết hợp, luật kết hợp mẫu âm Ý nghĩa thực tế việc khai phá luật kết hợp mẫu âm Và phân tích bước để phát luật kết hợp, luật kết hợp mẫu âm Một số thuật toán phổ biến khai phá luật kết hợp, ... luật kết hợp mẫu âm chia làm giai đoạn: Xác định tập luật kết hợp dương Sinh luật kết hợp âm dựa vào luật kết hợp dương có bước miền tri thức có Loại luật dư thừa 1.3.3 Thuật toán phát luật kết. .. 1: Giới thiệu luật kết hợp, luật kết hợp mẫu âm Chương 2: Xác định toán ứng dụng phát luật kết hợp mẫu âm Chương 3: Phát luật kết hợp mẫu âm Cuối cùng, phần kết luận trình bày số kết đạt luận