Gom cụm dữ liệu chuỗi thời gian sử dụng độ đo xoắn thời gian động

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA LÊ HỮU THÀNH GOM CỤM DỮ LIỆU CHUỖI THỜI GIAN SỬ DỤNG ĐỘ ĐO XOẮN THỜI GIAN ĐỘNG Chuyên ngành: Khoa học Máy tính LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, Tháng năm 2011 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH Cán hướng dẫn khoa học : PGS TS Dương Tuấn Anh Cán chấm nhận xét : PGS TS Đỗ Phúc Cán chấm nhận xét : TS Quản Thành Thơ Luận văn thạc sĩ bảo vệ tại: Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 29 tháng 07 năm 2011 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: TS Nguyễn Văn Minh Mẫn (CT) PGS.TS Đỗ Phúc (PB1) TS Quản Thành Thơ (PB2) PGS.TS Dương Tuấn Anh (UV) TS Phạm Văn Chung (TK) Chủ tịch hội đồng đánh giá LV (Họ tên chữ ký) TS Nguyễn Văn Minh Mẫn Bộ môn quản lý chuyên ngành (Họ tên chữ ký) ĐẠI HỌC QUỐC GIA TP HCM CỘNG HOÀ XÃ HỘI CHỦ NGHIÃ VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc Lập - Tự Do - Hạnh Phúc -oOo Tp HCM, ngày tháng năm 2011 NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên : Lê Hữu Thành - Giới tính : Nam / Nữ Ngày, tháng, năm sinh : 18/07/1984 - Nơi sinh : Quảng Trị -Chuyên ngành : Khoa học Máy tính - MSHV : 09070461 -Khoá : 2009 1- TÊN ĐỀ TÀI : Gom cụm liệu chuỗi thời gian sử dụng độ đo xoắn thời gian động 2- NHIỆM VỤ LUẬN VĂN : Tìm hiểu kỹ thuật tính chuỗi trung bình sử dụng độ đo xoắn thời gian động -Tìm hiểu kỹ thuật từ bỏ sớm(early abandoning) để nâng cao hiệu tính tốn độ đo xoắn thời gian động Hiện thực thực nghiệm giải thuật gom cụm K-means sử dụng độ đo xoắn thời gian động với kỹ thuật tính chuỗi trung bình khác để xác định kỹ thuật tính chuỗi trung bình hiệu 3- NGÀY GIAO NHIỆM VỤ : -4- NGÀY HOÀN THÀNH NHIỆM VỤ : 5- HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN : PGS TS Dương Tuấn Anh Nội dung đề cương Luận văn thạc sĩ Hội Đồng Chuyên Ngành thông qua CÁN BỘ HƯỚNG DẪN (Họ tên chữ ký) CHỦ NHIỆM BỘ MÔN KHOA QL CHUYÊN NGÀNH QUẢN LÝ CHUYÊN NGÀNH (Họ tên chữ ký) (Họ tên chữ ký) PGS TS Dương Tuấn Anh LUẬN VĂN TỐT NGHIỆP CAO HỌC LỜI CAM ĐOAN Tôi cam đoan rằng, ngoại trừ kết tham khảo từ cơng trình khác ghi rõ luận văn, cơng việc trình bày luận văn tơi thực chưa có phần nội dung luận văn nộp để lấy cấp trường trường khác Ngày tháng năm 2011 Lê Hữu Thành LÊ HỮU THÀNH-09070461 i LUẬN VĂN TỐT NGHIỆP CAO HỌC LỜI CẢM ƠN Tôi xin gởi lời cảm ơn chân thành sâu sắc đến PGS TS Dương Tuấn Anh, Thầy tận tình hướng dẫn, định hướng tơi từ cách đặt vấn đề, phương pháp nghiên cứu khoa học đến công việc cụ thể luận văn Xin chân thành cảm ơn tất quý Thầy Cô Khoa Khoa học Kỹ Thuật Máy Tính tận tình truyền đạt kiến thức quý báu cho suốt trình học tập Cuối hết, cảm ơn gia đình động viên tạo điều kiện tốt để tiếp tục đường học tập nghiên cứu Con trân trọng dành tặng thành luận văn cho Ba Mẹ gia đình LÊ HỮU THÀNH-09070461 ii LUẬN VĂN TỐT NGHIỆP CAO HỌC TÓM TẮT Dữ liệu chuỗi thời gian tồn nhiều lĩnh vực tài chính, chứng khốn, y học, thời tiết, mơi trường, địa lý,…Nhu cầu khai phá thông tin từ liệu lớn, gom cụm liệu chuỗi thời gian tiến trình quan trọng q trình đọng tổng qt hóa liệu Gom cụm liệu chuỗi thời gian q trình học khơng giám sát, cơng cụ độc lập để xem xét phân bố liệu bước tiền xử lý cho thuật toán khác phân lớp, tiên đoán, định Một giải thuật gom cụm thông dụng K-means ưu điểm bật nhanh dễ thực, độ đo thường áp dụng cho giải thuật độ đo Euclid Tuy nhiên liệu chuỗi thời gian việc ánh xạ 1-1 độ đo Euclid cứng nhắc, nhiều lúc không phù hợp, đặc biệt liệu đa phương tiện Đề tài trình bày vấn đề việc sử dụng độ đo xoắn thời gian động với giải thuật K-means để gom cụm liệu chuỗi thời gian nhằm khắc phục nhược điểm độ đo Euclid Những khó khăn việc áp dụng độ phức tạp độ đo phương pháp tính chuỗi trung bình cho giải thuật K-means Qua đề tài tìm hiểu áp dụng giải thuật từ bỏ sớm để nâng cao hiệu tính độ đo xoắn thời gian động, đề xuất kỹ thuật khởi tạo trung tâm cụm cho giải thuật K-means, tìm hiểu số giải thuật tính trung bình theo độ đo xoắn thời gian động để xây dựng hệ thống gom cụm liệu Thực nghiệm cho thấy chất lượng gom cụm sử dụng độ đo xoắn thời gian động tốt độ đo Euclid LÊ HỮU THÀNH-09070461 iii LUẬN VĂN TỐT NGHIỆP CAO HỌC MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii TÓM TẮT iii MỤC LỤC iv DANH MỤC HÌNH vi DANH MỤC BẢNG viii CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI 1.1 Giới thiệu liệu chuỗi thời gian 1.2 Gom cụm liệu chuỗi thời gian 1.3 Mục tiêu đề tài .5 1.4 Tóm lược kết đạt .6 1.5 Cấu trúc luận văn CHƯƠNG 2: TỔNG QUAN CÁC CÔNG TRÌNH LIÊN QUAN 2.1 Các độ đo tương tự chuỗi thời gian .8 2.1.1 Độ đo Minkowski .9 2.1.2 Độ đo xoắn thời gian động .11 2.2 Các phương pháp thu giảm số chiều 12 2.2.1 Phương pháp biến đổi Fourier rời rạc 12 2.2.2 Phương pháp biến đổi Wavelet rời rạc 13 2.2.3 Phương pháp phân rã giá trị riêng 14 2.2.4 Phương pháp xấp xỉ gộp đoạn 15 2.2.5 Phương pháp xấp xỉ đoạn thích nghi .16 2.2.6 Phương pháp xấp xỉ tuyến tính đoạn .16 2.3 Các phương pháp rời rạc hóa liệu 17 2.4 Các giải thuật gom cụm liệu 18 2.4.1 Giải thuật gom cụm liệu theo phân cấp .18 2.4.2 Giải thuật K-Means .19 2.4.3 Giải thuật K-Medoids 21 2.5 Các phương pháp gom cụm liệu chuỗi thời gian 22 2.5.1 Áp dụng phương pháp PCA thu giảm số chiều sau dùng phương pháp HAC để gom cụm liệu 22 2.5.2 Gom cụm liệu dựa đặc trưng(Áp dụng phương pháp thu giảm số chiều dựa biến đổi Wavelet trực giao) .24 LÊ HỮU THÀNH-09070461 iv LUẬN VĂN TỐT NGHIỆP CAO HỌC 2.5.3 Thuật toán I-kMeans .25 2.6 Phương pháp tính giá trị trung bình dựa độ đo DTW 27 2.6.1 Phương pháp tính trung bình Gupta cộng 27 2.6.2 Giải thuật tính trung bình cụm liệu PSA 28 2.6.3 Giải thuật tính trung bình cụm liệu DBA 29 CHƯƠNG 3: CƠ SỞ LÝ THUYẾT 30 3.1 Giải thuật tính độ đo xoắn thời gian động 30 3.2 Giải thuật tính trung bình cụm liệu PSA 37 3.3 Giải thuật tính trung bình cụm liệu DBA .41 3.4 Vấn đề chọn số cụm K tối ưu .43 3.5 Các phương pháp đánh giá chất lượng gom cụm liệu 44 CHƯƠNG 4: HỆ THỐNG GOM CỤM DỮ LIỆU CHUỖI THỜI GIAN 47 4.1 Đặt vấn đề 47 4.2 Hướng giải 48 4.3 Kiến trúc chi tiết hệ thống 55 CHƯƠNG 5: THỰC NGHIỆM 59 5.1 Đánh giá độ xác thời gian chạy giải thuật gom cụm 59 5.1.1 Giới thiệu tập liệu 60 5.1.2 Đánh giá chất lượng gom cụm giải thuật 62 5.1.3 Đánh giá thời gian thực thi số lần lặp giải thuật 64 5.2 Đánh giá ảnh hưởng kỹ thuật khởi tạo trung tâm cụm đến kết gom cụm 66 5.2.1 Đánh giá ảnh hưởng chất lượng kết gom cụm 66 5.2.2 Đánh giá ảnh hưởng thời gian chạy giải thuật K-means 67 5.3 Kết luận 69 CHƯƠNG 6: KẾT LUẬN 70 6.1 Tổng kết 70 6.2 Những đóng góp đề tài : 70 6.3 Hướng phát triển 71 TÀI LIỆU THAM KHẢO 72 PHỤ LỤC A: BẢNG ĐỐI CHIẾU THUẬT NGỮ ANH – VIỆT A1 PHỤ LỤC B: LÝ LỊCH TRÍCH NGANG B1 LÊ HỮU THÀNH-09070461 v LUẬN VĂN TỐT NGHIỆP CAO HỌC DANH MỤC HÌNH Hình 1.1: Dữ liệu chuỗi thời gian Hình 1.2: Ba hướng tiếp cận gom cụm liệu chuỗi thời gian: (a) gom cụm trực tiếp, (b) gom cụm đặc trưng, (c) gom cụm dựa mơ hình (nguồn [25]) .3 Hình 1.3: Ảnh hưởng độ đo xác việc gom cụm liệu (nguồn [15]) Hình 2.1: Minh họa hình dạng liệu chuỗi thời gian có hai đường giống đường khác nhau(nguồn[17]) 10 Hình 2.2: Minh họa hình dạng liệu chuỗi thời gian có hai đường giống biên độ giao động khác nhau(nguồn[17]) 10 Hình 2.3: Sự khác hai độ đo Euclid DTW (nguồn[17]) 11 Hình 2.4: Các phương pháp biểu diễn liệu DFT, DWT, SVD (nguồn [17]) .14 Hình 2.5: Các phương pháp biểu diễn liệu APCA, PAA, PLA (nguồn [17]) 15 Hình 2.6: Minh họa phương pháp rời rạc hóa liệu chuỗi thời gian phương pháp SAX Kết thu ta có chuỗi ký tự “baabccbc “ (nguồn [26]) 17 Hình 2.7: Gom cụm liệu theo phân cấp 18 Hình 2.8: Minh họa nhược điểm giải thuật K-means 20 Hình 2.9: Minh họa trình gom cụm liệu thuật tốn K-means .20 Hình 2.10: Minh họa phân cụm cho liệu chuỗi thời gian(nguồn [15]) .22 Hình 2.11: Mơ q trình chạy thuật toán I-kMeans(nguồn [27]) 26 Hình 2.12: Hai phương pháp tính trung bình : (a) trung bình phân cấp cân (b) trung bình phân cấp (nguồn [29]) 28 Hình 3.1:Minh họa cách tính khoảng cách theo DTW(nguồn [15]) 32 Hình 3.2:Đồ thị biểu diễn hai chuỗi thời gian 33 Hình 3.3: Ma trận tính DTW cho hai chuỗi thời gian 33 Hình 3.4: Ràng buộc miền tính tốn độ đo xoắn thời gian động(nguồn [15]) .35 Hình 3.5: Minh họa cho đường bao U L(nguồn [15]) 36 Hình 3.6: Chặn LB_Keogh cho khoảng cách DTW (nguồn [15]) 37 Hình 3.7: Kết tính trung bình a) trung bình theo biên độ, b) trung bình theo DTW, c) trung bình theo SDTW(nguồn [30]) 38 Hình 3.8: Minh họa giải thuật tính trung bình PSA(nguồn [30]) 40 LÊ HỮU THÀNH-09070461 vi LUẬN VĂN TỐT NGHIỆP CAO HỌC Hình 3.9: Các lần lặp giải thuật DBA(nguồn [8]) 43 Hình 4.1: Minh họa giải thuật EA_DTW .49 Hình 4.2: Minh họa kỹ thuật khởi tạo trung tâm cụm Al-Daoud 52 Hình 4.3: Minh họa kỹ thuật khởi tạo trung tâm cụm(đề xuất) .54 Hình 4.4: Kiến trúc chi tiết hệ thống gom cụm liệu chuỗi thời gian 55 Hình 4.5: Chuẩn hóa liệu 56 Hình 4.6: Trực quan hóa kết đồ thị .57 Hình 5.1: Hệ thống thực nghiệm 59 Hình 5.2: Hình minh họa tập liệu Heterogeneous 61 Hình 5.3: Kết đánh giá gom cụm tập liệu Stock dựa hàm mục tiêu 64 Hình 5.4: Thời gian thực thi gom cụm tập liệu 65 Hình 5.5: Số lần lặp gom cụm tập liệu 65 Hình 5.6: So sánh thời gian thực thi gom cụm tập liệu Heterogeneous 67 Hình 5.7: So sánh thời gian thực thi gom cụm tập liệu Synthetic Control 68 Hình 5.8: So sánh thời gian thực thi gom cụm tập liệu Trace 68 LÊ HỮU THÀNH-09070461 vii LUẬN VĂN TỐT NGHIỆP CAO HỌC K = 10, cửa sổ xoắn w=10, chiều dài thu giảm PAA = 64 Chúng tiến hành đo đạc hàm mục tiêu cho giải thuật kết hình 5.3: Objective Function 9000 8000 7000 6000 5000 4000 3000 2000 1000 Objective Value EUCLID NLAAF1 NLAAF2 PSA DBA Hình 5.3: Kết đánh giá gom cụm tập liệu Stock dựa hàm mục tiêu Từ kết ta thấy hệ thống gom cụm liệu dựa độ đo xoắn thời gian động cho kết xác so với việc dùng độ đo Euclid tất hệ số tất trường hợp liệu phân cụm trước hay chưa phân cụm Điều thể tính xác độ đo xoắn thời gian động tốt độ đo Euclid việc gom cụm liệu chuỗi thời gian So sánh kết gom cụm giải thuật tính trung bình gồm NLAAF Gupta, PSA Niennattrakul, DBA Francois, nhận thấy kết gom cụm dựa giải thuật có chất lượng gần tương đương nhau, nhiên giải thuật DBA Francois tất tập liệu kiểm thử cho kết tốt, hai giải thuật NLAAF PSA chất lượng kết gom cụm phụ thuộc vào tập liệu kiểm thử thứ tự đầu vào điểm liệu, điều chứng tỏ hai giải thuật nhạy cảm với liệu 5.1.3 Đánh giá thời gian thực thi số lần lặp giải thuật Đối với việc đánh giá thời gian chạy số lần lặp giải thuật K-means ứng với giải thuật tính trung bình, chúng tơi tiến hành đo đạc tập liệu Heterogeneos, Synthetic Control, Cylinder-Bell-Funnel(CBF) Kết thời gian chạy tính giây Hình 5.4 kết thời gian gom cụm tập liệu LÊ HỮU THÀNH-09070461 64 LUẬN VĂN TỐT NGHIỆP CAO HỌC tương ứng Giải thuật PSA tốn nhiều thời gian, hai giải thuật cịn lại có thời gian chạy tương đương tốt nhiều lần so với giải thuật PSA Run Time(s) 1400 1200 1000 800 Heterogeneous 600 Synthetic Control 400 CBF 200 NLAAF1 NLAAF2 PSA DBA Hình 5.4: Thời gian thực thi gom cụm tập liệu Hình 5.5 kết đo đạc số lần lặp gom cụm tập liệu tương ứng(với điều kiện dừng giải thuật K-means khơng có thay đổi cụm điểm liệu, số lần lặp tối đa thiết lập 51) Number of Iterations 60 50 40 Heterogeneous 30 Synthetic Control 20 CBF 10 EUCLID NLAAF1 NLAAF2 PSA DBA Hình 5.5: Số lần lặp gom cụm tập liệu LÊ HỮU THÀNH-09070461 65 LUẬN VĂN TỐT NGHIỆP CAO HỌC Đánh giá số lần lặp mà giải thuật K-means thực hiện, từ kết thực nghiệm cho thấy giải thuật NLAAF giải thuật PSA lặp nhiều lần, hầu hết trường hợp tập liệu kiểm thử giải thuật cần số lần lặp tối đa 51 (chúng thiết lập số lần lặp tối đa cho hệ thống 51) Còn giải thuật DBA tất trường hợp kết thúc sớm Điều chứng tỏ giải thuật DBA dễ dàng hội tụ so với hai giải thuật lại 5.2 Đánh giá ảnh hưởng kỹ thuật khởi tạo trung tâm cụm đến kết gom cụm Để đánh giá ảnh hưởng kỹ thuật khởi tạo trung tâm cụm đến kết gom cụm liệu tiến hành đánh giá hai yếu tố, chất lượng gom cụm thời gian thực thi giải thuật K-means có sử dụng kỹ thuật khởi tạo trung tâm cụm mà đề xuất so với không dùng kỹ thuật khởi tạo trung tâm cụm Chúng tiến hành kiểm tra tập liệu: Synthetic Control, Heterogeneous, tập liệu Trace để so sánh kết 5.2.1 Đánh giá ảnh hưởng chất lượng kết gom cụm Đối với việc khởi tạo trung tâm cụm ngẫu nhiên, cho chạy 100 lần tập liệu kiểm thử lấy trung bình Kết sau: JACCARD RAND FM CSM NMI NLAAF1 NLAAF1 ( Mean) NLAAF2 NLAAF2 ( Mean) 0.6505 0.9462 0.7850 0.8203 0.9022 0.8495 0.9837 0.9191 0.9383 0.9626 0.6770 0.9554 0.8097 0.8395 0.9110 0.8495 0.9837 0.9191 0.9383 0.9626 PSA PSA ( Mean) DBA DBA ( Mean) 0.7117 0.9603 0.8368 0.8716 0.9255 0.8183 0.9786 0.9041 0.9299 0.9628 0.6127 0.9404 0.7654 0.8019 0.8893 0.8495 0.9837 0.9191 0.9383 0.9626 Bảng 5.6: Kết so sánh tập liệu Heterogeneous JACCARD RAND FM CSM NMI NLAAF1 NLAAF1 ( Mean) NLAAF2 NLAAF2 ( Mean) 0.6589 0.9208 0.7948 0.8338 0.8497 0.9239 0.9869 0.9604 0.9799 0.9531 0.6463 0.9195 0.7874 0.8342 0.8395 0.7108 0.9411 0.8320 0.8774 0.8670 PSA PSA ( Mean) DBA DBA ( Mean) 0.5193 0.8769 0.6914 0.7620 0.7420 0.5736 0.8972 0.7351 0.7956 0.7800 0.6512 0.9195 0.7889 0.8424 0.8185 0.8866 0.9800 0.9399 0.9682 0.9397 Bảng 5.7: Kết so sánh tập liệu Synthetic Control LÊ HỮU THÀNH-09070461 66 LUẬN VĂN TỐT NGHIỆP CAO HỌC JACCARD RAND FM CSM NMI NLAAF1 NLAAF1 ( Mean) NLAAF2 NLAAF2 ( Mean) 0.5723 0.8398 0.7278 0.7320 0.7248 0.6422 0.8925 0.7821 0.7963 0.7735 0.5753 0.8429 0.7301 0.7331 0.7282 0.6392 0.8909 0.7799 0.7871 0.7739 PSA PSA ( Mean) DBA 0.5732 0.8424 0.7294 0.7293 0.7185 0.6369 0.8896 0.7782 0.7765 0.7729 0.4273 0.7737 0.5999 0.6566 0.5344 DBA ( Mean) 0.6392 0.8909 0.7799 0.7871 0.7739 Bảng 5.8: Kết so sánh tập liệu Trace Trong kết so sánh cột NLAAF1 cột kết chạy ngẫu nhiên cột NLAAF1(Mean) cột kết chạy có sử dụng hàm khởi tạo tương tự Cột kết tô đậm thể kết tốt Từ kết ta thấy tất trường hợp có sử dụng hàm khởi tạo tốt so với kết chạy ngẫu nhiên Điều chứng tỏ chọn trung tâm cụm ảnh hưởng lớn đến kết cho thấy kỹ thuật khởi tạo trung tâm cụm mà đề xuất hiệu 5.2.2 Đánh giá ảnh hưởng thời gian chạy giải thuật K-means Hình 5.6 kết so sánh thời gian chạy tương ứng giải thuật gom cụm tập liệu Heterogeneous Cột Heterogeneous(init) thể thời gian chạy giải thuật K-means có sử dụng thêm kỹ thuật khởi tạo mà đề xuất, cột lại kết chạy ngẫu nhiên(tương tự cho tập liệu lại) Run time(s) 300 250 200 150 Heterogeneous(init) 100 Heterogeneous 50 NLAAF1 NLAAF2 PSA DBA Hình 5.6: So sánh thời gian thực thi gom cụm tập liệu Heterogeneous Hình 5.7 kết so sánh thời gian chạy tương ứng giải thuật gom cụm tập liệu Synthetic Control LÊ HỮU THÀNH-09070461 67 LUẬN VĂN TỐT NGHIỆP CAO HỌC Run time(s) 1400 1200 1000 800 600 400 200 Synthetic Control(init) Synthetic Control NLAAF1 NLAAF2 PSA DBA Hình 5.7: So sánh thời gian thực thi gom cụm tập liệu Synthetic Control Hình 5.8 kết so sánh thời gian chạy tương ứng giải thuật gom cụm tập liệu Trace Run time(s) 350 300 250 200 150 100 50 Trace(init) Trace NLAAF1 NLAAF2 PSA DBA Hình 5.8: So sánh thời gian thực thi gom cụm tập liệu Trace Từ kết thực nghiệm ta thấy thời gian thực thi giải thuật K-means có áp dụng thêm kỹ thuật khởi tạo trung tâm cụm mà đề xuất tương đương hay tốt hơn(tập liệu Trace) so với chạy ngẫu nhiên Lý áp dụng kỹ thuật khởi tạo đề xuất, kỹ thuật lượng thời gian chạy nhỏ nên không ảnh hưởng đến kết sau cùng, đồng thời áp dụng kỹ thuật dẫn đến giải thuật K-means thường cần vịng lặp so với chạy ngẫu nhiên thực thi gom cụm tập liệu LÊ HỮU THÀNH-09070461 68 LUẬN VĂN TỐT NGHIỆP CAO HỌC 5.3 Kết luận Đúng nhận định từ đầu, kết thực nghiệm cho thấy hệ thống gom cụm liệu chuỗi thời gian sử dụng độ đo xoắn thời gian động có chất lượng gom cụm tốt sử dụng độ đo Euclid phương diện chất lượng gom cụm Tất tập liệu kiểm thử độ đo xoắn thời gian động cho kết tốt so với dùng độ đo Euclid Đặc biệt trường hợp chuỗi liệu thời gian có dịch chuyển vế thời gian độ đo Euclid cho kết gom cụm thấp Từ kết thực nghiệm đưa kết luận : giải thuật DBA giải thuật tốt so với hai giải thuật lại NLAAF PSA việc áp dụng gom cụm liệu chuỗi thời gian dùng độ đo xoắn thời gian động phương diện chất lượng gom cụm thời gian xử lý Kết thực nghiệm cho thấy kỹ thuật khởi tạo trung tâm cụm mà đề xuất hiệu quả, kỹ thuật cải thiện lớn mặt chất lượng gom cụm liệu so với chạy ngẫu nhiên LÊ HỮU THÀNH-09070461 69 LUẬN VĂN TỐT NGHIỆP CAO HỌC CHƯƠNG 6: KẾT LUẬN Chương tổng kết lại kết đạt đề tài, đóng góp đề tài hướng phát triển 6.1 Tổng kết Trong q trình tìm hiểu, xây dựng hồn thiện hệ thống chúng tơi giải tốn gom cụm liệu chuỗi thời gian Với yêu cầu toán xây dựng hệ thống gom cụm liệu chuỗi thời gian dựa độ đo xoắn thời gian động Nhờ vào việc áp dụng độ đo xoắn thời gian động giải thuật nâng cao hiệu cho độ đo DTW giải thuật từ bỏ sớm, phương pháp chặn dùng dải Sakue-Chiba, sử dụng kỹ thuật khởi tạo trung tâm cụm mà chúng tơi đề xuất, áp dụng giải thuật tính trung bình độ đo xoắn thời gian động, chất lượng gom cụm hệ thống cải thiện so với sử dụng độ đo Euclid 6.2 Những đóng góp đề tài : - Xây dựng hệ thống gom cụm dựa độ đo xoắn thời gian động cho liệu chuỗi thời gian, người dùng khảo sát kết gom cụm sau vài lần lặp - Từ kết thực nghiệm đưa kết luận đánh giá so sánh độ hiệu phương pháp tính trung bình cụm liệu Chuỗi thời gian dựa độ đo xoắn thời gian động - Xây dựng kỹ thuật khởi tạo trung tâm cụm cho giải thuật Kmeans cải thiện chất lượng gom cụm thệ thống - Áp dụng giải thuật từ bỏ sớm việc cắt giảm tính tốn độ đo xoắn thời gian động qua nâng cao hiệu suất gom cụm hệ thống - Người dùng lặp lại q trình gom cụm với thơng số K khác nhau, đánh giá kết gom cụm chọn thơng số K thích hợp - So sánh, đánh giá ưu điểm nhược điểm áp dụng giải thuật gom cụm dùng LÊ HỮU THÀNH-09070461 70 LUẬN VĂN TỐT NGHIỆP CAO HỌC 6.3 Hướng phát triển Đề tài giải toán gom cụm liệu chuỗi thời gian với độ đo xoắn thời gian động Tuy nhiên, số vấn đề khác cần nghiên cứu thêm để hoàn thiện Đề tài chưa đưa cách xác định thơng số K thích hợp cho gom cụm Đây vấn đề cần phải tìm hiểu kỹ Đây hướng nghiên cứu việc gom cụm liệu nói chung Việc tính tốn giải thuật gom cụm dùng độ đo xoắn thời gian động tốn nhiều thời gian so với giải thuật dựa độ đo Euclid nên tập liệu sử dụng để thực nghiệm đề tài có kích thước nhỏ chiều dài chuỗi liệu không lớn Việc áp dụng tập liệu lớn cần phải giải vấn đề lớn tìm phương pháp tối ưu giải thuật tính DTW phương diện tính DTW giải thuật tính trung bình DTW Vấn đề trực quan hóa kết gom cụm gặp khó khăn liệu lớn Vấn đề cần phải nghiên cứu mở rộng Kỹ thuật khởi tạo trung tâm cụm cho kết tốt tập liệu thử nghiệm Tuy nhiên thơng thường cụm liệu khơng có số lượng nên cần tìm phương pháp tính giá trị m (số lượng điểm lân cận bị loại bỏ) để giải thuật chạy hiệu LÊ HỮU THÀNH-09070461 71 LUẬN VĂN TỐT NGHIỆP CAO HỌC TÀI LIỆU THAM KHẢO [1] Agrawal, R., Faloutsos, C & Swami, A (1993) Efficient similarity search in sequence databases In proceedings of the 4th Int'l Conference on Foundations of Data Organization and Algorithms Chicago, IL, Oct 13-15 pp 69-84 [2] Agrawal, R., Lin, K I., Sawhney, H S & Shim, K (1995) Fast similarity search in the presence of noise, scaling, and translation in time-series databases.In proceedings of the 21st VLDB Switzerland, Sept pp 490-50 [3] Al-Daoud,M.B., A New Algorithm for Cluster Initialization, Trans Eng., Computing, and Technology, vol V4, pp 74-76, 2005 [4] Berndt, D J & Clifford, J (1996) Finding patterns in time series: a dynamic programming approach Advances in Knowledge Discovery and Data Mining AAAI/MIT Press, Menlo Park, CA pp 229-248 [5] Chan, K., Fu, A W., 1999, Efficient time series matching by wavelets In Proceedings of the 15th IEEE International Conference on Data Engineering, Sydney, Australia, pp 126-133 [6] Faloutsos, C., Ranganathan, M., Manolopoulos, Y., Fast Subsequence Matching in Time-Series Databases, Proceedings of the 14th ACM SIGMOD International Conference on Management of Data (SIGMOD 1994), May 24-27, 1994, pp 419-429 [7] Fint, E., and Pratt, K B., 2004, Indexing of compressed time series, In M Last, A Kandel and H Bunke (Eds.) Data Mining in Time Series Databases, World Scientific Publishing [8] Francois,P., Alain,K., Pierre,G., A global averaging method for dynamic time warping, with applications to clustering, In Pattern Recognition, vol 44, pp 678-693, Sep 2010 [9] Fu, T.C., Chung, F.L., Luk, R and Ng, C M., 2004, Financial Time Series Indexing Based on Low Resolution Clustering, Proceedings of the 4th IEEE International Conference on Data Mining (ICDM'04) Workshop on Temporal Data Mining: Algorithms, Theory and Applications, November 1, pp 5-14 LÊ HỮU THÀNH-09070461 72 LUẬN VĂN TỐT NGHIỆP CAO HỌC [10] Fu, T.C., Chung, F.L., Luk, R and Ng, C M., 2004, A Specialized Binary th Tree for Financial Time Series Reprentation, Proc of 10 ACM SIGKDD Int Conf on Knowledge Discovery and Data Mining Workshop on Temporal Data Mining, pp 96-103 [11] Fu A W.-C., Keogh E J., Lau L Y H., Ratanamahatana C A., and Wong R C.-W., Scaling and time warping in time series querying The VLDB Journal, 17(4):899–921, 2008 [12] Gavrilov, M., Anguelov D., Indyk , P., and Motwani, R "Mining the stock market: which measure is best?" Proceedings of the 6th ACM Interantional Conference on Knowledge Discovery and Data Mining (KDD 2000) August 20-23, pp 487-496 [13] Gupta, L., Molfese, D.L., Tammana, R., and Simos, P.G (1996) Nonlinear alignment and averaging for estimating the evoked potential IEEE Trans on Biomed Eng vol.43, no.4pp.348-356, Apr 1996 [14] Itakura, F (1975).Minimum prediction residual principle applied to speech recognition IEEE Transactions on Acoustics, Speech, and Signal Processing 23, (pp 67-72) [15] Keogh, E (2002) Exact indexing of dynamic time warping In VLDB 2002, Proceedings of 28th International Conference on Very Large Databases, 2002 [16] Keogh E., 2006, A Tutorial on Indexing and Mining Time Series Data, In th Proceedings of the 32 International Conference on Very Large Databases, VLDB2006, Seoul, Korea [17] Keogh, E (2007) Mining shape and time series databases with symbolic representations Tutorial of the 13rd ACM Interantional Conference on Knowledge Discovery and Data Mining, August 12-15,2007 [18] Keogh, E., Chakrabarti, K., Pazzani, M & Mehrotra, S (2000) Dimensionality reduction for fast similarity search in large time series databases Journal of Knowledge and Information Systems, pp 263-286 [19] Keogh, E., Chakrabarti, K., Pazzani, M & Mehrotra, S (2001) Locally adaptive dimensionality reduction for indexing large time series databases In proceedings of ACM SIGMOD Conference on Management of Data, May pp 151162 LÊ HỮU THÀNH-09070461 73 LUẬN VĂN TỐT NGHIỆP CAO HỌC [20] Keogh, E & Kasetty, S (2002) On the need for time series data mining benchmarks: A survey and empirical demonstration In the 8th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining July 23 - 26, 2002 Edmonton, Alberta, Canada pp 102-111 [21] Keogh, E & Pazzani, M (1999) Scaling up dynamic time warping to massive datasets In Proceedings of the 3rd European Conference on Principles and Practice of Knowledge Discovery in Databases pp 1-11 [22] Keogh,E.,Xi,X.,Wei,L.,&Ratanamahatana,C.A.(2006).The UCR Time Series classification/Clustering Homepage: www.cs.ucr.edu/~eamonn/time_series_data/ [23] Korn, F., Jagadish, H & Faloutsos, C (1997) Efficiently supporting ad hoc queries in large datasets of time sequences In proceedings of the 1997 ACM SIGMOD International Conference on Management of Data,May 13-15, pp 289300 [24] Li, J., Wang, Y, Early Abandon to Accelerate Exact Dynamic Time Warping, The International Arab Journal of Information Technology, Vol 6, No 2, April 2009 [25] Liao T W., Clustering of time series data – a survey Pattern Recognition, vol 38, pp 1857–74, 2005 [26] Lin, J., Keogh, E., Lonardi, S., and Chiu, B A Symbolic Representation of Time Series, with Implications for Streaming Algorithms.Proceedings of 8th ACM SIGMOD Workshop on Research Issues in Data Mining and Knowledge Discover (DMKD 2003), June 13, 2003, pp 2-11 [27] Lin, J., Vlachos, M., Keogh, E., and Dimitrios Gunopulos Iterative Incremental Clustering of Time Series Computer Science & Engineering Deparment University of Califonia, Riverside, CA 92521 [28] Niennattrakul V and Ratanamahatana C A., On clustering multimedia time series data using k-means and dynamic time warping In Multimedia and Ubiquitous Engineering, 2007 MUE '07 International Conference on, 2007, pp 733-738 [29] Niennattrakul, V and Ratanamahatana, C (2007) Inaccuracies of shape averaging method using dynamic time warping for time series data In ICCS ’07: Proceedings of the 7th international conference on Computational Science, Part I, pages 513–520, Berlin, Heidelberg Springer-Verlag LÊ HỮU THÀNH-09070461 74 LUẬN VĂN TỐT NGHIỆP CAO HỌC [30] Niennattrakul, V and Ratanamahatana, C A Shape Averaging under Time Warping In Proceedings of the 6th International Conference on Electrical Engineering/Electronics, Computer, Telecommunications, and Information Technology (ECTI-CON 2009) (Pattaya, Thailand, 2009 [31] Oliveira J.V & Pedrycz W.(Eds) Advances in Fuzzy Clustering and its Applications, John Wiley & Sons, Ltd, 2007 [32] Park, S., Chu, W W., Yoon, J & Hsu, C (2000) Efficient searches for similar subsequences of different lengths in sequence databases In proceedings of the 16th Int'l Conference on Data Engineering San Diego,CA, pp 23-32 [33] Rafiei, D & Mendelzon, A (1997) Similarity-based queries for time series data In Proc of the ACM SIGMOD Conf., Tucson, AZ, May 1997 [34] Redmond S J.,Heneghen C., A method for initialising the k-means clustering algorithm using kd-trees, Pattern Recognition Letters, 28:965–973, 2007 [35] Sakoe, H & Chiba, S (1978) Dynamic programming algorithm optimization for spoken word recognition IEEE Trans Acoustics, Speech, and Signal Proc., Vol ASSP-26 [36] Tufte E, 1992, The visual display of quantitative information Graphics Press, Cheshire, Connecticut [37] Zhang H., Ho T B., Zhang Y and Lin M.S., Unsupervised Feature Extraction for Time Series Clustering Using Orthogonal Wavelet Transform, Journal on Informatics, vol 30, pp 305-319, Sep 2005 [38] N Saito Local Feature Extraction and Its Application Using a Library of Bases PhD thesis, Department of Mathematics, Yale University, 1994 [39] Historical Data for S&P 500 Stocks [http://kumo.swcp.com/stocks/ ] [40] Keogh, E & Folias, T (2002) The UCR Time Series Data Mining Archive [http://www.cs.ucr.edu/~eamonn/TSDMA/index.html] LÊ HỮU THÀNH-09070461 75 LUẬN VĂN TỐT NGHIỆP CAO HỌC PHỤ LỤC A: BẢNG ĐỐI CHIẾU THUẬT NGỮ ANH – VIỆT Thuật ngữ Tiếng Anh Adaptive Piecewise Constant Approximation Approximate searching Tìm kiếm xấp xỉ Classification Phân lớp Compactness Độ chặt Cumulative distance Khoảng cách tích lũy Data Clustering Gom cụm liệu Data Mining Khai phá liệu Dimensional reduction Thu giảm số chiều Discrete Fourier Transform Biến đổi Fourier rời rạc DFT Discrete Wavelet Transform Biến đổi Wavelete rời rạc DWT Dynamic Programming Quy hoạch động Dynamic Time Warping Xoắn thời gian động Envelope Đường bao Euclidean Distance Khoảng cách Euclid Execution Time Thời gian thực thi Hidden Markov Model Hierarchical Agglomerative Clustering Hierarchical clustering Mơ hình Markov ẩn Gom cụm phân cấp từ lên Gom cụm phân cấp Index Chỉ mục Itakura Parallelogram Hình bình hành Itakura Keogh’s Lower Bounding Chặn Keogh Long segment Phân đoạn dài Lower Bounding Giá trị chặn LÊ HỮU THÀNH-09070461 Thuật ngữ Tiếng Việt Xấp xỉ đoạn thích nghi Viết tắt APCA DTW HMM HAC LB_Keogh LB A1 LUẬN VĂN TỐT NGHIỆP CAO HỌC Mahattan Distance Khoảng cách Mahattan Minkowski Distance Khoảng cách Minkowski Min-Max normalization Chuẩn hóa min-max Neuron Network Mạng Neuron Orthogonal Wavelet Transform Biến đổi Wavelete trực giao Piecewise Linear Approximation Piecewise Aggregate Approximation Xấp xỉ tuyến tính đoạn PLA Xấp xỉ gộp đoạn PAA Principle Component Analysis Phân tích thành phần PCA Sakoe-Chiba Band Dải Sakoe-Chiba Scaling Co giãn Separation Độ tách rời Shifting Tịnh tiến Singular Value Decomposition Phân rã giá trị riêng Short segment Phân đoạn ngắn Support Vector Machine Symbolic Aggregate approXimation Time Series Máy vec tơ hỗ trợ SVM Xấp xỉ gộp ký hiệu hóa SAX Chuỗi thời gian Unsupervised Learning Học khơng có giám sát Zero-Mean normalization Chuẩn hóa trung bình zero Warping path Đường xoắn W Warping window Cửa sổ xoắn R LÊ HỮU THÀNH-09070461 SVD A2 LUẬN VĂN TỐT NGHIỆP CAO HỌC PHỤ LỤC B: LÝ LỊCH TRÍCH NGANG Họ tên: Lê Hữu Thành Ngày sinh: 18/07/1984 Nơi sinh: Quảng Trị Địa liên lạc: 205/24B Thoại Ngọc Hầu, Quận Tân Phú, Tp Hồ Chí Minh Email: lehuuthanh84@gmail.com Điện thoại: 0946968734 QUÁ TRÌNH ĐÀO TẠO: Thời gian Trường Đào tạo Chuyên ngành Trình độ đào tạo 2002 – 2007 Đại học Bách Khoa, Đại học Khoa học Máy tính Kỹ sư Quốc gia Tp HCM 2009 – 2011 Đại học Bách Khoa, Đại học Khoa học Máy tính Thạc sĩ Quốc gia Tp HCM Q TRÌNH CƠNG TÁC: Thời gian Đơn vị cơng tác Vị trí cơng tác 3/2007 – 9/2009 Cơng ty Fujinet, Tịa nhà WASECO, 10 Phổ Quang, Quận Tân Bình, Thành phố Hồ Chí Minh Nhân viên LÊ HỮU THÀNH-09070461 B1 ... sử dụng độ đo xoắn thờii gian động độ so với sử dụng độ đo Euclid,, hình cho th thấy sử dụng độ đo xoắn thời ời gian động cho kết xác hơnn gom cụm c tập liệu Hình 1.3: Ảnh hưởng ởng ccủa độ đo. .. 1- TÊN ĐỀ TÀI : Gom cụm liệu chuỗi thời gian sử dụng độ đo xoắn thời gian động 2- NHIỆM VỤ LUẬN VĂN : Tìm hiểu kỹ thuật tính chuỗi trung bình sử dụng độ đo xoắn thời gian động ... bình cho cụm liệu chuỗi thời gian dựa độ đo DTW: Một khó khăn áp dụng độ đo xoắn thời gian động việc gom cụm liệu dựa giải thuật K-means tính giá trị trung bình cho cụm liệu, đặc trưng độ đo khơng