Phân tích lớp dữ liệu chuỗi thời gian sử dụng giải thuật có thời gian thực thi tùy chọn

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƢỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN CÔNG THƢƠNG PHÂN LỚP DỮ LIỆU CHUỖI THỜI GIAN SỬ DỤNG GIẢI THUẬT CÓ THỜI GIAN THỰC THI TÙY CHỌN Chuyên ngành: Khoa học Máy tính LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, Tháng 11 năm 2009 CƠNG TRÌNH ĐƢỢC HỒN THÀNH TẠI TRƢỜNG ĐẠI HỌC BÁCH KHOA ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH Cán hƣớng dẫn khoa học: PGS TS Dƣơng Tuấn Anh Cán chấm nhận xét 1: PGS TS Đỗ Phúc Cán chấm nhận xét 2: TS Võ Thị Ngọc Châu Luận văn thạc sĩ đƣợc bảo vệ HỘI ĐỒNG CHẤM BẢO VỆ LUẬN VĂN THẠC SĨ TRƢỜNG ĐẠI HỌC BÁCH KHOA, ngày 03 tháng 03 năm 2010 ĐẠI HỌC QUỐC GIA TP HCM CỘNG HOÀ XÃ HỘI CHỦ NGHIÃ VIỆT NAM TRƢỜNG ĐẠI HỌC BÁCH KHOA Độc Lập - Tự Do - Hạnh Phúc -oOo Tp HCM, ngày … tháng … năm 2009 NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Nguyễn Công Thƣơng Giới tính: Nam  / Nữ  Ngày, tháng, năm sinh: 17/02/1983 Nơi sinh: Hà Tĩnh Chuyên ngành: Khoa học Máy tính Khố: 2007 1- TÊN ĐỀ TÀI: PHÂN LỚP DỮ LIỆU CHUỖI THỜI GIAN SỬ DỤNG GIẢI THUẬT CÓ THỜI GIAN THỰC THI TÙY CHỌN 2- NHIỆM VỤ LUẬN VĂN: 3- NGÀY GIAO NHIỆM VỤ: 05/09/2008 4- NGÀY HOÀN THÀNH NHIỆM VỤ: 30/11/2009 5- HỌ VÀ TÊN CÁN BỘ HƢỚNG DẪN: PGS TS Dƣơng Tuấn Anh Nội dung đề cƣơng Luận văn thạc sĩ đƣợc Hội Đồng Chuyên Ngành thông qua CÁN BỘ HƢỚNG DẪN CHỦ NHIỆM BỘ MÔN (Họ tên chữ ký) QUẢN LÝ CHUYÊN NGÀNH (Họ tên chữ ký) PGS TS Dƣơng Tuấn Anh Phân lớp liệu chuỗi thời gian sử dụng giải thuật có thời gian thực thi tùy chọn LỜI CAM ĐOAN Tôi cam đoan rằng, ngoại trừ kết tham khảo từ cơng trình khác nhƣ ghi rõ luận văn, cơng việc trình bày luận văn tơi thực chƣa có phần nội dung luận văn đƣợc nộp để lấy cấp trƣờng trƣờng khác Ngày 28 tháng 11 năm 2009 Nguyễn Công Thƣơng Nguyễn Công Thƣơng i Phân lớp liệu chuỗi thời gian sử dụng giải thuật có thời gian thực thi tùy chọn LỜI CẢM ƠN Tôi xin gửi lời cảm ơn chân thành sâu sắc đến PGS TS Dƣơng Tuấn Anh, ngƣời Thầy tận tình hƣớng dẫn tơi thực hồn thành luận văn Tơi xin gửi lời cảm ơn Quý Thầy Cô Khoa Khoa học Kỹ thuật Máy tính, Trƣờng Đại học Bách Khoa TP HCM tận tình giảng dạy tơi trình học đại học nhƣ cao học Cuối hết, cảm ơn gia đình động viên tạo điều kiện tốt để tiếp tục đƣờng học tập nghiên cứu Con trân trọng dành tặng thành luận văn cho Cha Mẹ gia đình Nguyễn Công Thƣơng Nguyễn Công Thƣơng ii Phân lớp liệu chuỗi thời gian sử dụng giải thuật có thời gian thực thi tùy chọn TĨM TẮT LUẬN VĂN Bài tốn phân lớp liệu chuỗi thời gian có vai trị quan trọng lĩnh vực khai phá liệu Nó giúp cho việc phân tích liệu dự đốn tƣơng lai, đặc biệt lĩnh vực nhƣ tài hay y học Đề tài thực toán phân lớp liệu chuỗi thời gian sử dụng giải thuật phân lớp có thời gian thực thi tùy chọn Giải thuật gồm có hai giai đoạn: Giai đoạn Huấn luyện Giai đoạn Phân lớp Trong giai đoạn Huấn luyện, luận văn đề xuất chiến lƣợc xếp Luân phiên (Round Robin) Chiến lƣợc Luân phiên xếp tập huấn luyện cho chuỗi thuộc lớp khác xuất luân phiên với Trong giai đoạn Phân lớp, giải thuật tìm kiếm tập huấn luyện chuỗi gần với chuỗi mục tiêu Thứ tự tìm kiếm thứ tự đƣợc xếp giai đoạn huấn luyện Giải thuật dừng lúc Kết phân lớp nhãn lớp chuỗi gần với chuỗi mục tiêu đến thời điểm dừng giải thuật Độ tƣơng tự chuỗi thời gian đƣợc sử dụng Khoảng cách xoắn thời gian động Để cải thiện thời gian thực thi giải thuật, đề tài sử dụng kỹ thuật tính chặn dƣới vào hai giai đoạn huấn luyện phân lớp Các kỹ thuật tính chặn dƣới đƣợc sử dụng gồm có LB_Keogh, FTW LB_Improved Qua thực nghiệm cho thấy, LB_Keogh LB_Improved phù hợp cho kích thƣớc cửa sổ xoắn nhỏ, FTW tốt trƣờng hợp cửa sổ xoắn lớn Nguyễn Công Thƣơng iii Phân lớp liệu chuỗi thời gian sử dụng giải thuật có thời gian thực thi tùy chọn MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii TÓM TẮT LUẬN VĂN iii MỤC LỤC iv DANH MỤC HÌNH ẢNH vii DANH MỤC BẢNG BIỂU x CHƢƠNG 1: GIỚI THIỆU VẤN ĐỀ 1.1 Dữ liệu chuỗi thời gian 1.2 Bài toán phân lớp liệu chuỗi thời gian 1.3 Mục tiêu giới hạn đề tài 1.4 Tóm lƣợc kết đạt đƣợc 1.5 Cấu trúc luận văn CHƢƠNG 2: CƠ SỞ LÝ THUYẾT 2.1 Độ đo khoảng cách miền liệu chuỗi thời gian 2.1.1 Độ đo khoảng cách Minkowski 2.1.2 Độ đo xoắn thời gian động 2.2 Bài toán phân lớp liệu 13 2.3 Kỹ thuật phân lớp k láng giềng gần 14 CHƢƠNG 3: CÁC CƠNG TRÌNH CĨ LIÊN QUAN 16 3.1 Các phƣơng pháp thu giảm số chiều 16 3.1.1 Phƣơng pháp khơng thích nghi liệu 16 3.1.2 Phƣơng pháp thích nghi liệu 19 3.2 Ràng buộc đƣờng xoắn cho khoảng cách DTW 21 Nguyễn Công Thƣơng iv Phân lớp liệu chuỗi thời gian sử dụng giải thuật có thời gian thực thi tùy chọn 3.2.1 Ràng buộc dải Sakoe-Chiba 21 3.2.2 Ràng buộc hình bình hành Itakura 21 3.2.3 Dải Ratanamahatana-Keogh (dải R-K) 22 3.3 Các kỹ thuật tính chặn dƣới cho khoảng cách DTW 25 3.3.1 Ý nghĩa chặn dƣới 25 3.3.2 Phƣơng pháp tính chặn dƣới LB_Keogh 26 3.3.3 Kỹ thuật chặn dƣới FTW 28 3.3.4 Kỹ thuật chặn dƣới LB_Improved 31 3.3.5 Đánh giá 34 3.4 Một số giải thuật phân lớp cho liệu chuỗi thời gian 34 3.4.1 Các giải thuật phân lớp có sử dụng mục 34 3.4.2 Các giải thuật học “hăm hở” 35 3.5 Giải thuật phân lớp có thời gian thực thi tùy chọn 35 3.5.1 Giải thuật phân lớp 36 3.5.2 Sắp xếp tập huấn luyện 37 3.6 Kết luận 40 CHƢƠNG 4: HỆ THỐNG PHÂN LỚP CÓ THỜI GIAN THỰC THI TÙY CHỌN 42 4.1 Đặt vấn đề 42 4.2 Hƣớng giải vấn đề 42 4.3 Giai đoạn huấn luyện 45 4.3.1 Giải thuật NN_LBKeogh 45 4.3.2 Giải thuật NN_FTW 47 4.3.3 Giải thuật NN_LBImproved 48 4.3.4 Giải thuật huấn luyện 50 Nguyễn Công Thƣơng v Phân lớp liệu chuỗi thời gian sử dụng giải thuật có thời gian thực thi tùy chọn 4.4 Giai đoạn Phân lớp 51 CHƢƠNG 5: THỰC NGHIỆM 54 5.1 Tập liệu 54 5.2 Thực nghiệm giai đoạn huấn luyện 55 5.2.1 Tập liệu TwoPat 55 5.2.2 Tập liệu Clustered 60 5.2.3 Nhận xét 63 5.3 Thực nghiệm giai đoạn phân lớp 64 5.3.1 Tập liệu TwoPat 64 5.3.2 Tập liệu Clustered 68 5.3.3 Độ xác giải thuật phân lớp 70 5.3.4 Nhận xét 72 CHƢƠNG 6: KẾT LUẬN 73 6.1 Tổng kết 73 6.2 Những đóng góp đề tài 74 6.3 Hƣớng phát triển 74 DANH MỤC TÀI LIỆU THAM KHẢO 76 BẢNG ĐỐI CHIẾU THUẬT NGỮ ANH – VIỆT 81 Nguyễn Công Thƣơng vi Phân lớp liệu chuỗi thời gian sử dụng giải thuật có thời gian thực thi tùy chọn DANH MỤC HÌNH ẢNH Hình 1.1: Đƣờng biểu diễn liệu chuỗi thời gian Hình 1.2: Bài tốn phân lớp liệu chuỗi thời gian Hình 2.1: Hình ảnh trực giác khoảng cách Euclid Hình 2.2: Hai mẫu liệu có hình dạng giống nhƣng lệch thời gian Hình 2.3: Cách tính khoảng cách xoắn thời gian động: A) Cho hai chuỗi mục tiêu Q C, B) Ma trận tính DTW, C) Kết tính DTW Hình 2.4: Đồ thị biểu diễn hai chuỗi thời gian 11 Hình 2.5: Ma trận tính DTW cho hai chuỗi thời gian 11 Hình 2.6: Giải thuật phân lớp k-Nearest-Neighbor 15 Hình 3.1: Cách biến đổi chuỗi liệu ban đầu theo phƣơng pháp DFT, DWT PAA 17 Hình 3.2: Cách biến đổi chuỗi ban đầu theo phƣơng pháp SVD, PACA PLA 19 Hình 3.3: Hai loại ràng buộc đƣờng xoắn: a) Dải Sakoe-Chiba b) Hình bình hành Itakura 22 Hình 3.4: Hình dạng loại ràng buộc cửa sổ xoắn: A) Dải R-K, B) Dải SakoeChiba, C) Hình bình hành Itakura 22 Hình 3.5: Minh họa giải thuật tìm kiếm tiến sử dụng độ xác 23 Hình 3.6: Giải thuật tìm kiếm sử dụng chặn dƣới 25 Hình 3.7: Đƣờng bao ứng với hai loại ràng buộc: A) Dải Sakoe-Chiba B) Hình bình hành Itakura 27 Hình 3.8: Hình ảnh trực quan chặn dƣới LB_Keogh 28 Hình 3.9: Q trình xấp xỉ hóa phân đoạn 29 Hình 3.10: Q trình tính chặn dƣới FTW 30 Hình 3.11: Hình ảnh trực quan chặn dƣới LB_Improved 32 Nguyễn Công Thƣơng vii ... Thƣơng Phân lớp liệu chuỗi thời gian sử dụng giải thuật có thời gian thực thi tùy chọn giải Đề tài tập trung vào cải thi? ??n thời gian thực thi giải thuật phân lớp có thời gian thực thi tùy chọn. ..hân lớp liệu chuỗi thời gian sử dụng giải thuật có thời gian thực thi tùy chọn 6.2 Những đóng góp đề tài - Hiện thực chi tiết hóa giải thuật phân lớp có thời gian thực thi tùy chọn cho liệu c... lớp liệu chuỗi thời gian sử dụng giải thuật có thời gian thực thi tùy chọn 1.2 Bài toán phân lớp liệu chuỗi thời gian Tập hợp liệu chuỗi thời gian liên quan đến lĩnh vực tốn ứng dụng thƣờng có