TRƢỜNG ĐẠI HỌC THƢƠNG MẠI BỘ MÔN TIN HỌC ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CẤP TRƢỜNG NGHIÊN CỨU ỨNG DỤNG CÔNG CỤ KHAI PHÁ DỮ LIỆU TRONG BÀI TOÁN VỀ GIAO DỊCH TỶ GIÁ Ngƣời thực hiện: TS Nguyễn Thị Thu Thủy HÀ NỘI – 2018 MỤC LỤC MỤC LỤC DANH MỤC HÌNH VẼ CHƢƠNG 1: TỔNG QUAN VẤN ĐỀ NGHIÊN CỨU 1.1 Tính cấp thiết đề tài 1.2 Tổng quan vấn đề nghiên cứu 1.3 Mục tiêu cụ thể đặt cần giải đề tài 1.4 Đối tƣợng phạm vi nghiên cứu đề tài 1.5 Phƣơng pháp thực đề tài 1.6 Bố cục đề tài Chƣơng 2: TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU VÀ BÀI TOÁN GIAO DỊCH NGOẠI HỐI 10 2.1 Một số khái niệm 10 2.1.1 Các khái niệm khai phá liệu 10 2.1.2 Các khái niệm liên quan đến giao dịch ngoại hối 16 2.2 Một số công cụ khai phá liệu 18 2.2.1 Cơng cụ học có giám sát 18 2.2.2 Công cụ học không giám sát 24 2.3 Bài toán giao dịch ngoại hối 25 CHƢƠNG 3: ĐỀ XUẤT MƠ HÌNH KHAI PHÁ DỮ LIỆU TRONG BÀI TOÁN GIAO DỊCH TỶ GIÁ 26 3.1 Mơ hình khai phá liệu toán giao dịch tỷ giá 26 3.2 Thu thập xử lý liệu 27 3.2.1 Thu thập tiền xử lý liệu 27 3.2.2 Phân chia tập huấn luyện 28 3.3 Kết thực nghiệm 30 3.3.1 Data 30 3.3.2 Sử dụng phƣơng pháp SVM 32 3.3.3 Sử dụng phƣơng pháp Cây định J48 35 3.3 Thảo luận 41 KẾT LUẬN VÀ KIẾN NGHỊ 43 Kết luận 43 Một số kiến nghị 43 DANH MỤC HÌNH VẼ Hình 1: Các lĩnh vực liên quan khai phá liệu 11 Hình 2: Quy trình khai phá liệu 11 Hình 3: Cấp độ hỗ trợ việc định kinh doanh ngƣời thực 14 Hình 4: Lịch hoạt động trung tâm giao dịch ngoại hối 17 Hình 5: Mơ hình học giám sát 20 Hình 6: Cây định tập liệu huấn luyện Bảng 22 Hình 7: Ví dụ mơ hình SVM 23 Hình 8: Mơ hình học có giám sát khai phá liệu tốn giao dịch tỷ giá 26 Hình 9: Đồ thị hàm biến đổi giá trị thành 28 Hình 10: Biến động tỷ giá USD/VND khoảng thời gian năm 30 Hình 11: Thống kê liệu output 31 Hình 12:: Phân bố tỉ giá Close thời điểm 31 Hình 13: Phân bố giao dịch Close 32 Hình 14: Mơ hình sử dụng 33 Hình 15: Đồ thị lỗi mơ hình dự báo SVM 35 Hình 16: dòng giao dịch bị dự báo sai 35 Hình 17: Mơ hình khung cơng việc J48 37 Hình 18: Độ xác Kỹ thuật SVM DT 42 LỜI MỞ ĐẦU Ngày nay, với phát triển mạnh mẽ khoa học kỹ thuật, hệ máy tính trở nên mạnh mẽ hơn, khả tính tốn xử lí thơng tin ngày nhanh Bên cạnh phát triển khoa học kỹ thuật bùng nổ thông tin dẫn tới lƣợng liệu thu thập đƣợc ngày lớn Khơng thể phủ nhận khả đặc biệt ngƣời việc phân tích thơng tin để rút tri thức, kinh nghiệm cho Tuy nhiên, ngƣời cần cơng cụ hỗ trợ tự động phân tích, khai thác thơng tin để tìm tri thức đó, từ định tự động hỗ trợ ngƣời việc định Trong giao dịch ngoại hối, việc dự báo đƣợc xu hƣớng tỷ giá cặp ngoại hối mà giao dịch quan trọng Việc dự báo giúp nhà đầu tƣ đƣa đƣợc chiến lƣợc giao dịch phù hợp, tăng khả mang lại lợi nhuận hạn chế thấp nguy rủi ro xảy Tỷ giá cặp tiền tệ thay đổi theo thời gian hồn tồn thu thập, lƣu trữ lại thơng qua lịch sử giá Việc phân tích dự báo xu hƣớng tỷ giá cặp ngoại hối tƣơng lai thƣờng dựa vào liệu khứ Việc giao dịch thủ công thƣờng có nhiều hạn chế nhƣ: hạn chế độ xác, hạn chế thời gian theo dõi … Việc ứng dụng mơ hình giao dịch có nhiều ƣu hơn: khả xử lý xác, kịp thời, khả giám sát liên tục không bị ảnh hƣởng yếu tố tâm lý Nhìn chung, hƣớng tiếp cận cho tốn dự báo xu hƣớng tỷ giá ngoại hối xây dựng mơ hình học có giám sát, huấn luyện liệu khứ áp dụng để dự báo xu hƣớng tƣơng lai Các cơng trình nghiên cứu giới chủ yếu dừng việc công bố kết nghiên cứu, cịn Việt Nam, cơng trình nghiên cứu dự báo xu hƣớng ngoại hối chƣa có nhiều, đặc biệt việc áp dụng vào thực tế Từ tìm hiểu trên, thấy việc nghiên cứu số mơ hình học máy cho việc phân tích xu hƣớng ngắn hạn tỷ giá cặp ngoại hối áp dụng vào thực tế với việc cài đặt cho robot giao dịch ngoại hối tự động đề tài thực có ý nghĩa cho đời sống kinh tế xã hội CHƢƠNG 1: TỔNG QUAN VẤN ĐỀ NGHIÊN CỨU 1.1 Tính cấp thiết đề tài Trong giao dịch ngoại hối, việc dự báo đƣợc xu hƣớng tỷ giá cặp ngoại hối mà nhà đầu tƣ giao dịch quan trọng Việc dự báo giúp nhà đầu tƣ đƣa đƣợc chiến lƣợc giao dịch phù hợp, tăng khả mang lại lợi nhuận hạn chế thấp nguy rủi ro xảy Tỷ giá cặp tiền tệ thay đổi theo thời gian hồn tồn thu thập, lƣu trữ lại thông qua lịch sử giá Việc phân tích dự báo xu hƣớng tỷ giá cặp ngoại hối tƣơng lai thƣờng dựa vào liệu khứ Quá trình thực cách thủ cơng kinh nghiệm ngƣời giao dịch tự động dùng công cụ báo kỹ thuật với quy tắc định (cịn gọi phân tích kỹ thuật) Tuy nhiên việc giao dịch thủ cơng thƣờng có nhiều hạn chế nhƣ: hạn chế độ xác, hạn chế thời gian theo dõi, tâm lý ngƣời giao dịch … việc sử dụng giao dịch tự động có nhiều ƣu hơn: khả xử lý xác, kịp thời, khả giám sát liên tục không bị ảnh hƣởng yếu tố tâm lý Từ nhu cầu thực tế cho thấy việc xây dựng ứng dụng mơ hình học có giám sát cho robot giao dịch hƣớng tiếp cận khả quan hứa hẹn mang lại hiệu Bắt kịp với yêu cầu thực tế nhân lực lĩnh vực phân tích liệu sử dụng hệ thống thơng tin kinh tế, học phần “Khai phá liệu kinh doanh” đƣợc xây dựng phục vụ cho việc đào tạo em sinh viên chuyên ngành quản trị hệ thống thông tin ngành hệ thống thông tin quản lý Học phần đƣợc xây dựng với thời lƣợng tín bao gồm nội dung liên quan đến khai phá liệu, mà cụ thể tập trung nhiều vào liệu toán kinh tế Bài toán giao dịch tỷ giá thị trƣờng ngoại tệ số tốn có liên quan nhằm giúp cho em có tài liệu tham khảo việc học tập Từ nhu cầu thực tế đó, tơi chọn đề tài: “Nghiên cứu ứng dụng công cụ khai phá liệu toán giao dịch tỷ giá” để nghiên cứu 1.2 Tổng quan vấn đề nghiên cứu Thị trƣờng ngoại hối nơi diễn hoạt động trao đổi ngoại tệ thông qua quan hệ cung cầu Việc trao đổi thƣờng bao gồm việc mua đồng tiền đồng thời bán đồng tiền khác Nhƣ vậy, đồng tiền đƣợc trao đổi cặp với Đặc thù thị trƣờng ngoại hối đƣợc giao dịch mua bán qua ngân hàng, nhà môi giới, chuyên viên ngoại hối, tổ chức tài cá nhân toàn giới Do vậy, ngoại hối đƣợc giao dịch liên tục từ 21 (GMT) chủ nhật tới 21 (GMT) thứ hàng tuần Bài toán giao dịch thị trƣờng ngoại hối đƣợc tập trung giải vào việc dự báo xu hƣớng theo ngày tỷ giá quy đổi cặp tiền tệ theo chuỗi thời gian biến động phức tạp để từ định giao dịch bán hay mua Đầu vào toán lịch sử tỷ giá trao đổi cặp tiền tệ, số liệu kiện kinh tế xảy ra… Đầu tốn xu hƣớng tăng hay giảm cặp tiền tệ cần xét Một số lƣợng lớn thuộc tính từ liệu chuỗi thời gian đƣợc sinh từ lịch sử tỷ giá cặp tiền tệ nhằm mục đích chọn tập liệu phù hợp cho toán phân lớp Nhƣ vậy, toán giao dịch ngoại hối đƣợc chuyển toán phân lớp nhị phân toán dự đoán xu hƣớng tăng hay giảm để hỗ trợ đƣa định giao dịch (hoạt động mua, bán, chốt lời, dừng lỗ…) Các mơ hình học máy đƣợc sử dụng vào việc dự đốn xu hƣớng tỷ giá cặp tiền tệ Piche (1995) sử dụng hình ảnh biểu đồ plot để mơ tả xu hƣớng dịch chuyển dao động tỷ giá với ma trận xu hƣớng Việc dự báo tỷ giá sử dụng mơ hình dự báo chuỗi thời gian đƣợc biết đến với việc sử dụng phổ biến mô hình Regressive Integrated Moving Average (ARIMA) (Box Jenkin, 1970; Yu, 2002) Thời gian gần đây, mơ hình dự báo chứng khoán ngoại hối đƣợc sử dụng phổ biến GARCH (Wei, 2009) Ngồi mơ hình mạng nơron (Haykin, 1999; Chan & Teong, 1995; Woon-Seng & Kah-Hwa, 1995; Refenes & Azema-Barac, 1992; Joarder & Ruhul, 2003; Zhang & Kline, 2007; Kotsiantis, 2007) SVM (Cao and Francis, 2001; Baasher & mohamed, 2010) đƣợc biết đến nhƣ mơ hình đƣợc sử dụng để dự báo tỷ giá ngoại hối Căn vào phân tích trên, rõ ràng mơ hình học có giám sát đƣợc sử dụng nhiều toán giao dịch ngoại hối 1.3 Mục tiêu cụ thể đặt cần giải đề tài Mục tiêu nghiên cứu đề tài đề xuất mơ hình khai phá liệu để dự báo xu hƣớng giao dịch cặp tiền tệ dựa giao dịch khứ, làm tài liệu tham khảo cho học phần “khai phá liệu tron kinh doanh”, làm tài liệu học tập cho sinh viên chuyên ngành quản trị HTTT Cụ thể là: Nghiên cứu cụ thể số mơ hình khai phá liệu mơ hình khai phá nói chung Tập trung nghiên cứu toán giao dịch ngoại hối, cụ thể hoạt động mua/bán USD/EUR VND/USD Xây dựng mơ hình giao dịch tỷ giá VND/USD, USD/EUR,… Làm tài liệu tham khảo phục vụ cho việc viết giáo trình học phần “Khai phá liệu kinh doanh” – tín chuyên ngành quản trị hệ thống thông tin trƣờng ĐH Thƣơng Mại Báo cáo làm tài liệu tham khảo cho sinh viên khoa Hệ thống thông tin Kinh tế Thƣơng mại điện tử, đối tƣợng quan tâm đến việc khai phá liệu kinh doanh Hơn nữa, báo cáo đề tài làm tài liệu tham khảo giảng dạy học phần nhƣ CSDL, Quản trị CSDL học phần Khai phá liệu kinh doanh cho chuyên ngành Quản trị HTTT 1.4 Đối tượng phạm vi nghiên cứu đề tài Cách tiếp cận mẫu khảo sát: Dữ liệu giao dịch tỷ giá đƣợc thu thập online thơng qua chƣơng trình cài đặt META TRADER từ nghiên cứu trƣớc Số mẫu thu thập cho năm, khoảng thời gian từ 3/2017 đến 3/2018 với dòng giao dịch hàng ngày Phƣơng pháp nghiên cứu: - Loại liệu (định tính, định lƣợng): Định lƣợng Đối tƣợng nghiên cứu: Bài toán giao dịch tỉ giá với dịng liệu giao dịch Có nhiều cặp tỉ giá thu thập để lấy làm liệu thực nghiệm thức xử lý thực nghiệm mơ hình tƣơng tự Trong pham vi đề tài này, cặp USD/VND đƣợc lựa chọn cặp tiền đƣợc thƣờng xuyên sử dụng gần với đối tƣợng đọc sinh viên giảng dạy Một số công cụ đƣa vào mơ hình dự báo tỷ giá: Học có giám sát: SVM định Phạm vi nghiên cứu: • Thời gian: từ 03/2017-03/2018 • Khơng gian, phạm vi: Các liệu tỉ giá 1.5 Phương pháp thực đề tài Các phƣơng pháp đƣợc sử dụng đề tài là: Sử dụng phƣơng pháp nghiên cứu tài liệu lý thuyết sở khai phá liệu với số mơ hình cụ thể, tốn giao dịch ngoại hối nói chung Trên sở thu thập liệu sơ cấp website giao dịch Mơ hình hóa tốn giao dịch USD/VND với liệu thu thập đƣợc thử nghiệm mô hình Cụ thể nhƣ sau: Phƣơng pháp thu thập liệu: Các liệu thứ cấp đƣợc thu thập web site giao dịch ngoại hối USD/VND thông qua phần mềm META TRADER Invest.com với đoạn chƣơng trình nhỏ (Script) để cài thêm (Add- in) vào phần mềm - Phƣơng pháp xử lý liệu: Tiền xử lý liệu với phần mềm META TRADER 4; xây dựng mơ hình khai phá với tập liệu, thử nghiệm mơ hình 1.6 Bố cục đề tài Đề tài đƣợc chia thành chƣơng đó: Chƣơng 1: Tổng quan nghiên cứu Chƣơng nêu rõ tính cấp thiết đề tài đồng thời chƣơng phƣơng pháp nghiên cứu nghiên cứu liên quan đến đề tài Chƣơng 2: Tổng quan khai phá liệu toán giao dịch ngoại hối Nội dung chƣơng để cấp đến khái niệm khai phá liệu, trí tuệ nhân tạo, học máy nhƣ khái niệm liên quan đến giao dịch tỷ giá Nội dung chƣơng phân loại công cụ khai phá liệu (học có giám sát, khơng giám sát), đặt toán giao dịch tỷ giá Chƣơng 3: Đề xuất mơ hình khai phá liệu tốn giao dịch tỷ giá Nội dung chƣơng bao gồm việc đề xuất mơ hình khai phá liệu, cách thức thu thập xử lý liệu, phân chia tập liệu thực nghiệm Các thực nghiệm đƣợc nêu chƣơng với hai phƣơng pháp phổ biến SVM định Các thảo luận thực nghiệm đƣợc thực phần cuối chƣơng Phần kết luận tóm tắt lại kết nghiên cứu đồng thời đề xuất kiến nghị liên quan Chƣơng 2: TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU VÀ BÀI TOÁN GIAO DỊCH NGOẠI HỐI 2.1 Một số khái niệm 2.1.1 Các khái niệm khai phá liệu Khái niệm liệu Theo Wikipedia, theo điều Luật Giao dịch điện tử ban hành ngày 29 tháng 11 năm 2005, liệu thông tin dƣới dạng ký hiệu,chữ viết, chữ số, hình ảnh, âm dạng tƣơng tự Dữ liệu thơ số, ký tự, hình ảnh hay kết khác thiết bị chuyển đổi lƣợng vật lý thành ký hiệu Các liệu thuộc loại thƣờng đƣợc xử lý tiếp ngƣời đƣa vào máy tính Trong máy tính, liệu đƣợc lƣu trữ xử lý đƣợc chuyển (output) cho ngƣời máy tính khác Dữ liệu thô thuật ngữ tƣơng đối; việc xử lý liệu thƣờng đƣợc thực theo bƣớc, "dữ liệu đƣợc xử lý" bƣớc đƣợc coi "dữ liệu thơ" cho bƣớc Các dạng liệu đƣợc lƣu trữ: Tập tin truyền thống (flat files) Cơ sở liệu quan hệ Cơ sở liệu giao tác kho liệu Cơ sở liệu tạm thời (data streem) … Khái niệm khai phá liệu Theo Tom Mitchell (1999), “KPDL việc sử dụng liệu lịch sử để khám phá qui tắc cải thiện định tƣơng lai” Theo Fayyad (1996), “KPDL, thƣờng đƣợc xem việc khám phá tri thức sở liệu, q trình trích xuất thơng tin ẩn, trƣớc chƣa biết có khả hữu ích, dƣới dạng qui luật, ràng buộc, qui tắc sở liệu.” Nhƣ nói KPDL trình học tri thức từ liệu thu thập đƣợc KPDL đƣợc coi kết hợp lĩnh vực khác (xem Hình 1) 10 ... đến giao dịch tỷ giá Nội dung chƣơng cịn phân loại cơng cụ khai phá liệu (học có giám sát, khơng giám sát), đặt toán giao dịch tỷ giá Chƣơng 3: Đề xuất mơ hình khai phá liệu toán giao dịch tỷ giá. .. em có tài liệu tham khảo việc học tập Từ nhu cầu thực tế đó, tơi chọn đề tài: ? ?Nghiên cứu ứng dụng cơng cụ khai phá liệu toán giao dịch tỷ giá? ?? để nghiên cứu 1.2 Tổng quan vấn đề nghiên cứu Thị... vi: Các liệu tỉ giá 1.5 Phương pháp thực đề tài Các phƣơng pháp đƣợc sử dụng đề tài là: Sử dụng phƣơng pháp nghiên cứu tài liệu lý thuyết sở khai phá liệu với số mơ hình cụ thể, tốn giao dịch ngoại