Nghiên cứu và ứng dụng một số mô hình học máy trong việc hỗ trợ đánh giá rủi ro tài chính

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ -*** - HÀ VĂN SANG NGHIÊN CỨU VÀ ỨNG DỤNG MỘT SỐ MƠ HÌNH HỌC MÁY TRONG VIỆC HỖ TRỢ ĐÁNH GIÁ RỦI RO TÀI CHÍNH Ngành: Chun ngành: Mã số: Cơng nghệ Thơng tin Hệ thống Thông tin 60.48.05 LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC TS NGUYỄN HÀ NAM HÀ NỘI – 2009 i LỜI CAM ĐOAN Tôi xin cam đoan kết đạt đƣợc luận văn nghiên cứu, tổng hợp thực Tồn điều đƣợc trình bày luận văn cá nhân đƣợc tham khảo tổng hợp từ nguồn tài liệu khác Tất tài liệu tham khảo, tổng hợp đƣợc trích dẫn với nguồn gốc rõ ràng Tơi xin chịu hồn tồn trách nhiệm lời cam đoan Nếu có sai trái, tơi xin chịu hình thức kỷ luật theo qui đinh Hà Nội, tháng năm 2008 Học viên Hà Văn Sang ii LỜI CẢM ƠN Tơi muốn bày tỏ lịng biết ơn sâu sắc tới ngƣời giúp đỡ tơi q trình làm luận văn, đặc biệt xin cám ơn TS Nguyễn Hà Nam, với lịng kiên trì, thầy bảo chi tiết cho lời nhận xét quí báu bƣớc làm luận văn Đồng thời xin gửi lời cảm ơn tới thầy cô giáo khoa Công nghệ thông tin – Trƣờng Đại học Công nghệ - Đại học Quốc gia Hà nội truyền đạt kiến thức cho suốt thời gian học tập nghiên cứu vừa qua Tôi xin chân thành cảm ơn quan, bạn bè, đồng nghiệp, gia đình ngƣời thân chia sẻ, giúp đỡ, động viên, tạo điều kiện thuận lợi để tơi hồn thành nhiệm vụ học tập luận văn Hà nội, tháng năm 2009 Học viên Hà Văn Sang iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC KÝ HIỆU, TỪ VIẾT TẮT v DANH MỤC HÌNH VẼ vi DANH MỤC BẢNG BIỂU vii MỞ ĐẦU 1 Đặt vấn đề Mục tiêu nghiên cứu Cấu trúc luận văn Chƣơng - MỘT SỐ KIẾN THỨC CƠ BẢN VỀ TÀI CHÍNH 1.1 Một số khái niệm tài 1.1.1 Phân tích tài 1.1.2 Báo cáo tài 1.1.3 Phƣơng pháp phân tích tài 1.1.4 Dự báo tình hình tài 1.2 Rủi ro tài 1.2.1 Khái niệm 1.2.2 Nguồn gốc rủi ro tài 1.2.3 Quy trình quản trị rủi ro tài 1.2.3 Quản trị rủi ro đầu tƣ chứng khoán 10 1.3 Phân tích kỹ thuật dự báo thị trƣờng chứng khoán 11 1.3.1 Khái niệm 11 1.3.2 Ứng dụng phân tích kỹ thuật 12 1.3.3 Các công cụ sử dụng Phân tích kỹ thuật 12 1.3.4 Các dẫn kỹ thuật 14 Chƣơng - TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU 16 2.1 Giới thiệu khai phá liệu (Data Mining) 16 2.2 Phân lớp 18 2.2.1 Giới thiệu phân lớp 18 2.2.2 Các phƣơng pháp phân lớp 20 2.3 Mạng Nơron 24 2.4 Hệ mờ (Fuzzy System) 28 2.4.1 Định nghĩa tập mờ 29 2.4.2 Phép suy diễn mờ 30 2.4.3 Phép hợp mờ 32 2.4.4 Giải mờ 34 2.4.5 Hệ suy diễn mờ 36 Chƣơng - MƠ HÌNH PHÂN TÍCH RỦI RO TÀI CHÍNH 38 iv 2.1 Sơ lƣợc mơ hình 38 2.2 Phân lớp liệu - Thiết kế mạng nơron 39 2.2.1 Chọn loại liệu đầu vào 39 2.2.2 Thu thập liệu 39 2.2.3 Tiền xử lý liệu 40 2.2.4 Phân hoạch liệu 41 2.2.5 Thiết kế huấn luyện mạng Nơron 41 2.2.6 Phân tích liệu 41 2.3 Xây dựng tập luật từ phân tích kỹ thuật 42 2.3.1 Phân kỳ hội tụ đƣờng trung bình di động 42 2.3.2 Chỉ số kênh giá hàng hoá - The Commodity Channel Index (CCI) 43 2.3.3 Chỉ số cƣờng độ tƣơng đối - Relative Strength Index (RSI) 43 2.3.4 Dải băng Bollinger 44 2.4 Kết hợp phân tích kỹ thuật với logic mờ mạng nơron 44 2.4.1 Mô đun số kỹ thuật 45 2.4.2 Mô đun hội tụ 46 2.4.3 Mô đun hệ suy diễn mờ (FIS) 46 2.4.4 Luật sở 47 Chƣơng - THỰC NGHIỆM VÀ ĐÁNH GIÁ 49 4.1 Dữ liệu dùng thực nghiệm 49 4.2 Thiết lập tham số cho thực nghiệm 50 4.2.1 Các tham số mạng nơron 50 4.2.2 Các tham số hệ hỗ trợ định 51 4.3 Kết mẫu 54 4.3.1 Kết việc đánh giá dự báo tƣơng lai 54 4.3.2 Kết việc hỗ trợ định 58 4.4 Đánh giá phân tích 59 4.5 Kết luận 63 KẾT LUẬN 64 TÀI LIỆU THAM KHẢO 65 PHỤ LỤC 66 Phụ lục A – Giới thiệu phần mềm FRPredictor 66 Phụ lục B – Cấu trúc bảng sở liệu tài 69 Phụ lục B – Dữ liệu dùng thực nghiệm 72 v DANH MỤC CÁC KÝ HIỆU, TỪ VIẾT TẮT Từ viết tắt Tiếng Anh Tiếng Việt BB Bollinger Band Dải bolinger CCI The Commodity Channel Index Chỉ số kênh giá hàng hoá CK Chứng khốn CNTT Cơng nghệ thơng tin CP Cổ phiếu CSDL Database DN Cơ sở liệu Doanh nghiệp MA Moving Average Đƣờng trung bình động MACD MovingAverage Convergence/Divergence Phân kỳ hội tụ đƣờng trung bình động MISO Multi Input Single Output Nhiều đầu vào – Một đầu MLP Multi Layer Perceptron Mạng truyền thẳng nhiều lớp PTTK RSI TTCK Phân tích kỹ thuật Relative Strength Index Chỉ số cƣờng độ tƣơng đối Thị trƣờng chứng khốn vi DANH MỤC HÌNH VẼ Hình 1-1 Biểu đồ dạng đƣờng 12 Hình 1-2 Biểu đồ dạng then chắn 13 Hình 1-3 Biểu đồ dạng nến 13 Hình 2-1 Mơ hình phân lớp tiêu chuẩn 19 Hình 2-2 Mơ hình nơron perceptron 24 Hình 2-3 Mơ hình mạng perceptron lớp(MLP) 26 Hình 2-4 Các dạng hàm thuộc 30 Hình 2-5 Giải mờ phƣơng pháp cực đại 35 Hình 2-6 Giải mờ phƣơng pháp điểm trọng tâm 35 Hình 2-7 Hệ suy diễn mờ 36 Hình 3-1 Mơ hình đề xuất 38 Hình 3-2 Mồ hình thực thể liên kết 40 Hình 3-3 Hệ suy diễn mờ 45 Hình 3-4 Miền giá trị đầu 47 Hình 4-1 Kết huấn luyện kiểm tra 55 Hình 4-2 Kết thực phân tích 57 Hình 4-3 Dự đốn Sp500 58 Hình 4-4 Hỗ trợ định cho cơng ty IBM 58 Hình 4-5 Tỷ lệ xác 61 Hình 4-6 Tỷ lệ xác theo q 61 Hình 4-7 So sánh tỷ lệ xác 62 vi DANH MỤCi BẢNG BIỂU Bảng 2-1 Ma trận hỗn hợp phân lớp 20 Bảng 3-1 Miền giá trị tham số 46 Bảng 4-1 Thiết lập tham số mạng 51 Bảng 4-2 Các số kỹ thuật luật mờ tƣơng ứng 52 Bảng 4-3 Kết hợp Hạng, số luật mờ tƣơng ứng 53 Bảng 4-4 Mẫu liệu huấn luyện 54 Bảng 4-5 Dữ liệu phân tích 56 Bảng 4-6 Kết phân tích dự báo 57 Bảng 4-7 Hỗ trợ định cho công ty 59 Bảng 4-8 Kết so sánh định từ MACD, mơ hình thực tế 60 Bảng 4-9 So sánh việc ba số với hệ thống 62 MỞ ĐẦU Đặt vấn đề Thế giới ngày trở nên bất ổn hơn, bất ổn giá hàng hoá biến số tài thay đổi theo chiều hƣớng khó dự báo trƣớc đƣợc Trƣớc ban quản trị đƣa định phòng ngừa rủi ro, trƣớc tiên họ cần phải nhận diện đƣợc tất rủi ro mà cơng ty gặp phải Hầu hết tổ chức tài phải đối mặt với rủi ro kinh doanh, rủi ro thuộc chất hoạt động kinh doanh Trên giới có nhiều nghiên cứu vấn đề có số mơ hình nhƣ phần mềm hỗ trợ việc đánh giá, dự báo rủi ro tài Tuy nhiên Việt nam, tổ chức tài nhƣ cơng ty doanh nghiệp chƣa ý nhiều tới rủi ro tài Một số doanh nghiệp tự đánh giá, dự báo rủi ro thuê chuyên gia cố vấn tài Cách làm tƣơng đối thủ cơng tốn mặt nhân lực nhƣ kinh phí Trong lĩnh vực nghiên cứu khoa học máy tính khai phá liệu lĩnh vực phát triển mạnh mẽ có nhiều ứng dụng thực tiễn Khai phá liệu kết hợp học máy, công nghệ sở liệu chuyên ngành khác để tìm tri thức từ sở liệu lớn Từ tri thức này, ta sử dụng để xây dựng mơ hình để đánh giá, dự báo Mục tiêu luận văn tìm hiểu rủi ro tài xây dựng mơ hình nhằm đánh giá, dự báo rủi ro tài Tuy nhiên, vấn đề rủi ro tài tƣơng đối lớn rộng nên phạm vi luận văn dừng lại việc xây dựng mơ hình đánh giá, dự báo rủi ro lĩnh vực đầu tƣ, kinh doanh chứng khoán Luận văn tập trung vào việc tìm hiểu số mơ hình học máy tiên tiến phân tích kỹ thuật lĩnh vực chứng khốn Phân tích kỹ thuật khoa học mới, phát triển mạnh mẽ có kết khả quan Trong luận văn, thực việc kết hợp phƣơng pháp học máy sử dụng mạng nơron nhân tạo, phân tích kỹ thuật, hệ suy diễn mờ ứng dụng xây dựng mơ hình đánh giá, hỗ trợ định mua bán mã cổ phiếu cụ thể Tơi hồn thành phần mềm thử nghiệm tiến hành thực nghiệm liệu thực tế thu thập từ sàn giao dịch chứng khốn ngồi nƣớc Trong luận văn này, tơi tìm hiểu, kết hợp tìm cách ứng dụng phƣơng pháp khai phá liệu nhằm phân tích đánh giá rủi ro lĩnh vực tài Các kết thực nghiệm phần mềm chƣa thực cao nhƣng đủ để cung cấp thông tin định hƣớng ban đầu cho nghiên cứu 2 Mục tiêu nghiên cứu Nghiên cứu luận văn hƣớng tới mục tiêu sau: - Giúp đỡ ban quản trị doanh nghiệp đánh giá rủi ro lĩnh vực tài - Giúp ngƣời kinh doanh đầu tƣ chứng khoán việc dự báo, đƣa định mua bán chứng khoán Cấu trúc luận văn Luận văn đƣợc chia thành phần với nội dung nhƣ sau: Chương I trình bày nội dung lý thuyết lĩnh vực tài Các khái niệm liên quan tới tài chính, rủi ro tài chính, chứng khốn, phân tích dự báo đầu tƣ chứng khốn đƣợc giới thiệu ngắn gọn nhằm mang lại kiến thức lĩnh vực tài Chương II giới thiệu khai phá liệu, sau giới thiệu chi tiết vấn đề phân lớp, mạng nơron, logic mờ Các kỹ thuật đƣợc trình bày chƣơng sở lý thuyết cho phƣơng pháp giải chƣơng Chương III tập trung vào xây dựng mơ hình nhằm giải tốn đặt Trong chƣơng đƣa phƣơng pháp sử dụng logic mờ, mạng nơ ron phân tích kỹ thuật nhằm xây dựng hệ hỗ trợ định cho toán dự báo dự đoán rủi ro tài Chương IV mơ tả phân tích kết mà tiến hành thực nghiệm Mô hình đƣợc huấn luyện liệu giao dịch chứng khốn q khứ, sau mơ hình đƣợc sử dụng để dự đoán độ rủi ro doanh nghiệp tƣơng ứng nhằm kiểm chứng khả dự đoán mơ hình Đồng thời kết đƣợc so sánh với mơ hình khác nhằm tìm điểm mạnh, yếu mơ hình so với mơ hình đƣợc xây dựng Phần kết luận tổng kết kết đạt đƣợc luận văn hƣớng nghiên cứu Phần phụ lục giới thiệu phần mềm dự báo rủi ro hỗ trợ định, đồng thời hƣớng dẫn cách thức sử dụng phần mềm 60 Để đánh giá độ xác mơ hình so với thực tế tiến hành thực nghiệm việc hỗ trợ định mua/bán cho công ty Intel ngày năm 2007 2008 Dƣới bảng đánh giá Bảng 4-8 Kết so sánh định từ MACD, mơ hình thực tế STT Ngày Quyết định từ MACD Quyết định từ Hệ thống Thực tế 29/3/2007 BÁN (-0.32) BÁN (0.38) BÁN 30/6/2007 MUA (0.46) GIỮ MUA 14/7/2007 MUA (0.74) MUA (0.62) MUA 20/8/2007 MUA (0.21) BÁN (0.32) BÁN 30/9/2007 BÁN (-0.37) BÁN (0.40) BÁN 31/12/2007 BÁN (-0.26) BÁN (0.31) MUA … … … … 22 02/01/2008 MUA (0.52) BÁN (0.24) BÁN 23 17/01/2008 MUA (0.73) MUA (0.67) BÁN 24 15/2/2008 BÁN (-0.40) BÁN (0.45) BÁN 25 29/3/2008 MUA (0.68) MUA (0.75) MUA … Giải thích bảng so sánh đánh giá: Cột số thứ tự lần thực nghiệm, cột thứ hai ngày, cột thứ ba cột định nhà đầu tƣ sử dụng số MACD Cột thứ ba định hệ thống cột cuối kết thực tế Ví dụ lần thử thứ ngày 29/03/2007, ngƣời đầu tƣ dựa vào số MACD=-0.32 0 có nghĩa thị trƣờng có dấu hiệu mua vào Kết hợp số RSI=51 có nghĩa thị trƣờng mức bình thƣờng Chỉ số CCI=-13