NGUYÊN CỨU VÀ XÂY DỰNG HỆ THỐNG QUẢN LÝ VÀ DỰ ĐOÁN XU THẾ GIÁ CHỨNG KHOÁN DỰA TRÊN NỀN TẢNG MÃ NGUỒN MỞ

NGUYÊN CỨU VÀ XÂY DỰNG HỆ THỐNG QUẢN LÝ VÀ DỰ ĐOÁN XU THẾ GIÁ CHỨNG KHOÁN DỰA TRÊN NỀN TẢNG MÃ NGUỒN MỞ

1 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Vũ Đức Việt NGUYÊN CỨU VÀ XÂY DỰNG HỆ THỐNG QUẢN LÝ VÀ D Ự ĐOÁN XU THẾ GIÁ CHỨNG KHOÁN DỰA TRÊN N ỀN TẢNG MÃ NGUỒN MỞ KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công nghệ thông tin Cán b ộ hướng dẫn: TS. Nguyễn Hà Nam HÀ NỘI – 2010 2 TÓM TẮT Bài toán dự báo tài chính ngày càng được nhiều người quan tâm trong bối cảnh phát tri ển kinh tế xã hội ở Việt Nam hiện nay. Đầu tư vào thị trường chứng khoán đòi hỏi nhi ều kinh nghiệm và hiểu biết của các nhà đầu tư. Các kĩ thuật khai phá dữ liệu được áp d ụng nhằm dự báo sự lên xuống của thị trường là một gợi ý giúp các nhà đầu tư có thể ra các quy ết định giao dịch. Khóa luận này giới thiệu một kỹ thuật khai phá dữ liệu hiệu quả đượ c sử dụng rộng rãi trong nhiều lĩnh vực đó là mô hình mạng nơ ron và cách áp dụng vào d ữ liệu thời gian thực. Cấu trúc và hoạt động cũng như cách thiết kế mạng cho dữ liệu th ời gian thực áp dụng trong bài toán dự báo tài chính được trình bày chi tiết nhằm làm rõ cách áp d ụng mô hình vào bài toán thực tế. 3 MỤC LỤC TÓM TẮT M ỤC LỤC DANH M ỤC HÌNH VẼ DANH M ỤC BẢNG BIỂU Ch ương 1. GIỚI THIỆU 1 Ch ương 2. GIỚI THIỆU VỀ KHAI PHÁ DỮ LIỆU VÀ PHÁT HIỆN TRI THỨC.2 2.1. Khai phá d ữ liệu và phát hiện tri thức 2 2.2 T ại sao phải tiến hành khai phá dữ liệu? 4 2.3. Ki ến trúc điển hình của một hệ khai phá dữ liệu 5 2.4. Các bài toán khai phá d ữ liệu điển hình 6 2.5. Các ứng dụng điển hình của khai phá dữ liệu 8 2.6. K ết luận 8 Ch ương 3. CƠ SỞ LÝ THUYẾT CỦA MẠNG NORON CHO VẤN ĐỀ DỰ BÁO9 3.1. Khái ni ệm về mạng noron 9 3.2. Mô hình c ủa một noron nhân tạo và hàm truyền 9 3.2.1. Mô hình c ủa một noron 9 3.2.2. Hàm truy ền 12 3.3. Mô hình c ủa mạng noron 14 3.3.1. M ạng tiến 14 3.3.2. M ạng hồi quy 16 3.4. Ph ương pháp học và thuật toán lan truyền ngược cho mạng 17 3.4.1. C ơ sở lý thuyết học của mạng 17 4 3.4.2. Thu ật toán lan truyền ngược (back – propagation) 18 Ch ương 4. MẠNG NORON CHO QUÁ TRÌNH DỰ ĐOÁN 23 4.1. Mô hình m ạng noron cho việc dự báo 23 4.2. Các b ước thiết kế mô hình 24 4.2.1. Ch ọn lựa các biến 25 4.2.2. Thu th ập dữ liệu 25 4.2.3. Ti ền xử lý dữ liệu 25 4.2.4. Phân ho ạch tập dữ liệu 26 4.2.5. Xác định cấu trúc mạng 27 4.2.6. Xác định tiêu chuẩn đánh giá 30 4.2.7. Hu ấn luyện mạng nơ ron 32 4.2.8. Tri ển khai 33 4.3 T ổng kết 34 Ch ương 5. XÂY DỰNG CHƯƠNG TRÌNH VÀ 35 ĐÁNH GIÁ 35 5.1. Vài nét v ề các phần mềm nguồn mở được sử dụng 35 5.1.1. Weka 35 5.1.2. Jstock 37 5.2. Mô hình k ết hợp giữa hai gói phần mềm mã nguồn mở 38 5.2.1. Chuy ển dữ liệu thời gian thực 39 5.2.2. Xác định mô hình phù hợp 40 5.2.3. Chuy ển kết quả cho stock hiển thị 43 5.3. Đánh giá với một số mô hình khác 43 5.3.1. Mô hình cây quy ết định 44 5.3.2. Mô hình phân l ớp xác suất ngây thơ naïve bayes 46 5 Ch ương 6. KẾT LUẬN 49 TÀI LI ỆU THAM KHẢO 50 6 DANH MỤC HÌNH VẼ Hình 2.1 – Quá trình khai phá tri thức [1] 3 Hình 2.2 – Ki ến trúc điển hình của một hệ thống khai phá dữ liệu [2] 5 Hình 2.3 – B ảng thống kê xu thế phát triển khai phá dữ liệu [1] 8 Hình 3.1 - Mô hình c ủa một noron[2] 10 Hình 3.2 – Mô hình c ủa một noron được vẽ lại [2] 11 Hình 3.3 – Hàm ng ưỡng 12 Hình 3.4 – Hàm vùng tuy ến tính 13 Hình 3.5 – Hàm tuy ến tính 13 Hình 3.6 – Hàm sigma v ới các độ dốc khác nhau 14 Hình 3.7 – Mô hình m ạng tiến đơn mức 15 Hình 3.8 – Mô hình m ạng tiến đa mức 16 Hình 3.9 – Mô hình m ạng tiến có sự phản hồi 17 Hình 4.1 – Mô hình d ự đoán sử dụng mạng noron 23 Hình 4.2 – T ỷ lệ kích thước giữa các tập huấn luyện [9] 27 Hình 4.3 – Độ hội tụ: 3 tầng, 20 nơ ron ẩn, 50 bước 29 Hình 4.4 – Độ hội tụ: 3 tầng, 20 nơ ron ẩn, 100 bước 29 Hình 4.5 – Độ hội tụ: 3 tầng, 20 nơ ron ẩn, 300 bước 29 Hình 4.6 – Độ hội tụ: 3 tầng, 50 nơ ron ẩn, 5 bước 30 Hình 4.7 – Độ hội tụ: 3 tầng, 50 nơ ron ẩn, 50 bước 30 Hình 5.1 – Giao di ện chính của weka 36 Hình 5.2 – Giao di ện chính của Jstock 37 Hình 5.3 – Mô hình h ệ thống khóa luận xây dựng 38 Hình 5.4 – K ết quả huấn luyện mạng noron bằng dòng lệnh weka 42 Hình 5.5 – Mô hình cây quy ết định 45 7 DANH MỤC BẢNG BIỂU Bảng 4.1 – Tổ chức dữ liệu của mô hình 26 B ảng 5.1 – Huấn luyện mạng noron 44 B ảng 5.2 – Huấn luyện cây quyết định 46 B ảng 5.3 – Huấn luyện naïve bayes 48 B ảng 5.4 – So sánh các mô hình 48 1 Chương 1. GIỚI THIỆU Trong những năm gần đây, người ta thường nhắc đến khai phá dữ liệu (datamining) – khái ni ệm được dùng để tham chiếu đến quá trình phát hiện tri thức và khai phá dữ liệu (KDD – Knowledge Discovery and Data mining) – như là một phương pháp xác định ra tri th ức từ một lượng dữ liệu khổng lồ. Sự phát triển của công nghệ thông tin và việc ứng d ụng công nghệ thông tin trong nhiều lĩnh vực của đời sống, kinh tế xã hội trong nhiều năm qua cũng đồng nghĩa với lượng dữ liệu đã được các cơ quan thu thập và lưu trữ ngày m ột tích luỹ nhiều lên. Hơn nữa thông tin thu thập được từ nhiều chiều khác nhau và gây nhi ễu cho nhau đã thực sự trở thành một vấn đề nan giải cho con người để xử lý lượng thông tin l ớn đang tăng lên từng ngày một. Với những lý do như vậy, các phương pháp qu ản trị và khai thác cơ sở dữ liệu truyền thống ngày càng không đáp ứng được thực tế đã làm phát tri ển một khuynh hướng kỹ thuật mới đó là Kỹ thuật phát hiện tri thức và khai phá d ữ liệu (KDD - Knowledge Discovery and Data Mining). Có nhi ều kỹ thuật để khai phá dữ liệu trong đó kỹ thuật dựa vào mạng Noron khá là ph ổ biến [2]. Một trong những ứng dụng kinh điển của mạng Noron là lớp các bài toán dự đoán vì mạng Noron ngoài khả năng dự đoán với độ chính xác cao nó còn có ưu điểm là m ềm dẻo và thích nghi cao với môi trường, rất thích hợp cho bài toán dự đoán với dữ liệu thay đổi nhanh theo thời gian. Chính vì vậy, khóa luận sẽ sử dụng mạng Noron để dự đoán xu thế của giá chứng khoán. Các h ệ thống chứng khoán thường là những hệ thống rất phức tạp vì vậy rất khó có th ể dự đoán được dữ liệu của nó. Nó phụ thuộc vào rất nhiều yếu tố trong đó có những y ếu tố không thể định lượng được như: tâm lý, sự mù quáng của nhà đầu tư…. Mặc dù v ậy thị trường chứng khoán không phải là một quá trình ngẫu nhiên và nó có quy luật của nó và có th ể dự đoán được. Tìm ra được xu hướng của thị trường chứng khoán sẽ là chìa khóa giúp cho quá trình h ỗ trợ quyết định của nhà đầu tư. Trướ c sự hấp dẫn của các ứng dụng của mạng noron, sự phát triển đi lên của thị trườ ng chứng khoán, cùng sự động viên khuyến khích của thầy hướng dẫn, tôi đã quyết định thực hiện những nghiên cứu về mạng noron để dự báo xu thế thị trường chứng khoán nh ằm đưa ra những gợi ý cho nhà đầu tư. Do thời gian làm khóa luận có hạn nên tôi mới ch ỉ xây dựng được các thành phần cơ bản nhất của phần mềm. Các tính năng nâng cao tôi s ẽ cố hoàn thiện sau này. 2 Chương 2. GIỚI THIỆU VỀ KHAI PHÁ DỮ LIỆU VÀ PHÁT HIỆN TRI THỨC 2.1. Khai phá dữ liệu và phát hiện tri thức Phát hiện tri thức trong cơ sở dữ liệu (Knowledge Discovery in Databases – KDD) (đôi khi còn được gọi là khai phá dữ liệu) là một quá trình không đơn giản nhằm nhận d ạng ra những mẫu có giá trị, mới, hữu ích tiềm năng và hiểu được trong dữ liệu. Đây là lĩnh vực nghiên cứu và triển khai được phát triển rất nhanh chóng và có phạm vi rất rộng l ớn, lại được rất nhiều nhóm nghiên cứu tại nhiều trường đại học, viện nghiên cứu, công ty ở nhiều quốc gia trên thế giới quan tâm, cho nên có rất nhiều cách tiếp cận khác nhau đối với lĩnh vực phát hiện tri thức trong CSDL. Chính vì lý do đó các nhà khoa học trên th ế giới đã dùng nhiều thuật ngữ khác nhau, mà các thuật ngữ này được coi là mang cùng ngh ĩa với KDD như chiết lọc tri thức (knowledge extraction), phát hiện thông tin (information discovery), thu ho ạch thông tin (information harvesting), khai quật dữ liệu (data archaeology), x ử lý mẫu dữ liệu (data pattern processing) Hơn nữa, trong nhiều trường hợp, hai khái niệm "Phát hiện tri thức trong cơ sở dữ liệu" và "khai phá dữ liệu" còn được dùng thay thế nhau. Hai khái niệm khai phá dữ liệu và phát hiện tri thức trong các CSDL thường cặp đôi với nhau [1]. Quá trình KDD th ường bao gồm nhiều bước là: - Làm sạch dữ liệu (Data Cleaning): Khử nhiễu và các dữ liệu mâu thuẫn. - Tích hợp dữ liệu (Data Integration): Kết hợp nhiều nguồn dữ liệu khác nhau. - Lựa chọn dữ liệu (Data Selection): Chắt lọc lấy những dữ liệu liên quan đến nhiệm vụ phân tích sau này. - Biến đổi dữ liệu (Data Transformation): Biến đổi dữ liệu thu được về dạng thích h ợp cho quá trình khai phá. - Khai phá dữ liệu (Data Mining): Sử dụng những phương pháp thông minh để khai thác dữ liệu nhằm thu được các mẫu mong muốn. - Đánh giá kết quả (Pattern Evaluation): Sử dụng các độ đo để đánh giá kết qu ả thu được. 3 - Biểu diễn tri thức (Knowledge Presentation): Sử dụng các công cụ biểu di ễn trực quan để biểu diễn những tri thức khai phá được cho người dùng. Hình 2.1 – Quá trình khai phá tri thức [1] Quá trình trên được thừa nhận là không tầm thường theo nghĩa là quá trình đó không chỉ nhiều bước mà còn được thực hiện lặp, và quan trọng hơn quá trình đó bao hàm một m ức độ tìm kiếm tự động. Trong mô hình chúng ta đã coi KDD là một quá trình bao gồm nhi ều bước thực hiện, trong đó, khai phá dữ liệu là một bước thực hiện chính yếu. Cách hi ểu như vậy đã quy định có sự phân biệt giữa hai khái niệm khai phá dữ liệu và KDD. T ừ đây có thể đi đến một khái niệm về khai phá dữ liệu: Khai phá d ữ liệu là một bước trong quá trình phát hiện tri thức trong cơ sở dữ liệu, thi hành m ột thuật toán khai phá dữ liệu để tìm ra các mẫu từ dữ liệu theo khuôn dạng thích h ợp. [...]... số và các vector ngưỡng và kết thúc quá trình huấn luyện Ngược lại gán i:=i+1 rồi lặp lại các bước từ 2 tới 7 21 Như vậy tôi đã trình bày về mạng noron cũng như thuật toán lan truyền ngược Đó là những cơ sở lý thuyết để tôi tiến hành đi vào xây dựng mô hình chương trình của tôi sau này 22 Chương 4 MẠNG NORON CHO QUÁ TRÌNH DỰ ĐOÁN 4.1 Mô hình mạng noron cho việc dự báo Dựa trên kiến trúc của một hệ thống. .. ra thực sự Trong bài toán này của tôi, đầu vào ở đây là k giá trị 25 chứng khoán trước đó (k được cho trước) Đầu ra là giá trị dự đoán cho thời điểm tương lai Rh(t+1) Rh(t) Rh(t-1) … Rh(t-k+1) Với bài toán này, ta tổ chức dữ liệu theo chiều tiến của thời gian với cột đầu tiên là giá chứng khoán của thời điểm thứ k trước đó và các cột còn lại là giá trị chứng khoán tại các thời điểm tăng đần theo thời... đánh giá: thực hiện công việc kiểm định xem mạng đã đáp ứng được yêu cầu của hệ thống chưa Tập dự đoán: là tập dữ liệu có cấu trúc giống như tập huấn luyện nhưng giá trị cần dự đoán bị khuyết và nhiệm vụ của mạng noron đã được tối ưu là bổ sung giá trị bị khuyết này của tập dự đoán Quá trình hoạt động của mô hình Giai đoạn học: Ban đầu mạng noron với thuật toán lan truyền ngược (đã giới thiệu ở trên) ... hưởng đến tương lai của một mã chứng khoán, và chúng thường khá phức tạp, không có một quy luật củ thể nào Khóa luận này tôi sẽ chỉ sử dụng giá chứng khoán tại các thời điểm trong quá khứ để dự đoán giá cho thời điểm mong muốn (1), (2), … , ( − 1 ), ( ), ( + 1 ), … , Như vậy dữ liệu của mô hình gồm một chuỗi các quan sát: 4.2.2 Thu thập dữ liệu ( ) Dữ liệu về giá chứng khoán trong bài toán được tôi... với nhữn lý thuyết về mạng noron ở chương 3 Chúng ta có thể sử dụng mô hình sau cho việc dự đoán: Tập huấn luyện Tập đánh giá n, ⃗ Học cho mạng Mạng đã được học Hàm đánh giá No Yes Tập dự đoán Kết quả Mạng tối ưu Hình 4.1 – Mô hình dự đoán sử dụng mạng noron Mô hình trên bao gồm: Tập huấn luyện: là tập hợp dữ liệu đầu vào phục vụ cho quá trình học của mạng 23 Tập đánh giá: là tập dùng để kiểm chứng việc... thiệu sau đây thuộc loại học có giám sát Học không giám sát [3]: điểm khác biệt với học có giám sát ở chỗ là đầu ra đúng tương ứng cho mỗi đầu vào là không biết trước Trong học không có giám sát, một tập dữ liệu đầu vào được thu thập Học không có giám sát thường đối xử với các đối tượng đầu vào như là một tập các biến ngẫu nhiên Sau đó, một mô hình mật độ kết hợp sẽ được xây dựng cho tập dữ liệu đó 3.4.2... một phần mềm mã nguồn mở là jstock Phần mềm này có khả năng thu thập được rất nhiều chứng khóa của 24 nước trên thế giới Chi tiết hơn về jstock tôi sẽ mô tả trong phần sau của khóa luận 4.2.3 Tiền xử lý dữ liệu Dữ liệu thu thập được cần phải được xử lý cho phù hợp với đầu vào của mạng trước khi chúng được sử dụng Theo như kiến thức mô tả về mạng noron ở chương 3, dư liệu sẽ gồm đầu vào và đầu ra thực... này giúp dự đoán được tương lai 7 2.5 Các ứng dụng điển hình của khai phá dữ liệu Dưới đây là bảng thống kê những xu thế phát triển của các lĩnh vực ứng dụng khai phá dữ liệu điển hình trong các năm 2003, 2004, 2006 và xu hướng phát triển của chúng Hình 2.3 – Bảng thống kê xu thế phát triển khai phá dữ liệu [1] 2.6 Kết luận Trong chương này tôi đã trình bày những nét cơ bản về khai phá dữ liệu và những... phá dữ liệu Dưới đây là kiến trúc của một hệ thống khai phá dữ liệu: Hình 2.2 – Kiến trúc điển hình của một hệ thống khai phá dữ liệu [2] Trong kiến trúc hệ thống này, các nguồn dữ liệu cho các hệ thống khai phá dữ liệu bao gồm hoặc Cơ sở dữ liệu, hoặc Kho dữ liệu, hoặc World Wide Web, hoặc kho chứa dữ liệu kiểu bất kỳ khác, hoặc tổ hợp các kiểu đã liệt kê nói trên Cơ sở tri thức, bao chứa các 5 tri... thực sự hấp dẫn thì chúng được bổ sung vào cơ sở tri thức để phục vụ cho hoạt động tiếp theo của hệ thống Như vậy, nguồn tri thức bổ sung vào cơ sở tri thức ở đây không chỉ từ lập luận lôgic theo các hệ toán lôgic để có tri thức mới, không chỉ do con người hiểu biết thêm về thế giới khách quan để bổ sung vào mà còn là tri thức được phát hiện một cách tự động từ nguồn dữ liệu [1] 2.4 Các bài toán khai . ĐẠI HỌC CÔNG NGHỆ Vũ Đức Việt NGUYÊN CỨU VÀ XÂY DỰNG HỆ THỐNG QUẢN LÝ VÀ D Ự ĐOÁN XU THẾ GIÁ CHỨNG KHOÁN DỰA TRÊN N ỀN TẢNG MÃ NGUỒN MỞ KHOÁ LUẬN TỐT. toán dự đoán với dữ liệu thay đổi nhanh theo thời gian. Chính vì vậy, khóa luận sẽ sử dụng mạng Noron để dự đoán xu thế của giá chứng khoán. Các h ệ thống