Xây dựng công cụ dự đoán chứng khoán ứng dụng datamining báo cáo nghiên cứu khoa học

1 LỜI MỞ ĐẦU LÝ DO CHỌN ĐỀ TÀI Xu thế hội nhập kinh tế quốc tế và khu vực với sự ra đời của tổ chức thƣơng mại thế giới (WTO), liên minh Châu Âu, các khối thị trƣờng chung; đòi hỏi các quốc gia phải thúc đẩy phát triển kinh tế với tốc độ và hiệu quả cao. Thực tế phát triển kinh tế ở các quốc gia trên thế giới đã khẳng định vai trò quan trọng của thị trƣờng chứng khoán (TTCK) phát triển kinh tế và Việt Nam một nƣớc đang trên đà nƣớc đang phát triển cũng và đang hoạt động thị trƣờng chứng với vai trò quan trọng trong việc phát triển kinh tế. Ở Việt Nam, kể từ khi hoạt động chính thức vào năm 28/7/2000, TTCK đã mang lại cơ hội cũng nhƣ rủi ro lớn cho nhà đầu tƣ. Trong những ngày đầu các nhà đầu tƣ hầu hết không hiểu cách thức chứng khoán hoạt động và hƣớng phát triển, hầu hết đều đầu tƣ theo tâm lí đám đông, hoặc bị ảnh hƣởng bởi những tin đồn, dẫn đến vô số trƣờng hợp đáng tiếc, nhiều cá nhân công ty lâm vào cảnh trắng tay vì thiếu kiến thức đầu tƣ. Những năm sau này chứng khoán phát triển,nhà đầu tƣ cũng am hiểu hơn và dần chuyên nghiệp hơn trong quá trình đầu tƣ, kéo theo đó sự phát triển của bộ môn dự đoán chứng khoán ra đời giúp cho nhà đầu tƣ có quyết định sáng suốt hơn trong đầu tƣ, tiêu biểu là ngành phân tích kĩ thuật là một nhánh trong bộ môn dự đoán chứng khoán. Trong xã hội thông tin nói chung và chứng khoán nói riêng ai nắm đƣợc nhiều thông tin đều có lợi, vì vậy ngoài những cách thức phân tích truyền thống nhƣ định giá công ty, . thì hình thức nữa là dựa vào dữ kiện lịch sử để dự đoán bƣớc giá tiếp theo của cổ phiếu[11], hình thức này tốn ít chi phí và nhanh chóng giúp nhà đầu tƣ có quyết định nhanh nhất. Điển hình là những phần mềm nhƣ Metastock, Amibroker, VietStock…, các phần mềm này phân tích dữ liệu bằng các thuật toán của bộ môn phân tích kĩ thuật và đƣợc thiết kế một cách chuyên nghiệp bởi các công ty lớn và có thu phí. Tuy nhiên, các phần mềm nhƣ MetaStock lại khó làm quen và sử dụng đòi hỏi kiến thức lớn về phân tích kĩ thuật, hơn nữa các chƣơng trình này đòi hỏi phí sử dụng rất cao. Vì vậy nhóm thực hiện nhận thấy việc thiết kế và xây dựng phần mềm với tiêu chí đơn giản dễ sử dụng những tính năng hiệu quả là cần thiết 2 MỤC TIÊU NGHIÊN CỨU Xây dựng công cụ hỗ trợ dự đoán và phân tích chứng khoán áp dụng cho TTCK tại Việt Nam. Đáp ứng các nhu cầu cho các nhà đầu tƣ những cơ sở phân tích dữ liệu chứng khoán: Dò tìm và khai phá các quy luật tiềm ẩn về sự biến động giá chứng khoán. Đƣa ra các biểu đồ dự báo giá cổ phiếu cho các nhà đầu tƣ nhà đầu tƣ. Tìm ra những tƣơng tác giữa các thành phần trong dữ liệu chứng khoán lịch sử để đƣa ra quyết định. PHƢƠNG PHÁP NGHIÊN CỨU Bƣớc 1: Khảo sát thực tế hiện trạng TTCK tại Việt Nam tìm ra các nhu cầu mà các nhà đầu tƣ chứng khoán cần. Bƣớc 2: Khảo sát, tìm hiểu và thu thập đầy đủ thông tin về các vấn đề cần giải quyết bao gồm các phƣơng pháp và các phần mềm liên quan. Bƣớc 3: Tận dụng các dữ liệu đã có sẵn từ nguồn cơ sở dữ liệu (CSDL) chứng khoán để xây dựng CSDL sử dụng cho chƣơng trình. Bƣớc 4: Lựa chọn và kế thừa các phƣơng pháp phù hợp với nội dung cần giải quyết. Bƣớc 5: Lập trình xử lý tạo ra ứng dụng. Công cụ sử dụng :  Ngôn ngữ lập trình: C#  Thiết kế, phát triển phần mềm: Ms Visual Studio 2005  Thiết kế CSDL, chạy thuật toán khai phá dữ liệu (KPDL): Ms SQL Server 2005 PHẠM VI NGHIÊN CỨU Nội dung nghiên cứu của đề tài tập trung giải quyết các vấn đề chính sau:  Tổng quan về các phƣơng pháp phân tích, dự báo chứng khoán hiện nay  Cơ sở lý thuyết tổng quan về KPDL – Data Mining.  Xây dựng phần mềm hỗ trợ phân tích, dự báo chứng khoán với ứng dụng KPDL, sử dụng ba phƣơng pháp chính:  Khai phá luật kết hợp (Association Rule Discovery) 3  Chuỗi thời gian (Time serial)  Cây quyết định (Decision Tree) Nhóm thực hiện đề tài giới hạn chƣơng trình gồm 2 phần:  Phần xử lý dữ liệu bằng thuật toán trên server  Lọc kết quả trên client cho ngƣời dùng. TÍNH MỚI CỦA ĐỀ TÀI Xây dựng một công cụ hỗ trợ dự đoán chứng khoán bằng cách áp dụng các phƣơng pháp KPDL (Data Mining) để tìm ra qui luật biến động giá, dự báo giá cổ phiếu tƣơng lai. KẾT CẤU CỦA ĐỀ TÀI Luận văn này đƣợc trình bày thành ba phần chính: phần mở đầu, phần nội dung và phần kết luận LỜI MỞ ĐẦU Giới thiệu sơ lƣợc về lý do chọn đề tài, lịch sử nghiên cứu, mục tiêu nghiên cứu, đối tƣợng và phạm vi nghiên cứu, phƣơng pháp nghiên cứu, những đóng góp và những vấn đề tồn tại của đề tài để từ đó đem lại cho mọi ngƣời một cái nhìn tổng quan nhất về đề tài. CHƢƠNG 1: THỰC TRẠNG Nêu những thực trạng các phần mềm hiện có trên thị trƣờng, ứng dụng vào các vấn đề còn tồn tại. từ đó đƣa ra các giải pháp cần thực hiện. CHƢƠNG 2: CƠ SỞ LÝ LUẬN Trình bày về các khái niệm chứng khoán, cách thức qui trình tham gia giao dịch chứng khoán, các phƣơng pháp phân tích TTCK đáp ứng nhu cầu cho nhà đầu tƣ đánh giá và quyết định tham gia giao dịch. Trình bày các khái niệm KPDL, các ứng dụng, qui trình xử lý khai thác dữ liệu, các lợi thế và thách thức đối với KPDL. Từ các phƣơng pháp khai thác dữ liệu khác nhau và chọn các phƣơng pháp phù hợp với dự liệu chứng khoán mà chúng ta cần tìm ra qui luật gì. Từ đó phân tích bài toán chứng khoán dựa vào phƣơng pháp KPDL để xây dựng công cụ hỗ trợ dự đoán chứng khoán. CHƢƠNG 3: GIẢI PHÁP HOÀN THIỆN 4 Trình bày các cách thức thu thập dữ liệu chứng khoán, thành phần và ý nghĩa của dữ liệu, xử lý dữ liệu thu thập đƣợc và lƣu trữ CSDL. Trình bày thành phần dữ liệu, các sơ đồ chức năng chƣơng trình, các mô hình thành phần dữ liệu chính. Giới thiệu các chức năng của chƣơng trình và đánh giá nhận xét một vài thử nghiệm KẾT LUẬN Đƣa ra các nhận xét đánh giá, hƣớng phát triển và kết luận chung của đề tài. KẾT QUẢ ĐẠT ĐƢỢC Đã xây dựng đƣợc đƣợc một chƣơng trình ứng dụng KPDL hỗ trợ dự đoán chứng khoán đáp ứng một số yêu cầu: Giao diện đơn giản dễ sử dụng, ngƣời dùng có thể dễ dàng thấy đƣợc kết quả của chƣơng trình bằng vài thao tác đơn giản. Tạo ra các luật tƣơng tác giữa các cổ phiếu đƣa ra sự ảnh hƣởng biến động đối với các cổ phiếu cùng tham gia giao dịch , bằng biểu đồ dự đoán giá cổ phiếu ngƣời dùng có thể thấy đƣợc lịch sử cũng nhƣ dự đoán tƣơng lai bƣớc giá của các cổ phiếu. 5 CHƢƠNG 1 : THỰC TRẠNG 1.1 TÌNH HÌNH CHUNG Kể từ TTCK Việt Nam bắt đầu hoạt động và cho tới nay sự phát triển TTCK khá mạnh. Nhiều cá nhân tổ chức có xu hƣớng tham gia đầu tƣ chứng khoán. 1.2. THỰC TRẠNG PHẦN MỀM ĐÃ CÓ 1.2.1, Các phần mềm trong nƣớc VietstockTrader VietstockTrader là chƣơng trình do công ty cổ phần Tài Việt xây dựng và phát triển, chƣơng trình cung cấp cho ngƣời dùng nhiều tính năng nhƣ:  Trader : nó bao gồm các thông tin liên quan để hỗ trợ quá trình giao dịch  Fundamental: gồm các thông tin liên quan đến doanh nghiệp niêm yết và thị trƣờng  News: gồm tin tức TTCK trong và ngoài nƣớc.  Research: các bài báo cáo phân tích, nhận định thị trƣờng của Vietstock Hình 1.1: Giao diện phần mềm VietstockTrader 6 1.2.2, Các phần mềm nƣớc ngoài 1.2.2.1, Amibroker Là một chƣơng trình dự đoán phân tích chứng khoán tích hợp các tính năng trên một giao diện duy nhất nên sử dụng tiện lợi và nhanh chóng, hỗ trợ giao diện tab nên có thể thực hiện nhiều kiểu phân tích cho nhiều cổ phiếu một cách dễ dàng Hình 1.2: Giao diện phần mềm AmiBroker 1.2.2.2, Metastock Metastock là phần mềm hiện đang rất phổ biến cho các nhà đầu tƣ, chƣơng trình có nhiều tính năng khá phong phú, nguồn dữ liệu đƣợc cập nhật online dễ dàng từ các website. Một số chức năng của Metastock:  Vẽ biểu đồ và các chỉ số  Chức năng Explorer: tìm những cổ phiếu có tín hiệu mua hay bán  Chức năng Test System: kiểm tra tính hợp lí của hệ thống, công thức, tín hiệu mua và bán của cổ phiếu  Chức năng Inditor: tạo công thức phân tích của mỗi ngƣời  Chức năng Expert: đƣa ra lời khuyên mua hay bán cổ phiếu 7 Hình 1.3: Giao diện phần mềm MetaStock 1.2.3, Ƣu, nhƣợc điểm các chƣơng trình trên Các phần trên đa số đều có rất nhiều tính năng đa dạng về hỗ trợ dự báo chứng khoán, dữ liệu chứng khoán hằng ngày đƣợc cập nhật tự động và đã đƣợc xử lý để sử dụng. Do có nhiều tính năng phức tạp nên ngƣời dùng phải bỏ một khoảng thời gian để tìm hiểu sử dụng, ngoài ra các phần mềm này để đƣợc sử dụng hết các tính năng nhà đầu tƣ phải trả chi phí khá cao. 1.3 KẾT LUẬN CHƢƠNG 1 Từ thực trạng trên cho thấy những phần mềm hiện nay có nhiều tính năng rất tốt trong việc dự đoán phân tích chứng khoán, tuy nhiên việc sử dụng những phần mềm này đối với những nhà đầu tƣ mới gặp nhiều khó khăn. Việc nghiên cứu đề tài này nhằm xây dựng một công cụ hỗ trợ dự báo chứng khoán đơn giản thân thiện phía ngƣời dùng. 8 CHƢƠNG 2: CƠ SỞ LÝ LUẬN 2.1. TỔNG QUAN THỊ TRƢỜNG CHỨNG KHOÁN VÀ CÁC PHƢƠNG PHÁP PHÂN TÍCH 2.1.1, Khái niệm chứng khoán[1] Là thuật ngữ về chứng chỉ hoặc bút toán ghi sổ, xác nhận quyền lợi ích hợp pháp của ngƣời sở hữu chứng khoán đối với vốn hoặc tài sản của tổ chức phát hành. Các loại chứng khoán:  Cổ phiếu: Là một loại chứng khoán đƣợc phát hành dƣới dạng chứng chỉ hoặc bút toán ghi sổ, xác nhận số vốn , quyền và lợi ích hợp pháp.  Đặc điểm: o Có mệnh giá o Không quy định lãi suất o Là chứng khoán vĩnh viễn o Cổ phiếu gồm : Cổ phiếu ƣu đãi và cổ phiếu thông thƣờng  Trái phiếu: Là một loại chứng khoán, đƣợc phát hành dƣới hình thức chứng chỉ hoặc bút toán ghi sổ, xác nhận nghĩa vụ hoàn trả nợ đúng hạn cả vốn và lãi của chủ thể phát hành đối với ngƣời sở hữu chứng khoán.  Đặc điểm : o Có ấn định mệnh giá o Có thời hạn o Có quy định lãi suất và thời hạn trả lãi So sánh cổ phiếu, trái phiếu: So sánh Cổ phiếu Trái phiếu Tính chất Thời hạn Quyền lợi Chủ thể phát hành Chứng khoán vốn vĩnh viễn Không hoàn vốn Không ấn định lãi Quyền làm chủ Chứng khoán nợ có thời hạn hoàn vốn Ấn định lãi suất chỉ là chủ nợ nhà nƣớc, doanh nghiệp Huy động vốn tạm thời Bảng 2.1: So sánh cổ phiếu, trái phiếu 9 2.1.2, Tham gia thị trƣờng chứng khoán Hình 2.1: Các bước tham gia giao dịch TTCK  Bản cáo bạch : Khi phát hành chứng khoán ra công chúng, công ty phát hành phải công bố cho ngƣời mua chứng khoán những thông tin về bản thân công ty, nêu rõ những cam kết của công ty và những quyền lợi cơ bản của ngƣời mua chứng khoán . để trên cơ sở đó ngƣời đầu tƣ có thể ra quyết định đầu tƣ hay không. Tài liệu phục vụ cho mục đích đó gọi là bản cáo bạch hay bản công bố thông tin.  Chỉ số chứng khoán : Gồm có 2 chỉ số chính  Chỉ số Nasdaq 100: Nasdaq 100 (AMEX: QQQ)  Chỉ số trung bình DOW JONES (DJIA)  Giao dịch chứng khoán  Mua trực tiếp tại tổ chức phát hành (công ty): nhà đầu tƣ phải đăng ký mua và nộp tiền trực tiếp tại tổ chức phát hành chứng khoán. Hình thức này rất bất cập, nhất là về mặt địa lý  Mua thông qua trung gian: tức là mua thông qua các nhà đại lý hoặc bảo lãnh phát hành, thông thƣờng là các công ty chứng khoán 10 và các ngân hàng thƣơng mại. Nếu bạn mua chứng khoán của tổ chức phát hành chƣa niêm yết trên trung tâm giao dịch chứng khoán thì việc chuyển nhƣợng hoặc bán lại chứng khoán đó cho ngƣời khác hiện nay gặp nhiều khó khăn vì không dễ tìm đƣợc ngƣời mua và bạn cũng phải trực tiếp đến tổ chức phát hành (hoặc uỷ quyền) để thực hiện chuyển nhƣợng cho ngƣời mua. Hình 2.2: Quy trình giao dịch chứng khoán niêm yết tại trung tâm giao dịch  Thuật ngữ HOSE , HNX , VN Index , HASTC Index  HOSE (Ho Chi Minh Stock Exchange): là một đơn vị trực thuộc ủy ban chứng khoán nhà nƣớc và quản lý hệ thống giao dịch chứng khoán niêm yết của Việt Nam.  Vn-index là chỉ số giá cổ phiếu trong một thời gian nhất định (phiên giao dịch, ngày giao dịch) của các công ty niêm yết tại trung tâm này.  HNX (Hanoi Stock Exchange): đƣợc tổ chức nhằm mục đích đấu giá cổ phần cho các doanh nghiệp, đấu thầu trái phiếu chính phủ, tổ chức giao dịch chứng khoán theo cơ chế đăng ký giao dịch.  HASTC Index là chỉ số giá cổ phiếu trong một thời gian nhất định (phiên giao dịch, ngày giao dịch) của các công ty niêm yết tại trung tâm này. . với dự liệu chứng khoán mà chúng ta cần tìm ra qui luật gì. Từ đó phân tích bài toán chứng khoán dựa vào phƣơng pháp KPDL để xây dựng công cụ hỗ trợ dự đoán. là cần thiết 2 MỤC TIÊU NGHIÊN CỨU Xây dựng công cụ hỗ trợ dự đoán và phân tích chứng khoán áp dụng cho TTCK tại Việt Nam. Đáp ứng các nhu cầu cho các