Khóa luận tốt nghiệp hệ hỗ trợ dự báo xu hướng giá cổ phiếu theo ngành tại TTCK việt nam

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA CÔNG NGHỆ PHẦN MỀM NGUYỄN PHI PHÚ VŨ ANH KHOA KHÓA LUẬN TỐT NGHIỆP HỆ HỖ TRỢ DỰ BÁO XU HƯỚNG GIÁ CỔ PHIẾU THEO NGÀNH TẠI TTCK VIỆT NAM THE SUPPORT SYSTEM FOR FORECASTING STOCK PRICE TRENDS BY INDUSTRY IN VIETNAM’S STOCK MARKET KỸ SƯ NGÀNH KỸ THUẬT PHẦN MỀM TP HỒ CHÍ MINH, 2021 ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA CÔNG NGHỆ PHẦN MỀM NGUYỄN PHI PHÚ - 16520935 VŨ ANH KHOA - 16520608 KHÓA LUẬN TỐT NGHIỆP HỆ HỖ TRỢ DỰ BÁO XU HƯỚNG GIÁ CỔ PHIẾU THEO NGÀNH TẠI TTCK VIỆT NAM THE SUPPORT SYSTEM FOR FORECASTING STOCK PRICE TRENDS BY INDUSTRY IN VIETNAM’S STOCK MARKET KỸ SƯ NGÀNH KỸ THUẬT PHẦN MỀM GIẢNG VIÊN HƯỚNG DẪN TS DƯƠNG MINH ĐỨC TP HỒ CHÍ MINH, 2021 THƠNG TIN HỘI ĐỒNG CHẤM KHĨA LUẬN TỐT NGHIỆP Hội đồng chấm khóa luận tốt nghiệp, thành lập theo Quyết định số …………………… ngày ………………… Hiệu trưởng Trường Đại học Công nghệ Thông tin ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC Độc Lập - Tự Do - Hạnh Phúc CÔNG NGHỆ THÔNG TIN ĐỀ CƯƠNG CHI TIẾT TÊN ĐỀ TÀI: Hệ hỗ trợ dự báo xu hướng giá cổ phiếu theo ngành TTCK Việt Nam Cán hướng dẫn: TS Dương Minh Đức Thời gian thực hiện: Từ ngày 07/09/2020 đến ngày 02/01/2021 Sinh viên thực hiện: Nguyễn Phi Phú – 16520935 Vũ Anh Khoa - 16520608 Nội dung đề tài:(Mô tả chi tiết mục tiêu, phạm vi, đối tượng, phương pháp thực hiện, kết mong đợi đề tài) Hiện trạng: - Ngày nay, TTCK ngày có vai trị quan trọng kinh tế, thước đo hiệu hoạt động phát triển kinh tế quốc gia TTCK tạo điều kiện thuận lợi cho việc thực sách mở cửa, cải cách kinh tế thông qua việc phát hành chứng khốn nước ngồi - Tuy chứng khốn kênh đầu tư có khả sinh lợi cao chứng khoán tiềm ẩn nhiều rủi ro Nhiều nghiên cứu lĩnh vực TTCK cố gắng dự đốn xác giá trị giá cổ phiếu dự đoán xu hướng giá cổ phiếu tương lai Tuy nhiên, điều khó biến động phức tạp chuỗi giá, giá cổ phiếu chịu tác động nhiều yếu tố tình hình trị, xã hội, kinh tế, tin tức công ty, hiệu suất, báo cáo hoạt động kinh doanh, … Tuy nhiên, biến động TTCK không ngẫu nhiên mà có khả dự báo - Một mơ hình dự đốn có hiệu mơ hình dự đốn xác xu hướng mã cổ phiếu tăng giảm tương lai, giúp nhà đầu tư đưa định đầu tư đắn việc mua, bán cổ phần cổ phiếu mà họ nắm giữ nhằm thu lợi nhuận cao giảm thiểu rủi ro đến mức thấp Tuy nhiên cịn hạn chế mơ hình chưa có độ xác cao Mục tiêu: - Tìm hiểu thuật tốn để cải tiến hiệu dự đoán việc mua bán chứng khoán - Áp dụng phương pháp đơn giản hiệu để cải thiện thơng tin cho việc dự đốn biến động thị trường chứng khốn - Mơ hình dự đốn xu hướng thị trường chứng khốn có độ xác cao Phạm vi nghiên cứu: - Thị trường chứng khoán Thượng Hải - Các phương pháp, thuật toán tối ưu Machine Learning, Deep Learning Đối tượng: - Thị trường chứng khoản Việt Nam Kết quả: - Hiểu nắm rõ công nghệ sử dụng dự án - Nắm vững Machine Learning nâng cao - Biết lập kiểu liệu, phân tích liệu đầu vào đầu - Tối ưu thuật toán dựa tiêu chí: Thời gian, khơng gian, … - Mơ hình dự đốn xu hướng chứng khốn dựa tin tức thời gian thực - Xây dựng hệ thống website cho mơ hình dự đốn - Quan trọng áp dụng kiến thức cho dự án thực tế Kế hoạch thực hiện:(Mô tả kế hoạch làm việc phân công công việc cho sinh viên tham gia) Dự án chia làm sprint (01/10/2020 – 31/01/2021) theo nội dung sau: Sprint (01/10/2020 – 15/10/2020): - Cài đặt mơi trường, mơ hình số thuật toán liên quan đến dự án - Tìm hiểu cơng cụ, cài đặt chạy thử vài mơ hình - So sánh mẫu số liệu, tính tốn số liên quan, đưa mơ hình cách thức phù hợp Sprint (16/10/2020 – 31/10/2020): - Cài đặt thực nghiệm với liệu thật - So sánh kết lần chạy - Đưa kết báo cáo, tính tốn số liệu thực tế liệu nhận - Vì dự án dự báo nên cần quan tâm đến tỉ lệ đưa dự báo dự báo sai Sprint (01/11/2020 – 15/11/2020): - Giai đoạn cải tiến thuật toán, đưa số, chiều liệu ảnh hưởng đến kết - Đặt giả thuyết có kết tốt cho mơ thuật toán - Tranh luận thành viên giả thuyết đưa - Bắt đầu đưa kế hoạch để thực việc cải tiến mơ hình thuật toán Sprint (16/11/2020 – 16/12/2020): - Thực kế hoạch cải tiến thuật toán - Thu thập đưa số liệu việc cải tiến so sánh số với số cũ - Đưa thực thực nghiệm, hỏi ý kiến giáo viên hướng dẫn cải tiến vừa qua Sprint (17/12/2020 – 01/01/2020): - Xây dựng giao diện Web để trực quan hóa đề tài (Back end + Front End) Sprint (02/01/2020 – 31/01/2020): - Chuẩn bị giao diện, báo cáo, liệu, liệu liên quan để viết báo cáo Xác nhận CBHD TP HCM, ngày… tháng … năm… (Ký tên ghi rõ họ tên) Sinh viên (Ký tên ghi rõ họ tên) LỜI CẢM ƠN Lời đầu tiên, Nhóm em xin bày tỏ cảm ơn chân thành thầy giáo TS Dương Minh Đức – giáo viên hướng dẫn trực tiếp nhóm Thầy Đức truyền cảm hứng cho nhóm em tiếp cận kiến thức trí tuệ nhân tạo từ thuật toán đến nâng cao kiến thức thị trường chứng khốn suốt q trình nghiên cứu hoàn thiện luận văn tốt nghiệp Nhóm em xin gửi lời cảm ơn tới thầy cô khoa Công nghệ phần mềm, trường Đại học Công Nghệ Thông Tin, bảo tạo điều kiện cho học tập nghiên cứu trường suốt thời gian qua Mặc dù cố gắng hồn thành luận văn chắn khơng tránh khỏi sai sót, nhóm em kính mong nhận thông cảm ý kiến đánh giá chân thành thầy bạn để nhóm em khắc phục hoàn thiện thân dự án Nhóm em xin chân thành cảm ơn , ngày , tháng , năm MỤC LỤC Chương TỔNG QUAN ĐỀ TÀI 1.1 Lý chọn đề tài .2 1.2 Mục tiêu phạm vi 1.3 Các nghiên cứu liên quan 1.4 Kết .6 1.5 Tổng quát Chương KIẾN THỨC NỀN TẢNG 2.1 Tổng quan chứng khoán thị trường chứng khoán Chứng khoán 2.1.1.1 Khái niệm chứng khoán 2.1.1.2 Phân loại chứng khoán .8 Thị trường chứng khoán 2.1.2.1 Khái niệm thị trường chứng khoán 2.1.2.2 Vai trò thị trường chứng khoán 10 2.2 Tổng quan Deep Learning 10 Deep Learning ? 10 2.2.1.1 Artificial intelligence với Machine Learning 10 2.2.1.2 Supervised Learning (Học có giám sát) 11 2.2.1.3 Unsupervised Learning (Học không giám sát) 12 2.2.1.4 Cách hoạt động Deep Learning 13 2.2.1.5 Mạng Neuron (Neural Network) .13 2.2.1.6 Mạng hồi quy RNN 20 2.2.1.7 Mạng LSTM: .21 2.2.1.8 Vấn đề Overfitting .25 Độ đo so sánh kết mơ hình: 27 2.2.2.1 Sai số tuyệt đối trung bình: 27 2.2.2.2 Sai số tồn phương trung bình: 28 2.2.2.3 Căn bậc hai sai số tồn phương trung bình 28 Chương XÂY DỰNG MƠ HÌNH LSTM 29 3.1 Nguồn liệu 29 3.2 Xử lý liệu 30 Chọn liệu 30 Xử lý liệu 30 3.3 Mơ hình LSTM 31 Chương KẾT QUẢ THỰC NGHIỆM 33 4.1 Bộ liệu thực nghiệm 33 Sàn chứng khoán Thượng Hải .33 Sàn chứng khoán Việt Nam 33 4.2 Các giá trị siêu tham số 33 4.3 Phương pháp đánh giá .34 4.4 Công nghệ sử dụng 35 4.5 Kết thực nghiệm 35 Sàn chứng khoán Thượng Hải .35 4.5.1.1 Cổ phiếu Shanghai A-share Composite Index 35 Sàn chứng khoán Việt Nam 37 4.5.2.1 Cổ phiếu ngành thực phẩm 37 4.5.2.2 Cổ phiếu ngành giáo dục 38 3.3 Mơ hình LSTM Đối với mơ hình LSTM có tham số thay đổi Tuy nhiên với số lượng thực nghiệm nhiều lần cấu trúc siêu tham số có thể tối ưu việc train liệu mơ hình dự đoán LSTM Đối với luận văn siêu tham số thể bảng sau Bảng 3.1 Danh sách siêu tham số Siêu tham số Ý nghĩa Drop_rate Tỉ lệ lớp Drop Batch_size Số lượng mẫu liệu batch Epochs Số lần huấn luyện qua hết tất liệu truyền vào Lstm_neuron_unit Số lượng neuron lớp Lstm_layer_count Số lượng lớp mơ hình Việc sử dụng nhiều lớp LSTM dẫn đến việc bị phân tích mức, vừa thời gian huấn luyện, vừa có khả bị overfitting Nếu số lượng q việc huấn luyện thơng tin liệu không chặt chẽ dẫn đến kể kết huấn luyện khơng đạt độ xác cao Số lượng neuron tương tự lstm Vì ngày từ đầu chúng em tìm mơ hình có đầu vào cố định tối ưu tham số cụ thể Trong q trình huấn luyện nhóm chúng em cho thêm phương pháp để tránh bị trường hợp overfitting khai báo thuật toán Optimizer hợp lý có kết hợp với phương pháp weight regularization phương pháp Dropout trước cho kết Đặc biệt tham số chọn cho phương pháp dựa theo báo công thức tối ưu Cụ thể tổng quan lớp cài đặt mơ hình minh họa hình 3.1 với hàm chuyển đổi selu theo cơng thức (2.2) (2.3) 31 Hình 3.2 Mơ hình LSTM thơng số tóm tắt nhóm dùng 32 Chương KẾT QUẢ THỰC NGHIỆM 4.1 Bộ liệu thực nghiệm Sàn chứng khoán Thượng Hải Dữ liệu: • Phạm vi: giá mã cổ phiếu theo ngày • Đối tượng A-share Composite Index • Nguồn: sàn Thượng Hải money163.com • Thời gian: 01/01/2006 -> 19/10/2016 Nhóm chúng em chia liệu thành phần 70% dùng để huấn luyện, 10% dùng để xác thực 20% lại để đánh giá thực nghiêm Sàn chứng khốn Việt Nam Dữ liệu: • Phạm vi: giá cổ phiếu theo ngày • Đối tượng ngành trọng tâm giáo dục, vận tải, thực phẩm • Nguồn: cophieu68.vn • Thời gian: 03/01/2012 -> 14/1/2021 Nhóm chúng em chia liệu thành 80% liệu huấn luyện, 10% xác thực 10% đánh giá thực nghiệm Vì mã cổ phiếu có giá trị xuất giá trị khác nên việc thực huấn luyện, xác minh đánh giá cố phiếu khác 4.2 Các giá trị siêu tham số Bảng 4.1 Danh sách siêu tham số kèm giá trị Siêu tham số Ý nghĩa Miền giá trị 33 Drop_rate Tỷ lệ drop lớp Dropout Có giá trị 0.5 Batch_size Số lượng mẫu liệu Có giá trị 128 batch Epochs Số lần huấn luyện qua hết tất Có giá trị 250 liệu truyền vào Lstm_neuron_unit Số lượng neuron lớp Nằm từ giá trị 256 xuống là bội số 32 Lstm_layer_count Số lương lớp LSTM Dùng lớp LSTM 4.3 Phương pháp đánh giá Để đánh giá độ chênh lệch mức giá dự đoán với mức giá thực tế, chúng em sử dụng Accuracy RMSE ( sử dụng sàn chứng khoán Việt Nam) (Nguồn: https://developers.google.com/machine-learning/crashcourse/classification/accuracy) (Nguồn: https://www.datatechnotes.com/2019/02/regression-model-accuracy-mae-msermse.html) Trong đó: yj giá đóng phiên thực tế ngày j j giá đóng phiên dự đốn thời ngày j n số tập mẫu dùng để đánh giá thực nghiệm 34 Trên sàn chứng khoán Việt Nam Sàn chứng khoán Thượng Hải số đánh giá dạng liệu gốc việc thực nghiệm thực mơ hình LSTM LSTM có qua lọc gaussian 4.4 Cơng nghệ sử dụng Các thuật tốn, mơ hình cài đặt ngơn ngữ thư viện mở sau: • Ngơn ngữ sử dụng: Python • Cài đặt mơ hình: keras • Cài đặt tối ưu hóa: gaussian filter 4.5 Kết thực nghiệm Sàn chứng khoán Thượng Hải 4.5.1.1 Cổ phiếu Shanghai A-share Composite Index Bảng 4.2 Phân chia data Cổ phiếu A-share Composite Index Mã cổ phiếu Ngày tháng Data train Ngày tháng Data test 600002 01/01/2006 – 22/09/2014 23/09/2014 – 19/10/2016 Bảng 4.3 Bảng so sánh LSTM-cải tiến ELSTM Mơ hình LSTM cải tiến ELSTM Accuracy 73.63068313137724 57.2 MSE 0.014 0.017 35 Hình 4.1 Kết dự đốn A-Share Composite Index tác giả Hình 4.2 Kết dự đoán A-Share Composite Index cải tiến Nhận xét: Việc cải tiến mơ hình LSTM giúp cho mơ hình dự đốn với độ xác MSE cao so với tác giả X Pang cộng [15] 36 Sàn chứng khoán Việt Nam 4.5.2.1 Cổ phiếu ngành thực phẩm Bảng 4.4 Phân chia Data Cổ phiếu thực phẩm Mã cổ phiếu Ngày tháng Data train Ngày tháng Data test ^thucpham 03/01/2012 - 26/02/2020 27/02/2020 – 14/01/2021 Bảng 4.5 Bảng so sánh sử dụng Gauss Filter Có sử dụng Gauss Filter Khơng sử dụng Gauss Filter Accuracy 84.47210674937503 83.27227415097727 RMSE 45.68101476118717 50.58840672933283 Hình 4.1 Kết dự đốn Ngành thực phẩm khơng dùng Gauss 37 Hình 4.2 Kết dự đốn ngành thực phẩm dùng lọc gauss 4.5.2.2 Cổ phiếu ngành giáo dục Bảng 4.6 Bảng phân chia Data cổ phiếu ngành giáo dục Mã cổ phiếu Ngày tháng Data train Ngày tháng Data test ^giaoduc 03/01/2012 - 26/02/2020 27/02/2020 – 14/01/2021 Bảng 4.7 Bảng so sánh dùng Gauss Filter cổ phiếu Ngành giáo dục Có sử dụng Gauss Filter Khơng sử dụng Gauss Filter Accuracy 93.96905574069223 93.70440816268376 RMSE 34.67765283428815 36.19032427558243 38 Hình 4.5 Kết dự đốn ngành giáo dục khơng dùng lọc gauss Hình 4.6 Kết dự đoán ngành giáo dục dùng lọc gauss 39 4.5.2.3 Cổ phiếu ngành vận tải Bảng 4.8 Bảng phân chia Data ngành Vận Tải Mã cổ phiếu Ngày tháng Data train Ngày tháng Data test ^vantai 03/01/2012 - 26/02/2020 27/02/2020 – 14/01/2021 Bảng 4.9 Bảng phân so sánh dùng Gauss Filter với cổ phiếu Ngành Vận Tải Có sử dụng Gauss Filter Khơng sử dụng Gauss Filter Accuracy 78.88746348291748 78.11481296905815 RMSE 29.991856317003098 30.26323620679992 Hình 4.7 Kết dự đốn ngành vận tải khơng dùng lọc gauss 40 Hình 4.8 Kết dự đốn ngành vận tải không dùng lọc gauss Nhận xét: Việc sử dụng lọc gaussian để cải thiện tham só đầu vào giúp cho mơ hình tăng thêm độ xác giảm RMSE cho mơ hình 41 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1 Kết luận: Kết đạt được: Về kết dự đoán mơ hình cho kết dự đốn tương đối tốt cho phần lớn loại cổ phiếu ngành Tuy nhiên cịn có vài loại cổ phiếu cho kết không mong muốn Sau tháng trao đổi phát triển, hệ thống đáp ứng chức đề Thông qua q trình thực khóa luận kết thu từ trình kiểm thử thực tế server thật nhóm chúng em thu kết sau: • Bằng cách tối ưu lại mơ hình LSTM siêu tham số kết hợp với sử dụng lọc liệu đầu vào đem lại kết tốt so với mơ hình khác Cụ thể trường hợp dự đốn mã cổ phiếu A-Share Composite Index cho kết cao so với mạng ELSTM [15] 16.43% • Xây dựng thành công ứng dụng thị kết liệu giao diện dễ dàng theo dõi thay đổi cổ phiếu Những khó khăn gặp phải: • Các liệu để thị phụ thuộc vào cung cấp thứ thực • Tuy hồn thành tính để dự đoán cổ phiếu thị ứng dụng cịn thiếu tính nâng cao cho người sử dụng Ý nghĩa khoa học: Tác giả chứng minh mơ hình LSTM có vị lớn việc giải toán time-series, biết giá cổ phiếu cịn bị ảnh hưởng tin tức, sách đối ngoại đối nội quốc gia 42 LSTM mang lại lợi ích mặt nhớ thơng tin từ dự đốn kết Và tác giả truyền cảm hứng cho Nhóm thực đề tài 5.2 Hướng phát triển Trước hết nhóm phát triển sau cải thiện lại hạn chế tồn ứng dụng: • Tạo liệu cổ phiếu ngành dựa nhiều nguồn cung cấp khác • Phát triển tính để quản trị website hành • Áp dụng thêm phương pháp, thuật toán để tăng hiệu suất dự đốn • Hiện thị nhiều loại biểu đồ để thể trực quan thay đổi cổ phiếu • Phát triển ứng dụng dành cho Di động Các thuật tốn mơ hình phát triển theo: • B-LSTM (Bidirectional LSTM) • B-GRU LSTM • ARIMA LSTM 43 TÀI LIỆU THAM KHẢO [1] B W W Lawrence Muchemi, "Using Artificial Neural Network (ANN) for Stock Market Prediction," 2014 [2] A A A A O & A C K Adebiyi, "Adebiyi, A A., Adewumi, A O., & Ayo, C K (2014) Comparison of ARIMA and artificial neural networks models for stock price prediction Journal of Applied Mathematics.," 2014 [3] None, "Thị trường chứng khốn ? Vai trị thị trường giao dịch chứng khoán," https://lawkey.vn/, 2020 [4] N Q & M N T Dong, "Giáo trình kinh tế lượng Khoa tốn Kinh tế, Trường Đại Học Kinh tế Quốc Dân.," 2012 [5] "Artificial intelligence, machine learning, deep learning and beyond," [Online] Available: https://www.sas.com/en_us/insights/articles/bigdata/artificial-intelligence-machine-learning-deep-learning-andbeyond.html#:~:text=While%20machine%20learning%20is%20based,techni ques%20to%20solve%20actual%20problems [6] U learning, "wikipedia," [Online] Available: https://en.wikipedia.org/wiki/Unsupervised_learning#:~:text=Unsupervised_ learning_(UL)_is_a,searching_for_previously_undetected_patterns [7] Y Z P W W L a V C Xiongwen Pang1, "Stock Market Prediction based on Deep Long Short Term Memory Neural Network" [8] M People, "Wikipedia," [Online] Available: https://en.wikipedia.org/wiki/Supervised_learning#:~:text=Supervised_learn ing_is_the_machine,a_set_of_training_examples 44 [9] R R Hasanul Fahmi, "Forecasting Error Calculation with Mean Absolute Deviation and Mean Absolute Percentage Error," 2017 [10] M A K R T R B N D & W Y Hossain, "Hossain, M A., Karim, R., Thulasiram, R., Bruce, N D., & Wang, Y (2018, November) Hybrid deep learning model for stock price prediction In 2018 IEEE Symposium Series on Computational Intelligence (SSCI)," 2018 [11] I H Trafalis T B., "“Support vector machine for regression and applications to financial forecasting”," 2000 [12] Y Z a W L X Pang, "“Stock Market Prediction based on Deep Long Short Term Memory Neural Network” in 3rdInternational Conference on Complexity, Future Infomation Systems and Risk," 2018 45 ... HỌC CÔNG NGHỆ THÔNG TIN KHOA CÔNG NGHỆ PHẦN MỀM NGUYỄN PHI PHÚ - 16520935 VŨ ANH KHOA - 16520608 KHÓA LUẬN TỐT NGHIỆP HỆ HỖ TRỢ DỰ BÁO XU HƯỚNG GIÁ CỔ PHIẾU THEO NGÀNH TẠI TTCK VIỆT NAM THE SUPPORT... đến kết dự đốn cổ phiếu cách xác 1.2 Mục tiêu phạm vi - Mục tiêu: o Dự đoán xu hướng giá theo ngành theo ngày cổ phiếu có sàn chứng khoán Việt Nam - Phạm vi: o Dự đoán xu hướng giá mã cổ phiếu. .. ĐẠI HỌC Độc Lập - Tự Do - Hạnh Phúc CÔNG NGHỆ THÔNG TIN ĐỀ CƯƠNG CHI TIẾT TÊN ĐỀ TÀI: Hệ hỗ trợ dự báo xu hướng giá cổ phiếu theo ngành TTCK Việt Nam Cán hướng dẫn: TS Dương Minh Đức Thời gian thực