BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC QUY NHƠN CAO VĂN TIẾN NGHIÊN CỨU ỨNG DỤNG MÔ HÌNH RNN TRONG DỰ BÁO GIÁ VÀNG Chuyên ngành Khoa học máy tính Mã số 8480101 Ngƣời hƣớng dẫn TS LÊ XUÂN VIỆT Bình Định[.]
BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC QUY NHƠN CAO VĂN TIẾN NGHIÊN CỨU ỨNG DỤNG MƠ HÌNH RNN TRONG DỰ BÁO GIÁ VÀNG Chuyên ngành: Khoa học máy tính Mã số: 8480101 Ngƣời hƣớng dẫn: TS LÊ XUÂN VIỆT Bình Định - Năm 2022 LỜI CAM ĐOAN Tôi xin cam đoan đề tài nghiên cứu thực luận văn thực riêng tôi, dƣới hƣớng dẫn thầy TS Lê Xuân Việt, tham khảo từ tài liệu, cơng trình nghiên cứu liên quan đƣợc trích dẫn luận văn, chép không hợp lệ, vi phạm quy chế hay gian trá tơi xin hồn tồn chịu trách nhiệm chịu kỷ luật trƣờng Đại học Quy Nhơn./ Bình Định, ngày 15 tháng năm 2022 HỌC VIÊN Cao Văn Tiến LỜI CẢM ƠN Với tất lòng biết ơn, trƣớc hết cho em xin gửi lời cảm ơn sâu sắc tới thầy giáo TS Lê Xuân Việt – Trƣởng Khoa Khoa Công nghệ thông tin – Trƣờng Đại học Quy Nhơn tận tình hƣớng dẫn giúp đỡ em q trình hồn thành khóa luận tốt nghiệp Em xin gửi lời cảm ơn đến thầy giáo tận tình truyền đạt kiến thức quan trọng bổ ích khơng tảng cho q trình thực khóa luận mà cịn hành trang cho chặng đƣờng phía trƣớc Ngoài ra, em xin cảm ơn Ban lãnh đạo Trƣờng Đại học Quy Nhơn nhƣ phòng ban trƣờng tạo điều kiện sở vật chất để em có hội đƣợc học tập rèn luyện Do kiến thức khả lý luận cịn nhiều hạn chế nên khóa luận cịn thiếu sót định Em mong nhận đƣợc đóng góp thầy giáo, giáo để khóa luận tốt nghiệp em đƣợc hoàn thiện Cuối cùng, em xin kính chúc thầy giáo Ban lãnh đạo phòng ban chức Trƣờng Đại học Quy Nhơn dồi sức khỏe thành công nghiệp Em xin chân thành cảm ơn! MỤC LỤC Trang LỜI CAM ĐOAN MỤC LỤC DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH PHẦN MỞ ĐẦU 1 Lý chọn đề tài 2.Tổng quan tài liệu tình hình nghiên cứu đề tài 2.1 Tổng quan tài liệu nghiên cứu .1 2.2 Tình hình nghiên cứu đề tài .4 Mục đích nhiệm vụ nghiên cứu Đối tƣợng phạm vi nghiên cứu .7 Phƣơng pháp nghiên cứu Nội dung dự kiến nghiên cứu .7 PHẦN NỘI DUNG .8 CHƢƠNG 1: CÁC KHÁI NIỆM CƠ SỞ 1.1 Giới thiệu dự báo 1.2 Giới thiệu hồi qui .8 1.3 Giới thiệu chuỗi thời gian 1.3.1 Mơ hình tự hồi qui bậc p(AR(p)) 1.3.2 Mơ hình trung bình động bậc q(MA(q)) 1.3.3 Mơ hình tự hồi qui trung bình động (ARMA(p,q)) 1.3.4 Mơ hình trung bình di động tổng hợp với tự hồi qui ARIMA(p,d,q)9 1.3.5 Tiêu chuẩn đánh giá mô hình 10 1.3.6 Các tính chất chuỗi thời gian 10 1.3.7 Phân loại chuỗi thời gian 11 1.3.8 Các đặc tính định dạng 12 1.3.9 Liên hệ tính tốn hồi qui dự báo chuỗi thời gian .12 1.4 Giới thiệu Deep Learning 12 1.4.1 Khái niệm Deep Learning .12 1.4.2 Hoạt động Deep Learning 13 1.4.3 Ƣu nhƣợc điểm Deep Learning 14 1.4.4 Vấn đề Deep Learning giải 14 1.5 Các kỹ thuật Deep Learning .15 1.5.1 Kỹ thuật véc-tơ (Vectorization) 15 1.5.2 Kỹ thuật tìm giá trị nhỏ (Mini-batch gradient descent) 15 1.5.3 Kỹ thuật tìm độ lệch phƣơng sai (Bias variance) 16 1.5.4 Kỹ thuật bỏ học (Dropout) 17 1.5.5 Kỹ thuật sử dụng hàm kích hoạt phi tuyến (Activation function) 17 1.6 Tổng kết chƣơng 22 CHƢƠNG 2: DỰ BÁO CHUỖI THỜI GIAN VỚI CÁC MƠ HÌNH RNN 23 2.1 Phát biểu toán .23 2.1.1 Dữ liệu đầu vào 23 2.1.2 Kết đầu 23 2.2 Mạng nơ-ron hồi quy RNN 23 2.3 Mạng LSTM 26 2.4 Mạng GRU .27 2.5 Tổng kết chƣơng 27 CHƢƠNG 3: THỬ NGHIỆM CÁC MƠ HÌNH 29 3.1 Giới thiệu chƣơng 29 3.2 Thu thập liệu .29 3.3 Thử nghiệm Google Colab .32 3.3.1 Thử nghiệm mơ hình RNN 32 3.3.2 Thử nghiệm mơ hình LSTM 39 3.3.3 Thử nghiệm mơ hình GRU 43 3.4 Chỉ số đánh giá mơ hình 46 3.5 Cài đặt mơ hình thử nghiệm 47 3.6 Dữ liệu thử nghiệm cài đặt tham số 49 3.7 Đánh giá hiệu suất mơ hình so sánh kết thử nghiệm 50 3.7.2 So sánh ba mơ hình với MSE, RMSE, MAE, R2 51 3.7.3 Trực quan hóa ba mơ hình trực quan hóa tình cuối 52 3.7.4 Trực quan hóa giá trị dự đốn cuối với LSTM làm ví dụ 53 3.8 Tổng kết chƣơng 53 PHẦN KẾT LUẬN 54 Các kết đạt đƣợc 54 Hƣớng nghiên cứu 54 DANH MỤC TÀI LIỆU THAM KHẢO 55 DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT - RNN: Recurrent Neural Network - HAR: nhận dạng hoạt động ngƣời - CNN: Convolutional Neural Network - GRU: Gated Recurrent Unit - LSTM: Long Short – Term Memory - 𝑀𝐴𝐸: 𝑀𝑒𝑎𝑛 𝐴𝑏𝑠𝑜𝑙𝑢𝑡𝑒 𝐸𝑟𝑟𝑜𝑟 - 𝑀𝑆𝐸: 𝑀𝑒𝑎𝑛 𝑆𝑞𝑢𝑎𝑟𝑒 𝐸𝑟𝑟𝑜𝑟 - 𝑅𝑀𝑆𝐸: 𝑠𝑞𝑢𝑎𝑟𝑒𝑅𝑜𝑜𝑡 𝑀𝑒𝑎𝑛 𝑆𝑞𝑢𝑎𝑟𝑒 𝐸𝑟𝑟𝑜𝑟 - AR: Auto Regression - MA: Moving Average - DNN: mơ hình mạng thần kinh sâu - ML: Machine Learning - BPTT: Backpropagation Through Time DANH MỤC CÁC BẢNG Bảng 3.1: Sơ đồ mơ hình 48 Bảng 3.2: LSTM mạng nơ-ron lớp khác đầu vào tế bào thần kinh dự đoán 48 Bảng 3.3: LSTM mạng nơ-ron hai lớp khác đầu vào tế bào thần kinh dự đoán 48 Bảng 3.4: LSTM hai lớp LSTM dự đốn bƣớc trình tự thời gian khác 49 Bảng 3.5: Bộ thử nghiệm LSTM hai lớp dự đoán tỉ lệ phân chia khác 49 Bảng 3.6: Bộ thử nghiệm LSTM hai lớp tập hợp dự báo hàng loạt khác 50 Bảng 3.7: So sánh giá trị MSE, RMSE, MAE, R2 52 DANH MỤC CÁC HÌNH Hình 1.1: Hoạt động Deep Learning 13 Hình 1.2: Đồ thị hàm Sigmoid 18 Hình 1.3: Đồ thị hàm Tanh 19 Hình 1.4: Đồ thị hàm ReLU 20 Hình 1.5: Đồ thị hàm Leaky ReLU 21 Hình 2.1: Mơ hình hoạt động mạng nơ-ron RNN 24 Hình 2.2: Cấu trúc tế bào mạng nơ-ron RNN 24 Hình 2.3: So sánh mơ hình mạng RNN LSTM 25 Hình 2.4: Mơ hình tế bào mạng LSTM 26 Hình 2.5: Mơ hình tế bào mạng GRU 27 Hình 3.1: Sơ đồ RNN loss 50 Hình 3.2: Sơ đồ LSTM loss 51 Hình 3.3: Đồ thị GRU loss 51 Hình 3.4: Đồ thị RNN phù hợp 52 Hình 3.5: Đồ thị LSTM phù hợp 52 Hình 3.6: Đồ thị GRU phù hợp 53 Hình 3.7: Đồ thị LSTM dự đoán trực quan 53 MỞ ĐẦU Lý chọn đề tài Mơ hình dự báo chuỗi thời gian mảng dự báo quan trọng đƣợc ứng dụng nhiều ngành nghề, lĩnh vực khác Trong thực tiễn phân tích liệu gặp nhiều chuỗi thời gian Một cách tiếp cận thông thƣờng sử dụng mơ hình hồi qui truyền thống nhƣ ARIMA, GARCH, VAR, ARIMAX, SARIMA, SARIMAX, … Những mô hình hầu hết dựa giả định phần dƣ nhiễu trắng, chuỗi dừng, … giả định thống kê khác mơ hình cụ thể Trong mạng thần kinh truyền thống (Neural Network) bao gồm phần Input layer, Hidden layer Output layer, ta thấy đầu vào đầu mạng neuron độc lập với Nhƣ mơ hình khơng phù hợp với tốn dạng chuỗi nhƣ mơ tả, hồn thành câu, dự báo dự đốn nhƣ từ phụ thuộc vào vị trí câu từ đằng trƣớc Và nhƣ RNN đời với ý tƣởng sử dụng nhớ để lƣu lại thơng tin từ bƣớc tính tốn xử lý trƣớc để dựa vào đƣa dự đốn xác cho bƣớc dự đốn Mạng hồi qui RNN (Recurrent Neural Network) loại mạng nơ-ron đầu bƣớc thời gian đóng vai trị đầu vào cho bƣớc thời gian Do đó, RNN giải vấn đề với trợ giúp lớp ẩn Tính quan trọng RNN trạng thái ẩn, ghi nhớ số thông tin chuỗi Một RNN ghi nhớ thơng tin theo thời gian Nó hữu ích dự đốn chuỗi thời gian tính để ghi nhớ đầu vào trƣớc tốt Điều đƣợc gọi nhớ ngắn hạn, dài hạn RNN hoạt động tốt nói đến liệu chuỗi nhƣ dự báo thời tiết, thị trƣờng chứng khoán, giá vàng, thị trƣờng du lịch, v.v Với phân tích trên, tơi xin chọn nghiên cứu đề tài “Nghiên cứu ứng dụng mơ hình RNN dự báo giá vàng” Tổng quan tài liệu tình hình nghiên cứu đề tài 2.1 Tổng quan tài liệu nghiên cứu - Tình hình nước giới: Học sâu cho phân tích chuỗi thời gian (Deep Learning for Time-Series ... ứng dụng mơ hình RNN vào tốn dự đốn giá vàng 7 - Cài đặt thử nghiệm toán dự đốn giá vàng với mơ hình RNN thƣ viện Python (chạy Google Colab) Đối tƣợng phạm vi nghiên cứu - Đối tƣợng nghiên cứu: ... mơ hình RNN Deep Learning - Phạm vi nghiên cứu: Thử nghiệm ứng dụng mơ hình RNN cho liệu dự đốn giá vàng Phƣơng pháp nghiên cứu - Nghiên cứu lý thuyết, đọc, phân tích, tổng hợp tài liệu sách, báo, ... hạn RNN hoạt động tốt nói đến liệu chuỗi nhƣ dự báo thời tiết, thị trƣờng chứng khoán, giá vàng, thị trƣờng du lịch, v.v Với phân tích trên, tơi xin chọn nghiên cứu đề tài ? ?Nghiên cứu ứng dụng