1 BỘ CÔNG THƢƠNG ĐẠI HỌC CÔNG NGHIỆP THÀNH PHỐ HỒ CHÍ MINH BÁO CÁO TỔNG KẾT ĐỀ TÀI KHOA HỌC KẾT QUẢ THỰC HIỆN ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CẤP TRƢỜNG Tên đề tài Xây dựng mô hình lai ghép ANN và ES để dự[.]
1 BỘ CÔNG THƢƠNG ĐẠI HỌC CÔNG NGHIỆP THÀNH PHỐ HỒ CHÍ MINH BÁO CÁO TỔNG KẾT ĐỀ TÀI KHOA HỌC KẾT QUẢ THỰC HIỆN ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CẤP TRƢỜNG Tên đề tài: Xây dựng mơ hình lai ghép ANN ES để dự báo chuỗi thời gian nhiều lãnh vực khác Mã số đề tài: 20/1.6CNTT02 Chủ nhiệm đề tài: Phạm văn Chung Đơn vị thực hiện: Khoa Công Nghệ Thông Tin Tp Hồ Chí Minh, 2021 PHẦN I THƠNG TIN CHUNG I Thông tin tổng quát 1.1 Tên đề tài: Xây dựng mơ hình lai ghép ANN ES để dự báo chuỗi thời gian nhiều lãnh vực khác 1.2 Mã số: 20/1.6CNTT02 1.3 Danh sách chủ trì, thành viên tham gia thực đề tài TT Họ tên (học hàm, học vị) TS Phạm văn Chung Đơn vị cơng tác Vai trị thực đề tài Khoa CNTT ĐHCN Tp.HCM ThS Nguyễn Thành Thái Khoa CNTT ĐHCN Tp.HCM Chủ nhiệm Thành viên 1.4 Đơn vị chủ trì: Khoa Cơng Nghệ Thơng Tin 1.5 Thời gian thực hiện: 1.5.1 Theo hợp đồng số: 34/HĐ-ĐHCN, từ tháng 02 năm 2020 đến tháng 12 năm 2020 1.5.2 Gia hạn (nếu có): 1.5.3 Thực thực tế: từ tháng 05 năm 2020 đến tháng 01 năm 2021 1.6 Những thay đổ so với thuyết minh ban đầu (nếu có): (Về mục tiêu, nội dung, phương pháp, kết nghiên cứu tổ thức thực hiện;Nguyên nhân; ý kiến cùa Cơ quan quản lý ) 1.7 Tổng kinh phí đƣợc phê duyệt đề tài: 25triệu đồng II Kết nghiên cứu Đặt vấn đề Trong trình nghiên cứu toán Dự báo liệu chuỗi thời gian (time series forecasting) việc dự đoán giá trị tương lai dựa chuỗi giá trị q khứ để tìm dự đốn đạt độ xác cao tốt Cụ thể liên kết, mẫu, quy luật biến đổi nhằm dự đoán giá trị tương lai, minh họa hình Hình 1: V ụ ự báo liệu chuỗi thời gian Dữ liệu chuỗi thời gian diện nhiều ứng dụng thực tế, từ l nh vực kinh tế, thị trường kh tượng, thủy văn… Trong ứng dụng này, việc ứng ụng ữ liệu chuỗi thời gian để ự áo việc, tượng công việc cần thiết Dựa số lượng, ữ liệu chuỗi thời gian ph n th nh hai loại: ng n hạn v i hạn Có nhiều cơng trình v o đặc điểm ữ liệu để ự áo, thời gian gần đ y [1,2,3,4,5,6,7 Các c ng tr nh n y thực hữu ch việc khai thác liệu chuỗi thời gian nhiều lãnh vực khác Đối với liệu ng n hạn, việc tìm chọn phương pháp phù hợp có hiệu cao việc cần giải Theo Hyndman [8] khơng có câu trả lời dễ dàng, phụ thuộc vào số lượng tham số mơ hình cần ước tính v lượng ngẫu nhiên liệu K ch thước mẫu yêu cầu tăng theo số lượng tham số v lượng nhiễu liệu Dựa vào đặc tính liệu thực tế ữ liệu chuỗi thời gian thường tồn hai ạng ch nh l : c t nh tuyến t nh v kh ng c t nh tuyến t nh phi tuyến Chuỗi thời gian tuyến tính chuỗi có biến đổi tuân theo quy luật định Tuy nhi n chuỗi ữ liệu thời gian c thể xen lẫn hai ạng tuyến t nh v phi tuyến Mục tiêu Với ph n t ch tr n, để tăng hiệu dự báo liệu ng n hạn, đa ạng (dữ liệu nhiều lãnh vực khác nhau) có nhiều tính chất, Chúng tơi cần có mơ hình mới, lai ghép mơ hình xử lý liệu tuyến tính mơ hình xử lý liệu phi tuyến để xử lý liệu có tính tuyến t nh phi tuyến Ngh a l , cần thiết phải lai gh p m h nh phi tuyến với tuyến t nh để kh c phục hạn chế tận dụng ưu điểm m h nh Phƣơng pháp nghiên cứu Để đạt mục tiêu đề tài Chúng tơi xây dựng thực mơ hình c khả ự áo ữ liệu chuỗi thời gian đa ạng, ng n hạn đồng thời cho chất lượng dự báo tốt Nghiên cứu lai gh p kỹ thuật NN v kỹ thuật l m trơn h m mũ, o hai kỹ thuật n y ổ sung lẫn NN c thể phát đặc trưng phi tuyến t nh ị ẩn kh phát ữ liệu, m h nh l m trơn h m mũ cho kết tốt mẫu tuyến t nh chuỗi thời gian [8,9] Dùng kỹ thuật l m trơn h m mũ ậc a E [7 v c ưu điểm n m b t t nh mùa, t nh xu hướng, yêu cầu liệu mẫu nhỏ để lai gh p với NN ằng phương pháp lai nghị viện [9 i cách lai n y l đơn giản, thực ễ dàng chi phí Chúng tơi thực mơ hình ANN-E sau đ thử nghiệm nhiều liệu ng n hạn để so sánh, kiểm tra v đánh giá m h nh đề xuất với ba mơ hình: ANN, ES3 mơ hình lai ANN-ES1, kiểm tra t nh đ n mặt lý thuyết M h nh chúng t i đề xuất cho hiệu suất dự đoán cao số liệu so với mơ hình cịn lại Bảng 1: 10 liệu cho thực nghiệm chương tr nh thử nghiệm Tính chất Tính tuyến tính Tính mùa Tính xu hướng T nh ất thường Tính mùa Tính xu hướng T nh ất thường ữ liệu Mô tả liệu Chiều dài ản xuất s t ản h ng tháng Úc 476 Dữ liệu t i ch nh M2 h ng tháng Mỹ Ti u thụ Chocolate h ng tháng Úc 398 458 10 ố người i cư h ng tháng Úc 1094 Giá đ ng cửa h ng tháng số c ng nghiệp Dow-Jones Mỹ 291 Mực nước trung 600 Nhiệt độ h ng tháng Paris, Pháp 154 ố lượng người nữ tr n 20 tuổi thất nghiệp h ng tháng Mỹ 408 Doanh số xi măng h ng quý Úc ản lượng điện h ng quý Úc 155 155 nh theo tháng hồ Erie Mỹ Tổng kết kết nghiên cứu Đề t i đạt kết sau: - Thu thập 10 dự liệu ng n hạn có nhiều đặc tính khác nhiều lãnh vực để thực nghiệm m tả bảng - i áo đăng tr n tạp chí: An International Journal of Research and Surveys (ICIC Express Letters, Scopus) - Chương tr nh thử nghiệm h nh v ý ngh a chức ảng Hình 2: Giao diện m đun lai gh p Bảng 2: Chức thành phần giao diện lai gh p Thành phần Mô tả chức Training: chức chọn tập liệu huấn luyện Xác định trọng số lai Xem biểu diễn liệu biểu đồ ước trọng số lai Kết ước lượng trọng số lai Time: Đo thời gian huấn luyện Test and Forecast: Kiểm tra dự báo Đánh giá kết đạt đƣợc kết luận - - - Những kết chúng t i đạt trình thực đề tài: Tìm hiểu đặc tính liệu chuỗi thời gian ng n hạn mô hình dự áo c ng ố như: L m trơn kiểu h m mũ, RIM v SARIMA, ANN, số phương pháp Đề xuất mơ hình ANN-ES3 cách lai ghép mơ hình ANN ES3 để dự báo liệu chuỗi thời gian ng n hạn Đồng thời thực bốn mơ hình bao gồm: mơ hình ES3 ANN-ES3 mơ hình ES3, ANN ANNES1 để so sánh hiệu suất dự báo chúng với m h nh đề xuất Thực nghiệm với 10 liệu thực tế để kiểm tra hiệu dự báo mơ hình đề xuất Kết thử nghiệm thể mô hình ANN-ES3 có hiệu dự báo tốt so với mơ hình cịn lại Tóm tắt kết (tiếng Việt tiếng Anh) Trong đề tài này, tận dụng khả xấp xỉ hàm phi tuyến mạng nơ-ron nhân tạo (ANN) khả xấp xỉ tốt thành phần mùa xu hướng phương pháp l m trơn h m mũ ậc (ES3), để đề xuất m h nh ự áo ữ liệu chuỗi thời gian ng n hạn ằng cách lai ghép mạng nơ-ron nhân tạo với kỹ thuật l m trơn h m mũ ậc (ANN-E M h nh đề xuất có khả ự áo đa ạng loại liệu cho kết dự báo tốt Đồng thời, chúng t i thực ba phương pháp ự báo: ANN, ES3 lai ghép ANN với kỹ thuật l m trơn h m mũ ậc (ANN-ES1) để so sánh với phương pháp đề xuất Qua thực nghiệm dự báo với liệu ng n hạn thực tế, mô hình lai ghép ANN-E o chúng t i đề xuất cho chất lượng dự báo tốt so với ba mơ hình cịn lại In this project, we take advantage of the neural network's (ANN) nonlinear function approximation and the ability to approximate the seasonal and trend component of the triple exponential smoothing method (ES3), we proposed a new model to forecast short-term time series data by developing and implementing hybrid model between artificial neural network and triple exponential smoothing method (ANN-ES3) This hybrid model is able to forecast various types of data and gives better forecasting results We also implement three forecasting methods: ANN, ES3 and hybrid model between ANN and single exponential smoothing (ANN-ES1) to compare with the proposed method Through the forecast experiment with actual short-term time series data, the proposed hybrid method (ANN-ES3) give better forecasting results than the other three models (ANN, ES3, and hybrid ANN-ES1) III Sản phẩm đề tài, công bố kết đào tạo 3.1 Kết nghiên cứu (sản phẩm dạng 1,2,3) TT Tên sản phẩm Yêu cầu khoa học/và tiêu Kinh tế - kỹ thuật Đăng ký Đạt đƣợc 1 10 10 1 Chương tr nh phần mềm Tập liệu Bài báo khoa học 3.2 Kết đào tạo TT Họ tên Tên đề tài Thời gian Thực đề tài Đã bảo vệ Tên chuyên đề NCS Tên luận văn cao học Nghiên cứu sinh Học viên cao học Phạm Ngọc Cảnh tháng Phát triển mơ hình dự báo liệu chuỗi thời gian ng n hạn Đã ảo vệ inh vi n Đại học IV Tình hình kinh phí sử dụng T T Nội dung chi A B Chi phí trực tiếp Thuê khốn chun mơn Ngun, nhiên vật liệu, Thiết bị, dụng cụ Cơng tác phí Dịch vụ th ngồi Hội nghị, hội thảo, thù lao nghiệm thu kỳ In ấn, văn phịng phẩm Chi phí khác Chi phí gián tiếp Kinh phí đƣợc duyệt (triệu đồng) 8.228.000 8.228.000 Kinh phi thực (triệu đồng) 8.228.000 8.228.000 16.772.000 16.772.000 Ghi Quản lý phí Chi ph điện, nước 16.772.000 16.772.000 V Kiến nghị (về phát triển nghiên cứu đề tài) - - Nhằm nâng cao hiệu dự áo, đề tài tiếp tục thay phương thức kh i tạo thông số m h nh l m trơn theo h m mũ ằng phương pháp tiên tiến phương pháp dựa phân giải (decomposition-based) [10], phương pháp dựa lượng tử hồi quy [10] hay phương pháp dựa liên kết đại số tham số cấu trúc mơ hình vectơ khuếch đại Kalman [10] để nâng cao hiệu suất dự báo Lai gh p phương pháp ES3 với phương pháp Vector upport Machine hay lai ghép ES3 với số phương pháp ti n tiến khác So sánh với mơ hình đề xuất VI Phụ lục Bài báo khoa học Phần mềm thực nghiệm kết quả, cấu hình máy chạy thực nghiệm, tập liệu Tp HCM, ngày …… tháng … năm 2021 Chủ nhiệm đề tài Phòng QLKH&HTQT Khoa CNTT Trƣởng khoa (Họ tên, chữ ký) PHẦN II BÁO CÁO CHI TIẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CHƢƠNG TỔNG QUAN VỀ VẤN ĐỀ NGHIÊN CỨU 1.1 Đặt vấn đề Công tác dự báo liệu chuỗi thời gian có nhiều ứng dụng phổ biến thực tế số ứng dụng sau: - Ứng dụng dự đoán việc khơng mong muốn hay khó tránh khỏi nhằm hạn chế ảnh hư ng Ví dụ như: Dự báo thiên tai, lụt lội, động đất để c định hướng, biện pháp hay định phù hợp hợp nhằm hạn chế hậu - Ứng dụng dự đốn việc khơng mong muốn nhằm ngăn cản chúng xảy cách dự đoán kiện c iện pháp hợp lý Ví dụ, dự báo số lạm phát quốc gia, v o đ ch nh quyền có sách, giải pháp hợp lý nhằm ngăn cản số n y vượt mức cho phép - Ứng dụng dự báo biến động thị trường, dự đoán giá cổ phiếu hay giá trị chứng khoán thị trường, dựa v o đ nhằm thu lợi nhuận cao Căn theo kỹ thuật dự báo, Sallehuddin cộng (2009) [4] chia phương pháp ự báo thành hai loại: thống k v tr tuệ nh n tạo statistical an artificial intelligence) sau: - Thống k gồm c : m h nh l m trơn h m mũ ES, exponential smoothing , m h nh hồi quy đa iến (multivariate regression , đa hồi quy multiple regression mơ hình ARIMA - Tr tuệ nh n tạo ao gồm: logic mờ uzzy logic , giải thuật i truyền, mạng nơ- ron v học máy Khi dự áo ùng phương pháp n o cần vào tính chất cụ thể loại liệu Khi gặp chuỗi liệu thời gian có tính chất dùng phương pháp đơn lẻ trình bày phần Tuy vậy, thực tế cho thấy liệu chuỗi liệu thời gian đa ạng v thường tồn nhiều tính chất, đặc biệt tính bất thường Các nhà nghiên cứu hướng tới phát triển mơ hình từ m h nh ản nghiên cứu lai ghép kết hợp nhiều mơ hình với nhằm nâng cao hiệu suất dự báo 1.2 Mục tiêu Từ vấn đề nêu trên, Chúng xây dựng thực mô hình c khả ự áo đa ạng ữ liệu chuỗi thời gian ng n hạn đồng thời cho chất lượng dự báo tốt 10 Nghiên cứu lai gh p kỹ thuật ANN kỹ thuật l m trơn h m mũ, o hai kỹ thuật n y ổ sung lẫn NN c thể phát đặc trưng phi tuyến t nh bị ẩn kh phát ữ liệu, m h nh l m trơn h m mũ cho kết tốt mẫu tuyến t nh chuỗi thời gian [8,9] Chúng t i dùng kỹ thuật l m trơn h m mũ ậc ba (ES3) [7] c ưu điểm n m b t t nh mùa, t nh xu hướng, yêu cầu liệu mẫu nhỏ để lai gh p với NN ằng phương pháp lai nghị viện [9 i cách lai n y l đơn giản, thực ễ dàng chi phí Chúng tơi thực mơ hình ANN-E sau đ thử nghiệm nhiều liệu ng n hạn để so sánh, kiểm tra v đánh giá m h nh đề xuất với ba mơ hình ANN, ES3 lai ghép ANN-ES1 1.3 Phƣơng pháp nghiên cứu Chúng t i nghi n cứu mơ hình: ANN, ES1, ES2, ES3 lai ghép ANN-E để xem xét m h nh n y v đặc tính liệu để chúng cho kết dự báo thật tốt au đ với liệu có nhiều đặc tính cần lai ghép m h nh n o kết dự báo thật tốt Cụ thể sau: - Nghiên cứu mơ hình ANN, ES1, ES2, ES3 ANN-ES1 để xây dựng mô hình lai ghép ANN-ES3 - Thu thập liệu ng n hạn có nhiều tính chất nhiều lãnh vực khác Nguồn liệu c từ thư viện liệu chuỗi thời gian giáo sư R.J.Hyndman https://github.com/FinYang/tsdl đại học Auckland, New Zealand https://timeseries.weebly.com/data-sets.html - Đề xuất mơ hình xây dựng chương tr nh thử nghiệm để đánh giá m h nh đề xuất 16 - Tầng (layer, lớp): tập hợp nhiều nơ-ron tạo thành tầng ANN có kiến trúc chung gồm a th nh phần l tầng output layer), tầng ẩn hidden layer) tầng v o input layer) Hình m tả kiến trúc cụ thể NN Hình 4: M tả kiến trúc ANN [12] Tầng nhập input layer : tạo n n từ nốt nhập Tầng nhập đ ng vai trò nhận ữ liệu nhập từ ngo i sau đ đưa ữ liệu n y tới tầng (tầng ẩn Một mạng nơ-ron lu n c tầng nhập Tầng ẩn (hid en layer : cấu th nh từ nốt ẩn Chức tầng ẩn l nhận t n hiệu/dữ liệu từ tầng trước (có thể tầng nhập, tầng ẩn khác đồng thời xử lý t nh toán sau đ gửi ữ liệu đến tầng (tầng ẩn tầng xuất Một mạng nơ-ron c thể kh ng c tầng ẩn hay có tầng ẩn gồm nhiều tầng ẩn Tầng xuất output layer : chứa nốt xuất c nhiệm vụ nhận tín hiệu/dữ liệu từ tầng trước đ tầng ẩn có, tầng nhập khơng có tầng ẩn đồng thời thực xử lí tính tốn cho giá trị đầu Một mạng nơron c tầng xuất - Các thành phần l Processing Elements – PE : Trong mạng nơ-ron, nơron gọi PE, PE (nơ-ron) c nhiệm vụ nhận liệu v o v thực việc xử lý liệu để đưa kết Đầu vào nơ-ron khác ch nh l kết xử lý n y 17 2.2.2 ui trình lý thơng tin ANN NN c hoạt động phức tạp, nhi n ANN có quy tr nh xử lý th ng tin c thể khái quát cách ễ hiểu h nh Ta x t yếu tố h nh th nh qui tr nh n y phần ầu vào (inputs): Một thuộc tính (attribute) liệu tương ứng với đầu v o ầu (output): ữ liệu đầu v o sau xử lý , NN xuất kết đầu l giải pháp vấn đề cần giải Hình 5: M tả qui tr nh xử lý thông tin ANN [12] - - Trọng số liên kết (connection weights): tr nh điều chỉnh trọng số ữ liệu đầu v o q trình học NN kết mong muốn Trọng số thể mức độ quan trọng liệu đầu v o q trình xử lý thơng tin (dữ liệu chuyển đổi tầng , thành phần quan trọng ANN Hàm tổng (summation function): trọng số tất đầu v o đưa v o nơ-ron hàm tính tổng lại Giả sử c n đầu v o nơ-ron th c ng thức sau cho ph p t nh hàm tổng nơ-ron: ∑ Trong tầng, c ng thức h m tổng nhiều nơ-ron: ∑ 18 - Hàm truyền (transformation/transfer function): hàm đại diện quan hệ k ch hoạt n kết quả, m tả h nh 6, k ch hoạt n ch nh l khả k ch hoạt nơ-ron cụ thể Hình 6: M tả h m truyền [12] Việc lựa chọn h m truyền ảnh hư ng lớn đến kết NN Trong NN, h m sigmoi dùng phổ biến, đ y l h m truyền phi tuyến có công thức t nh sau: YT = 1/(1 + e-Y) Với: YT: l h m truyền Y: l h m tổng H m sigmoi cho kết nằm khoảng [0,1], hàm cịn gọi hàm chuẩn hóa (normalized function) H m truyền thường sử dụng việc xử lý kết nơ-ron sau đ chuyển kết đ đến tầng b i nơ-ron đ i kết xử lý c thể lớn Trong số trường hợp giá trị ngưỡng (threshold value) sử dụng để thay h m truyền Đầu kh ng chuyển đến tầng sau giá trị nơ-ron ất kỳ ngưỡng Giải thuật lan truyền ngƣợc kết hợp momentum [12,13] Nhược điểm giải thuật lan truyền ngược tr nh y c thể kh ng t m cực trị toàn cục m t m cực trị cục ộ N kh khăn để chọn hệ số học l phù hợp Hệ số học n y cực k quan trọng, i hệ số học lớn làm hàm lỗi ao động qua lại cực trị, ngăn cản lỗi giảm xuống giá trị định Tuy nhi n, hệ số học nhỏ phải thực nhiều ước (mỗi ước lần tính tốn kết xuất hiệu chỉnh trọng số mạng) nhằm đạt đến kết chấp nhận được, dẫn tới thời gian hội tụ l u Ngh a l thời gian cần thiết để chạm tới ngưỡng hội tụ phụ thuộc lớn v o hệ số học l 19 Khái niệm momentum đưa để kh c phục hạn chế Momentum hệ số trợ giúp cho tr nh điều chỉnh trọng số giảm khả rơi v o điểm tối thiểu cục bộ, giảm thời gian huấn luyện N vào giá trị trọng số lần lặp trước đ t để có giá trị trọng số lần huấn luyện thứ (t+1) với c ng thức sau: ( ) ( ) ( ) Với: µ hệ số momentum, l l hệ số học Để q trình học có hiệu tốn khác µ l toán giá trị khác Đối với hệ số momentum, việc chọn hệ số th ch hợp ựa v o kinh nghiệm người ùng phương pháp thử sai, giải thuật lan truyền ngược ổ sung momentum v o giúp kh c phục số nhược điểm 2.3 Hƣớng tiếp cận mô hình lai ghép Đối với m h nh E 3, việc ước lượng i n độ, độ ốc th nh phần xu hướng v mùa thời điểm x t điều khiển i a tham số: α, β, γ tương ứng c giá trị khoảng đến Có nhiều phương pháp để xác định tham số α, β, γ Trong luận văn n y chúng t i sử ụng ng n ngữ R, v n l mã nguồn m , c thể tích hợp với hệ thống khác nhau; có nhiều thư viện cho việc thao tác số liệu, truy cập số liệu, phân tích số liệu hay vẽ đồ thị … th ch hợp cho đề t i chúng t i Theo sep Rusyana cộng [7 hay R.J.Hyn man với cộng [8 , kỹ thuật l m trơn h m mũ ậc a c thể l m việc với ữ liệu chuỗi thời gian tuyến t nh c t nh mùa v xu hướng, ngh a l c khả l m việc với nhiều loại ữ liệu ng n hạn khác B n cạnh đ , Lai cộng [9 v Winita Sulandaria cộng [3 chứng minh việc lai gh p m h nh l m trơn h m mũ với NN sinh phương pháp mạnh Chúng t i dùng kỹ thuật l m trơn h m mũ ậc a tương tự sep Rusyana v Winita Sulandaria [3,7 với chiến lược lai nghị viện parliamentary Lai v cộng [9 để lai gh p với NN i n đơn giản, ễ thực hiện, t tốn k m v đặc iệt l thích hợp cho ữ liệu chuỗi thời gian ng n hạn H nh iểu iễn m h nh ự áo lai ghép thực đề t i 20 Trong hình 7, liệu đưa v o m h nh l m trơn h m mũ để tìm hệ số α, β, γ) mơ hình ANN để tìm trọng số đơn vị) cách đồng thời M h nh NN đưa kết ự áo orecast , m h nh l m trơn h m mũ cho kết ự áo khác (forecast 2) Hai kết đưa v o m đun lai gh p kết cộng hư ng dựa vào công thức sau: ̂ tHybrid = α ̂ tANN + (1- α) ̂ tES Hình 7: M h nh ự áo lai gh p [2] Trong đ : - ̂tES l kết ự áo m h nh ES3 - ̂tANN l kết ự áo từ ANN - α l tham số trọng số (0 < α