Luận văn thạc sĩ Khoa học máy tính: Kết hợp mạng nơron và phương pháp thu giảm số chiều trong công tác dự báo dữ liệu chuỗi thời gian

TÊN ĐỀ TÀI: Kết hợp mạng nơron và phương pháp thu giảm số chiều trong công tác dự báo dữ liệu chuỗi thời gian.. NHIỆM VỤ VÀ NỘI DUNG: Tìm hiểu và thử nghiệm các khả năng kết hợp mạng nơr

GIỚI THIỆU ĐỀ TÀI

DỮ LIỆU CHUỖI THỜI GIAN

Chuỗi thời gian (time series) là tập hợp kết quả từ các quan sát được thực hiện một cách liên tiếp, đều đặn, tuần tự theo thời gian Tập hợp dữ liệu kết quả này có thể có nhiều chiều, nhưng bắt buộc phải có một chiều là chiều thời gian Ví dụ: tập dữ liệu tỉ giá ngoại tệ mỗi ngày, chỉ số điện tim mỗi giây, độ tăng nhiệt độ môi trường hàng năm,…

Hình 1.1 minh họa chuỗi thời gian là số lượng hành khách trên các chuyến bay quốc tế hàng năm (đơn vị ngàn lượt khách).

Hình 1.1 Chuỗi thời gian là số lượng hành khách trên các chuyến bay quốc tế hàng năm

Các thành phần của một chuỗi thời gian

Dãy thời gian thường bao gồm các thành phần sau: xu hướng dài hạn thể hiện xu hướng chung của dãy trong thời gian dài (Hình 1.2), thành phần chu kỳ mô tả những biến động lặp lại theo thời gian, thành phần theo mùa thể hiện những biến động theo mùa và thành phần bất thường gồm những biến động không tuân theo bất kỳ quy luật nào.

Hình 1.2 Chuỗi thời gian có thành phần xu hướng

Thành phần chu kỳ: là chuỗi biến đổi dạng sóng quanh xu hướng Trong thực tế thành phần này rất khó xác định và người ta thường xem nó như là một phần của thành phần xu hướng.

Thành phần bất thường: là thành phần thể hiện sự biến đổi ngẫu nhiên không thể đoán được của chuỗi thời gian.

Thành phần mùa thể hiện sự biến đổi lặp đi lặp lại tại từng thời điểm cố định trong năm Thành phần này có thể được biểu diễn bằng đồ thị của chuỗi thời gian có tính mùa.

Hình 1.3 Chuỗi thời gian có thành phần mùa

Chương 1 Giới thiệu đề tài 3 Ứng dụng của việc phân tích dữ liệu chuỗi thời gian

Một số dạng bài toán quan trọng được ứng dụng trong thực tế, có liên quan đến sự phân tích dữ liệu chuỗi thời gian: bài toán tìm kiếm tương tự (similarity search), bài toán gom cụm (clustering), bài toán phân loại (classification), bài toán tìm quy luật của dữ liệu (rule discovery), bài toán phát hiện điểm bất thường (novelty detection), bài toán tìm mẫu lặp (finding motif), bài toán dự báo dữ liệu trong tương lai (prediction) Như vậy, việc phân tích dữ liệu chuỗi thời gian đã được ứng dụng rộng rãi trong rất nhiều bài toán khác nhau.

Và bài toán dự báo dữ liệu chuỗi thời gian cũng đã có rất nhiều ứng dụng quan trọng,cần thiết cho cuộc sống Một trong những ứng dụng là, khi dự báo được trước tình huống gì sẽ xảy ra trong tương lai, chúng ta có thể tìm cách ngăn ngừa các tình huống xấu có thể xảy ra, thiết lập kế hoạch dự phòng, hạn chế thiệt hại khi tình huống xấu xảy ra thật sự (mưa bão, động đất, tai nạn giao thông,…).

BÀI TOÁN DỰ BÁO DỮ LIỆU CHUỖI THỜI GIAN

Dự báo dữ liệu chuỗi thời gian (time series forecasting – TSF) dùng chuỗi thời gian với các giá trị đã biết x t-n-1 , …, x t-2 , x t-1 , x t để tìm kiếm mối quan hệ, mối liên kết, các mẫu (pattern), các quy luật biến đổi của chúng để dự báo các giá trị tương lai x t+1 , x t+2,… một cách chính xác nhất có thể.

Như đã đề cập, kết quả dự báo dữ liệu chuỗi thời gian có ý nghĩa vô cùng quan trọng đối với cuộc sống Do đó, nhiều phương pháp khác nhau đã được nghiên cứu để tìm ra kết quả cho bài toán dự báo dữ liệu chuỗi thời gian.

Các phương pháp dự báo dữ liệu chuỗi thời gian

Có ba phương pháp dự báo dữ liệu chuỗi thời gian: (1) SVM (Support Virtual Machine), (2) sử dụng mô hình mạng nơron nhân tạo và (3) các mô hình thống kê.

Trong đó phương pháp dự báo dựa trên mô hình mạng nơron nhân tạo được đánh giá là cho kết quả tốt hơn các phương pháp còn lại.

Mô hình mạng nơron nhân tạo sử dụng tập dữ liệu chuỗi thời gian thu thập thực tế như một như tập dữ liệu đầu vào của mạng Sau đó nó sẽ tính toán tập đầu vào này để cho ra một giá trị đầu ra, làm kết quả dự báo cho thời điểm kế tiếp trong tương lai.

Chất lượng dự báo của mạng nơron phụ thuộc nhiều yếu tố: cấu trúc mạng, quá trình huấn luyện mạng,… Trong đó, tập dữ liệu chuỗi thời gian đầu vào, được dùng làm tập huấn luyện mạng nơron ảnh hưởng rất lớn đến chất lượng dự báo.

Các yếu tố của tập dữ liệu đầu vào có ảnh hưởng đến chất lượng dự báo của mạng nơron là: chiều dài của tập dữ liệu chuỗi thời gian, kiểu của thành phần dữ liệu chuỗi thời gian (thành phần xu hướng, thành phần mùa,…)… Để tăng chất lượng dự báo của mạng nơron, người ta có khuynh hướng sử dụng tập dữ liệu huấn luyện từ lớn đến rất lớn, vài ngàn điểm dữ liệu trở lên Tuy nhiên dữ liệu ban đầu quá lớn sẽ dẫn đến thời gian tính toán trong mạng nơron dài Vì vậy, để giảm thời gian tính toán, tương ứng với việc sử dụng ít điểm dữ liệu hơn, mà vẫn giữ thông tin tổng quát (sự biến thiên, xu hướng chung,…) hay hình dạng tổng quát của tập dữ liệu thời gian lớn trong quá khứ, người ta đã nghiên cứu các phương pháp thu giảm số chiều của tập dữ liệu ban đầu N điểm, xuống còn n điểm, với n nhỏ hơn N rất nhiều lần (5, 10, 20,… lần).

Tiếp theo đây, chúng tôi đề cập đến một số phương pháp có thể dùng để thu giảm số chiều trên tập dữ liệu huấn luyện mạng nơron nhân tạo trong công tác dự báo dữ liệu chuỗi thời gian.

1.4 MỘT SỐ PHƯƠNG PHÁP THU GIẢM SỐ CHIỀU TRÊN TẬP DỮ LIỆU HUẤN LUYỆN MẠNG NƠRON

Có nhiều cách thức thu giảm số chiều trên một tập dữ liệu Trong số các phương pháp thu giảm số chiều Singular Value Decomposition (SVD), Discrete FourierTransform (DFT), Discrete Wavelets Transform (DWT), Piecewise AggregateApproximation (PAA), thì PAA được xem phương pháp lấy mẫu có ưu thế hơn, ở

Chương 1 Giới thiệu đề tài 5 chỗ dễ hiểu, dễ tính toán dữ liệu để thu giảm, thời gian tính toán nhanh hơn, chiều dài dữ liệu tính toán tùy ý,… [4].

Khác với các phương pháp lấy mẫu, phương pháp điểm quan trọng (Perceptually Important Point - PIP) lại là một phương pháp tính toán để chọn ra các điểm thời gian phù hợp từ chuỗi dữ liệu thời gian Trong bài toán dự báo dữ liệu chuỗi thời gian, các điểm phù hợp sẽ được chọn để làm đầu vào của mạng nơron dự báo, như là cách thức thu giảm số chiều của chuỗi dữ liệu thời gian.

Khi so sánh hai phương pháp thu giảm số chiều là PIP và phương pháp “uniform time delay” truyền thống trong việc thu giảm số chiều tập huấn luyện mạng nơron, người ta thấy rằng, khả năng dự báo của mạng nơron kết hợp với PIP là tốt hơn mạng nơron kết hợp với “uniform time delay” [2].

Như vậy, cả hai phương pháp thu giảm số chiều PAA và PIP đều có những ưu thế hơn những phương pháp thu giảm số chiều khác Và công việc so sánh hiệu quả của hai phương pháp này trong việc thu giảm số chiều tập dữ liệu huấn luyện mạng nơron trong công tác dự báo dữ liệu chuỗi thời gian, trở thành một đề tài hấp dẫn, lại chưa được nghiên cứu nhiều.

Nghiên cứu này kết hợp từng phương pháp giảm chiều PAA và PIP vào dữ liệu tập huấn luyện mạng nơ-ron để dự báo chuỗi thời gian, sau đó đánh giá hiệu quả dựa trên các hệ số lỗi Dè tài cũng so sánh hệ số lỗi của mạng trong các trường hợp khác nhau, được xác định bởi các tiêu chí như sau:

- Có hay không có kết hợp một phương pháp thu giảm số chiều với mạng nơron- Kết hợp một phương pháp PAA hay một phương pháp PIP huấn luyện hay trên dữ liệu dùng làm dữ liệu của cửa sổ trượt trong quá trình huấn luyện mạng nơron. Để thực hiện các mục tiêu nêu trên, chúng tôi cụ thể hóa các công việc cần làm như sau:

 Sử dụng mạng nơron nhân tạo, cụ thể là mạng feedforward neural network (FFNN) cho bài toán dự báo dữ liệu chuỗi thời gian.

 Sử dụng giải thuật Resilient Backpropagation (RPROP) để huấn luyện mạng nhằm tăng tính ổn định, tốc độ hội tụ,…

 Sử dụng hai phương pháp thu giảm số chiều trên tập dữ liệu là PIP hoặc PAA để thu giảm dữ liệu tập huấn luyện mạng nơron và dữ liệu dùng làm dữ liệu của cửa sổ trượt trong quá trình huấn luyện.

 Sử dụng tiêu chuẩn RMSE làm tiêu chuẩn để đánh giá quá trình huấn luyện và khả năng dự báo của mạng nơron.

 Xây dựng chương trình để thử nghiệm sự kết hợp trên, có sử dụng một số bộ dữ liệu mẫu.

 So sánh các phương pháp thu giảm số chiều trong nhiều trường hợp khác nhau Từ đó, rút ra kết luận về việc kết hợp mạng nơron với các phương pháp thu giảm số chiều trong công tác dự báo dữ liệu chuỗi thời gian.

1.6 CÁC KẾT QUẢ ĐẠT ĐƯỢC

Với những yêu cầu của đề tài nêu trên, sau thời gian tìm hiểu và hiện thực chương trình thử nghiệm, chúng tôi đã đạt được các kết quả như sau:

MỘT SỐ PHƯƠNG PHÁP THU GIẢM SỐ CHIỀU TRÊN TẬP DỮ LIỆU HUẤN LUYỆN MẠNG NƠRON

Có nhiều cách thức thu giảm số chiều trên một tập dữ liệu Trong số các phương pháp thu giảm số chiều Singular Value Decomposition (SVD), Discrete FourierTransform (DFT), Discrete Wavelets Transform (DWT), Piecewise AggregateApproximation (PAA), thì PAA được xem phương pháp lấy mẫu có ưu thế hơn, ở

Chương 1 Giới thiệu đề tài 5 chỗ dễ hiểu, dễ tính toán dữ liệu để thu giảm, thời gian tính toán nhanh hơn, chiều dài dữ liệu tính toán tùy ý,… [4].

Khác với các phương pháp lấy mẫu, phương pháp điểm quan trọng (Perceptually Important Point - PIP) lại là một phương pháp tính toán để chọn ra các điểm thời gian phù hợp từ chuỗi dữ liệu thời gian Trong bài toán dự báo dữ liệu chuỗi thời gian, các điểm phù hợp sẽ được chọn để làm đầu vào của mạng nơron dự báo, như là cách thức thu giảm số chiều của chuỗi dữ liệu thời gian.

Khi so sánh hai phương pháp thu giảm số chiều là PIP và phương pháp “uniform time delay” truyền thống trong việc thu giảm số chiều tập huấn luyện mạng nơron, người ta thấy rằng, khả năng dự báo của mạng nơron kết hợp với PIP là tốt hơn mạng nơron kết hợp với “uniform time delay” [2].

Như vậy, cả hai phương pháp thu giảm số chiều PAA và PIP đều có những ưu thế hơn những phương pháp thu giảm số chiều khác Và công việc so sánh hiệu quả của hai phương pháp này trong việc thu giảm số chiều tập dữ liệu huấn luyện mạng nơron trong công tác dự báo dữ liệu chuỗi thời gian, trở thành một đề tài hấp dẫn, lại chưa được nghiên cứu nhiều.

MỤC TIÊU NGHIÊN CỨU

Mục tiêu nghiên cứu của đề tài này là thử kết hợp từng phương pháp thu giảm số chiều PAA và PIP trên dữ liệu dùng làm tập huấn luyện của mạng nơron, trong công tác dự báo dữ liệu chuỗi thời gian Từ đó, so sánh hiệu quả việc kết hợp mạng nơron với từng, dựa trên hệ số tính toán lỗi sau quá trình huấn luyện và quá trình thử (kiểm tra) trong mạng nơron Ngoài ra, đề tài này còn so sánh hệ số lỗi của mạng nơron, xét trong nhiều trường hợp dùng mạng nơron để dự báo Các trường hợp khác nhau đó, được xác định dựa vào các tiêu chí sau:

- Có hay không có kết hợp một phương pháp thu giảm số chiều với mạng nơron- Kết hợp một phương pháp PAA hay một phương pháp PIP huấn luyện hay trên dữ liệu dùng làm dữ liệu của cửa sổ trượt trong quá trình huấn luyện mạng nơron. Để thực hiện các mục tiêu nêu trên, chúng tôi cụ thể hóa các công việc cần làm như sau:

 Sử dụng mạng nơron nhân tạo, cụ thể là mạng feedforward neural network (FFNN) cho bài toán dự báo dữ liệu chuỗi thời gian.

 Sử dụng giải thuật Resilient Backpropagation (RPROP) để huấn luyện mạng nhằm tăng tính ổn định, tốc độ hội tụ,…

Sử dụng các phương pháp thu giảm số chiều như PIP (Phép lấy mẫu nội suy đa thức) hoặc PAA (Phép lấy mẫu trung bình theo từng đoạn) trên tập dữ liệu sẽ giảm kích thước của dữ liệu huấn luyện được sử dụng cho mạng nơ-ron, cũng như dữ liệu được sử dụng làm cửa sổ trượt trong quá trình huấn luyện.

 Sử dụng tiêu chuẩn RMSE làm tiêu chuẩn để đánh giá quá trình huấn luyện và khả năng dự báo của mạng nơron.

 Xây dựng chương trình để thử nghiệm sự kết hợp trên, có sử dụng một số bộ dữ liệu mẫu.

 So sánh các phương pháp thu giảm số chiều trong nhiều trường hợp khác nhau Từ đó, rút ra kết luận về việc kết hợp mạng nơron với các phương pháp thu giảm số chiều trong công tác dự báo dữ liệu chuỗi thời gian.

CÁC KẾT QUẢ ĐẠT ĐƯỢC

Với những yêu cầu của đề tài nêu trên, sau thời gian tìm hiểu và hiện thực chương trình thử nghiệm, chúng tôi đã đạt được các kết quả như sau:

 Đề xuất hai khả năng kết hợp mạng nơron nhân tạo với phương pháp thu giảm số chiều PIP hoặc phương pháp thu giảm PAA cho công tác dự báo dữ liệu chuỗi thời gian Sự kết hợp với phương pháp thu giảm số chiều chủ yếu là ở chỗ thu giảm số chiều dữ liệu của tập dữ liệu dùng trong quá trình huấn luyện mạng noron Có hai khả năng hay hai cách kết hợp: (1) thu giảm trên toàn bộ tập dữ liệu ban đầu, vốn được dùng làm tập huấn luyện mạng nơron, (2) thu

Chương 1 Giới thiệu đề tài 7 giảm trên dữ liệu dùng làm cửa sổ trượt trong quá trình huấn luyện mạng nơron.

 Hiện thực chương trình để so sánh kết quả huấn luyện và khả năng dự báo của mạng nơron trong trường hợp có kết hợp một phương pháp thu giảm và không có kết hợp với phương pháp thu giảm số chiều nào.

 Đưa ra kết luận tổng quát về hiệu quả kết hợp mạng nơron với phương pháp thu giảm số chiều PIP hoặc PAA.

CẤU TRÚC LUẬN VĂN

Ngoài chương 1 – Giới thiệu đề tài, cấu trúc luận văn còn có các chương khác sau :

Chương 2 – Cơ sở lý thuyết: trình bày cơ sở lý thuyết mạng nơron nhân tạo ứng dụng trong công tác dự báo dữ liệu chuỗi thời gian và hai phương pháp thu giảm số chiều PAA và PIP.

Chương 3 – Kết hợp mạng nơron nhân tạo và các phương pháp thu giảm số chiều: trình bày hai khả năng kết hợp mạng nơron với phương pháp thu giảm số chiều.

Chương 4 – Hiện thực và thực nghiệm:trình bày cấu trúc tổng quát và giao diện của chương trình hiện thực việc kết hợp mạng nơron với h ai phương pháp thu giảm số chiều nêu trên; trình bày và phân tích kết quả so sánh trong các trường hợp kết hợp mạng nơron với hai phương pháp thu giảm số chiều khác nhau, với các bộ dữ liệu mẫu.

Chương 5 – Kết luận: trình bày kết luận về khả năng kết hợp mạng nơron với các phương pháp thu giảm số chiều.

CƠ SỞ LÝ THUYẾT

MẠNG NƠRON NHÂN TẠO

Mạng thần kinh nhân tạo (ANN) lấy cảm hứng từ cấu trúc và chức năng của các nơron thần kinh trong não ANN được thiết kế để mô phỏng cách các nơron sinh học kết nối, truyền thông tin và học từ dữ liệu.

Hình 2.1 mô tả một nơron sinh học trong hệ thần kinh của con người Một nơron sinh học bao gồm nhiều sợi nhánh (dendrites) hay tua gai, tua tủa như rể cây, tiếp nhận tín hiệu, xung điện của một nơron khác truyền vào thân (nhân) tế bào Tín hiệu sẽ được truyền tiếp thông qua sợi trục (axon), đến sợi nhánh hay tua gai của một nơron khác nữa Vị trí kết nối giữa sợi trục của nơron này với sợi nhánh của nơron khác gọi là synapse Sự kết nối chằng chịt, liên tiếp giữa các nơron sinh học tạo nên mạng nơron sinh học, như Hình 2.2.

Giống như mạng nơron sinh học, mạng nơron nhân tạo là sự kết nối liên tiếp nhiều nơron (nốt) với nhau Hình 2.3 minh họa sự kết nối nhiều nốt với nhau, mỗi nốt được biểu diễn bằng một vòng tròn, các kết nối là các đường nối giữa các nốt.

Mạng nơron nhân tạo có cấu trúc nhiều tầng: một tầng nhập (input level), một hoặc nhiều tầng ẩn (hidden level) và một tầng xuất (output level).

Các nốt tương ứng với tầng nhập, tầng ẩn, tầng xuất gọi là nốt nhập, nốt ẩn và nốt xuất Các nốt cùng tầng không kết nối với nhau Một nốt là một đơn vị tính toán hay một đơn vị xử lý thông tin.

Chương 2 Cơ sở lý thuyết 9

Hình 2.1 Một nơron sinh học 1

Hình 2.2 Mạng nơron sinh học 2

Mỗi nốt nhận thông tin đầu vào (input) và xuất kết quả xử lý đầu ra (output).

“Output” của một nốt bất kỳ có thể trở thành “input” của một nốt khác, thông qua kết nối giữa hai nốt đó Mỗi kết nối được gán cho một trọng số (connection weight).

1 Nguồn: http://diendan.hocmai.vn/showthread.php?t6174, ngày 27-11-2012

2 Nguồn: http://www.alanturing.net/turing_archive/pages/reference%20articles/connectionism/Turing's%20neural%20n etworks.html, ngày 27-11-2012

Hình 2.3 Mạng nơron nhân tạo đa tầng 1

2.1.2 Một đơn vị tính toán trong mạng nơron

Như đã trình bày, mỗi nốt trong mạng nơron nhân tạo được xem như là một đơn vị tính toán hay một đơn vị xử lý thông tin Một nơron nhân tạo còn được gọi là một nút, một nốt (node), cũng có khi được gọi là một perceptron Nó cũng có các thành phần, các kết nối và vai trò tương tự một nơron sinh học.

Quá trình tính toán của một nốt trong mạng nơron nhân tạo được minh họa trong Hình 2.4.

Hình 2.4 Quá trình tính toán của một đơn vị tính toán (một nốt)

1 Nguồn: http://dms.irb.hr/tutorial/tut_nnets_short.php, ngày 27-11-2012

Mỗi nơron trong mạng nơ-ron nhân tạo tiếp nhận dữ liệu đầu vào từ các nơron tầng trước và xử lý để tạo ra kết quả đầu ra Kết quả này được truyền đến các nơron ở tầng tiếp theo thông qua các kết nối Mỗi kết nối có một trọng số riêng, nhân với tín hiệu đầu vào của nơron đó để ảnh hưởng đến kết quả đầu ra của nơron Trọng số kết nối có thể có giá trị cả âm và dương.

Mộthàm tổng hợp(summing junction hay sumarization function) dùng để tính tổng các tín hiệu đầu vào của nốt, đã được nhân với các trọng số kết nối tương ứng.

Mộthàm hoạt tính hay hàm kích hoạt(activation function) để giới hạn biên độ đầu ra của nơron Hàm kích hoạt cũng được xem xét như là một hàm nén Nó nén (giới hạn) phạm vi biên độ cho phép của tín hiệu đầu ra trong một khoảng giá trị hữu hạn.

Đơn vị tính toán còn có thêm một hệ số điều chỉnh bias bk Hệ số bk có vai trò làm tăng hoặc giảm đầu vào thực của hàm kích hoạt dựa vào dấu của nó (dương hoặc âm).

Kết quả củahàm tổng hợpsẽ được chuyển qua cho hàm kích hoạt Kết quả của hàm kích hoạt là kết quả đầu ray k của nơron.

Các nốt tương ứng với tầng nhập, tầng ẩn, tầng xuất gọi là nốt nhập, nốt ẩn và nốt xuất Các nốt cùng tầng không kết nối với nhau Một nốt là một đơn vị tính toán hay một đơn vị xử lý thông tin.

Mỗi nốt nhận thông tin đầu vào (input) và xuất kết quả xử lý đầu ra (output).

Đầu ra của một nốt bất kỳ có thể trở thành đầu vào của nốt khác thông qua kết nối giữa hai nốt đó Mỗi kết nối này được gán một trọng số (connection weight).

Có hai cách truyền tín hiệu hay kết quả đầu ra (output) trong mạng nơron, tạo nên hai mô hình kết nối (topology) mạng nơron: mạng lan truyền tiến (feedforward neural network- FFNN) và mạng hồi quy (recurrent neural network).

Mạng lan truyền tiến là cấu trúc mạng nơ-ron sử dụng rộng rãi trong lĩnh vực dự báo Mạng bao gồm ba lớp: nhập, ẩn và xuất Đầu vào được truyền qua lớp ẩn, nơi các thông tin được xử lý, rồi tiếp tục đi thẳng đến lớp xuất, nơi cho ra kết quả đầu ra.

Hình 2.5 Mạng nơron lan truyền tiến

Mạng hồi quy là mạng mà kết quả đầu ra ở một tầng ẩn trở thành dữ liệu đầu vào của tầng nhập, được minh họa trong Hình 2.6.

Hình 2.6 Mạng nơron hồi quy

2.1.4 Quá trình xử lý trong mạng nơron

Tập dữ liệu đầu vào (x 1 , x 2 ,…, x p ) đưa vào tầng nhập Các nốt nhập sẽ sử dụng dữ liệu đầu vào (x 1 , x 2 ,…, x p ) để tính toán kết quả đầu ra y=f(x 1 , x 2 ,…, x p ) Sau đó, truyền kết quả tính toán đầu raythành đầu vào của tầng ẩn tiếp theo.

GIỚI THIỆU TỔNG QUÁT VỀ PHƯƠNG PHÁP THU GIẢM SỐ CHIỀU

Trong lãnh vực khai phá dữ liệu chuỗi thời gian, việc tìm kiếm những chuỗi con truy vấn (dựa vào độ tương tự) có xuất hiện trong các tập dữ liệu cần khai phá là cần thiết Sự truy tìm này là một yếu tố căn bản trong nhiều công tác khai phá dữ liệu chuỗi thời gian cao cấp như gom cụm, phân lớp, tìm mô típ, phát hiện mẫu bất thường, khám phá luật kết hợp và trực quan hóa dữ liệu Mặc dù đã có nhiều cách tiếp cận để truy tìm chuỗi con truy vấn đó, nhưng hầu hết đều dựa trên một tiền đề chung là các phương pháp thu giảm số chiều và các cấu trúc chỉ mục thời g ian [8].

Các phương pháp thu giảm số chiều được dùng để khắc phục vấn đề dữ liệu chuỗi thời gian quá lớn Có ba nhóm phương pháp để thu giảm số chiều : (1) nhóm phương

Chương 2 Cơ sở lý thuyết 21 pháp biến đổi sang miền tần số, (2) nhóm phương pháp xấp xỉ tuyến tính từng đoạn và (3) nhóm phương pháp điểm quan trọng.

(1) Nhóm phương pháp biến đổi sang miền tần số bao gồm: phương pháp biến đổi fourier rời rạc (discrete fourier transform – DFT), phương pháp biến đổi wavelet rời rạc (discrete wave transform – DWT).

(2) Nhóm phương pháp xấp xỉ tuyến tính từng đoạn bao gồm: phương pháp xấp xỉ tuyến tính từng đoạn – PLA, phương pháp xấp xỉ gộp từng đoạn – PAA, phương pháp xấp xỉ hằng số từng đoạn thích nghi – APCA.

(3) Nhóm phương pháp điểm quan trọng gồm có: phương pháp điểm mốc, phương pháp điểm cực trị và phương pháp điểm PIP.

Mặc dù lĩnh vực tìm kiếm tương tự dữ liệu chuỗi thời gian đã được quan tâm nghiên cứu rất nhiều nhưng vẫn còn nhiều vấn đề cần được nghiên cứu thêm, ví dụ như ứng dụng các phương pháp thu giảm số ch iều vào lãnh vực dự báo dữ liệu chuỗi thời gian.

Trong nghiên cứu này, chúng tôi tiến hành khảo sát thêm về sự kết hợp giữa hai phương pháp giản chiều là phương pháp xấp xỉ gộp từng đoạn PAA trong nhóm 2 và phương pháp điểm PIP trong nhóm 3 với mạng nơron trong nhiệm vụ dự báo dữ liệu chuỗi thời gian.

Sau đây, chúng tôi trình bày chi tiết hơn về hai phương pháp thu giảm PAA và PIP.

PHƯƠNG PHÁP THU GIẢM SỐ CHIỀU PAA

Phần này sẽ trình bày một kỹ thuật thu giảm số chiều tên là PAA (Piecewise Aggregate Approximation) – Xấp xỉ bao gộp đoạn.

PAA là kỹ thuật thu giảm số chiều được giới thiệu bởi Eamonn Keogh và các cộng sự vào khoảng năm 2000 [4] Kỹ thuật này ra đời sau các kỹ thuật thu giảm khác nhưSingular Value Decomposition (SVD), Discrete Fourier transform (DFT), DiscreteWavelets Transform (DWT). với các phương pháp biến đổi thời thượng trước đó Qua thực nghiệm, người ta [4] đã rút ra được những ưu điểm của phương pháp PAA như sau:

- Tính toán nhanh hơn - Có thể thực hiện với số chiều được thu giảm tùy ý (không giống như

DWT) - Cho phép chèn hay xóa thời gian (không giống như SVD).

- Có thể điều khiển làm cho dữ liệu ngắn lại để xây dựng chỉ mục (index).

- … Tiếp theo đây là tóm tắt phương pháp thu giảm số chiều PAA [4]. Để thu giảm tập dữ liệu n chiều xuống cònNchiều, tập dữ liệu ấy sẽ được chia thành

N đoạn (frame) Ta sẽ tính toán giá trị trung bình của các điểm dữ liệu nằm trong mỗi đoạn Tập hợp các giá trị trung bình này trở thành kết quả của việc thu giảm số chiều từ tập dữ liệu n chiều ban đầu.

Hình 2.9 Phương pháp thu giảm số chiều PAA

Hình 2.9 mô tả tập dữ liệu chuỗi thời gian ban đầuXgồm n=8 điểm,X=(-1, -2, -1, 0,

TậpXđược thu giảm xuống cònN=2 Vì vậy, tậpXđược chia thành 2(N) đoạn.

Giá trị trung bình đoạn thứ nhất là: mean (-1, -2, -1, 0).

Giá trị trung bình đoạn thứ hai là: mean (2, 1, 1, 0).

Chương 2 Cơ sở lý thuyết 23Hai giá trị trung bình này trở thành kết quả dữ liệu được thu giảm là tập (-1, 1).

PHƯƠNG PHÁP THU GIẢM SỐ CHIỀU DỰA VÀO ĐIỂM QUAN TRỌNG - PIP

Phần này trình bày cơ sở lý thuyết về một phương pháp thu giảm số chiều trên một tập dữ liệu dựa trên việc đánh giá mức độ quan trọng của tất cả các điểm dữ liệu (gọi tắt là điểm) trong tập dữ liệu đó.

Việc đánh giá độ quan trọng của điểm dữ liệu là bước cần thiết khi lựa chọn các điểm dữ liệu phù hợp làm đầu vào cho các mô hình dự báo, đặc biệt là khi sử dụng mạng lưới thần kinh nhân tạo Quá trình này đóng vai trò chuẩn bị dữ liệu đầu vào, giúp tối ưu hóa hiệu suất của mô hình dự báo.

Khái niệm PIPs –PerceptuallyImportantPoints có liên quan đến mức độ quan trọng của các điểm dữ liệu về mặt ý niệm PIPs là các điểm dữ liệu đã được tính toán mức độ quan trọng của nó Một điểm dữ liệu đã xác định mức độ quan trọng của nó, được gọi là một PIP, chứ không gọi là một điểm (dữ liệu) nữa Vì vậy, khi nói đến PIP(s), giá trị PIP,…là muốn nói trong một ngữ cảnh có liên quan đến việc đánh giá mức độ quan trọng của các điểm dữ liệu trong một tập dữ liệu nào đó.

Mức độ quan trọng của một PIP được thể hiện bằng giá trị PIP (PIP value) của PIP đó Giá trị PIP là số nguyên dương (1, 2, 3,…) Giá trị PIP càng nhỏ thì PIP càng quan trọng.

Mức độ quan trọng của một PIP thể hiện mức độ lồi, hay nhô ra tại vị trí của PIP đó trên tổng thể tập dữ liệu Độ quan trọng càng cao thì PIP càng ở vị trí càng lồi, càng nhô ra trên tập dữ liệu và ngược lại Nói một cách khác, độ quan trọng càng cao (giá trị PIP càng nhỏ) thì PIP càng ở những vị trí quan trọng Vị trí quan trọng là những vị trí thể hiện hình dạng tổng thể (overall shape) của tập dữ liệu, thể hiện sự biến thiên hay sự dao động lên xuống (fluctuation) của tập dữ liệu.

Hình 2.10 PIPs thể hiện hình dạng tập dữ liệu

Hình 2.11 là mã giả minh họa quá trình xác địnhnPIPs từ một tập Pcó chiều dàim điểm dữ liệu [2].

Hình 2.11 Mã giả xác định n PIPs từ một tập P có chiều dài m điểm dữ liệu

Tập dữ liệu đầu vào là tập m điểm dữ liệu ban đầu: P[1 m], gọi tắt là tập điểm.

Tập dữ liệu đầu ra là tậpnPIPs:SP[1 n],gọi tắt là tập PIPs.

Ví dụ về 8 PIPs trong tập dữ liệu

Hình dáng và xu hướng chung của tập dữ liệu Giá trị PIP càng nhỏ thì PIP càng quan trọng vì nằm ở vị trí quan trọng, thể hiện tốt nhất hình dạng tổng thể và sự dao động của tập dữ liệu.

Khởi tạo: PIP đầu tiên (SP[1]) là điểm đầu tiên của tập điểm P[1],có giá trị PIP là 1 PIP cuối cùng(SP[n]) là điểm cuối cùng của tập điểm P[m], có giá trị PIP là 2.

Vòng lặp n-2 lần để xác định n-2 PIPs còn lại: một điểm dữ liệu chưa được xác định là PIP, sẽ được xác định là PIP tiếp theo khi nó là điểm có khoảng cách xa nhất đến 2 PIPs đã được xác định trước đó Giá trị PIP của PIP mới được xác định này tăng thêm 1 đơn vị tính từ giá trị PIP lớn nhất trước đó.

Hình 2.12 cho thấy quá trình xác định các PIPs theo thứ tự, bắt đầu từ 1, 2,… [1].

Hình 2.12 Quá trình xác định các PIPs Có ba loại “khoảng cách” từ một điểm đến hai PIPs trước đó:

- Khoảng cách Euclidean (Euclidean distance - ED) - Khoảng cách vuông góc (Perpendicular distance - PD) - Khoảng cách thẳng đứng (Vertical distance - VD)

Tương ứng với mỗi loại khoảng cách trên, ta có một phương pháp tìm PIP khác nhau là:

- Phương pháp PIP-ED- Phương pháp PIP-PD

2.4.1 Phương pháp thu giảm số chiều PIP-ED

Phương pháp PIP-ED sử dụng khoảng cách Euclide (euclidean distance) từ điểm đang được kiểm tra p 3 =(x 3 , y 3 ) đến hai PIPs trước đó p 1 =(x 1 , y 1 ) và p 2 =(x 2 , y 2 ).

Khoảng cách Euclid được xác định theo công thức ED(p3, p1, p2) như sau: Điểm nào có khoảng cách Euclid lớn nhất so với các điểm được kiểm tra khác sẽ trở thành PIP mới tiếp theo Hình 2.13 minh họa khoảng cách Euclid từ p3 đến hai PIP trước đó p1, p2.

Hình 2.13 Khoảng cách Euclide (a+b) từ điểm đang được kiểm tra p3 đến hai PIPs p1, p2 được xác định trước đóKhoảng cách Euclide trong trường hợp này thật ra tổng khoảng cách “theo đường chim bay” từ điểm kiểm tra đến hai PIPs trước đó:ED(p 3, p 1, p 2) = b+a.

2.4.2 Phương pháp thu giảm số chiều PIP-PD

Phương pháp PIP-PD sử dụng khoảng cách vuông góc từ giữa điểm đang được kiểm tra (test point) tới đường thẳng nối 2 PIPs trước đó Khoảng cách này được gọi là khoảng cách PD.

Khoảng cách PD từ điểm đang được kiểm tra p 3 =(x 3 , y 3 ) đến hai PIPs trước đó p 1 =(x 1 , y 1 ) và p 2 =(x 2 , y 2 ) được tính theo công thức PD(p 3 , p c ) sau đây, trong đó p c =(x c , y c ) là điểm trung gian nằm trên đoạn thẳng nối (connection) hai điểm p1 và p2: Điểm đang được kiểm tra nào có khoảng cách PD lớn nhất so với các điểm được kiểm tra khác, sẽ trở thành PIP mới tiếp theo Hình 2.14 cho thấy khoảng cách PD từ p3đến hai PIPsp1, p2trước đó.

Hình 2.14 Khoảng cách PD (d) từ điểm đang được kiểm tra p3 đến hai PIPs p1, p2 được xác định trước đó

Phương pháp PIP-VD sử dụng khoảng cách theo phương thẳng đứng (vertical distance) giữa điểm đang được kiểm tra (test point) và đường thẳng nối 2 PIPs trước đó Khoảng cách này được gọi là khoảng cách VD.

Khoảng cách VD từ điểm đang được kiểm tra p 3 =(x 3 , y 3 ) đến hai PIPs trước đó p 1 =(x 1 , y 1 ) và p 2 =(x 2 , y 2 ) được tính theo công thức VD(p 3, p c) sau đây, trong đó p c =(x c , y c ) là điểm trung gian nằm trên đoạn thẳng nối (connection) hai điểm p 1 và p 2 : Điểm đang được kiểm tra nào có khoảng cách VD lớn nhất so với các điểm được kiểm tra khác, sẽ trở thành PIP mới tiếp theo Hình 2.15 cho thấy khoảng cách VD từ p3đến hai PIPsp1, p2trước đó.

Hình 2.15 Khoảng cách VD (d) từ điểm đang được kiểm tra p3 đến hai PIPs p1, p2 được xác định trước đó

Nhận xét sơ bộ: Qua phần trình bày ba cách thức PIP-ED, PIP-PD, PIP-VD của phương pháp thu giảm số chiều PIP bên trên, chúng ta có thể có vài nhận xét như sau:

- Phương PIP-PD và PIP-VD là tương đối giống nhau.

HỆ SỐ THU GIẢM

Trong dự báo dữ liệu chuỗi thời gian, hệ số thu giảm CR (compression ratio) của toàn bộ tập dữ liệu được tính theo công thức CR Với phương pháp thu giảm theo PIP, hệ số thu giảm liên quan đến số lượng PIPs sau khi thu giảm, tương đương với số lượng PAA trong phương pháp thu giảm theo PCA.

Tiếp theo, chúng tôi trình bày hệ số thu giảm tương ứng với phương pháp thu giảm PIPs Hệ số thu giảm trong phương pháp thu giảm PAA cũng tương tự.

Nếu chỉ thu giảm xuống còn vài PIPs để biểu diễn chuỗi thời gian nguyên thủy, lỗi có thể rất lớn do sẽ làm mất hình dạng tổng quát của toàn bộ chuỗi dữ liệu ban đầu.

Còn nếu có quá nhiều PIPs thì hệ số thu giảm không cao, tương ứng với ý nghĩa việc áp dụng phương pháp thu giảm sẽ không cao Vì vậy, chúng ta cần xác định số lượng PIPs cần thiết để biểu diễn được chuỗi dữ liệu thời gian mà vẫn giữ được hình dạng tổng quát của chuỗi dữ liệu.

Hình dạng tổng quát (overal shape) của một chuỗi dữ liệu thường rơi vào một trong năm hình dạng, như Hình 2.16 sau đây [1]: Đầu và hai vai - (7 PIPs) Hai đỉnh

(7 PIPs) Đỉnh bầu (4 hoặc 5 PIPs) Đỉnh nhọn (5 PIPs)

Hình 2.16 Hình dạng thường thấy của một chuỗi dữ liệu thời gian

Hình dạng gấp khúc, lồi lõm nhiều nhất của chuỗi dữ liệu thời gian chỉ có thể chứa tối đa 7 điểm lồi hay nhô ra Do đó, việc sử dụng 7 điểm quan trọng (PIP) để mô tả hình dạng tổng quát của chuỗi dữ liệu là hợp lý và có ý nghĩa.

Hình 2.17 sau đây là một ví dụ cho thấy hình dạng tổng quát “một đầu và hai vai” của hai đoạn dữ liệu khảo sát ngắn hạn và dài hạn đều có thể được biểu diễn bằng 7 số điểm dữ liệu của chuỗi dữ liệu thời gian nguyên thủy số PIPs được dùng để biểu diễn chuỗi dữ liệu thời gian nguyên thủyCR Chương 2 Cơ sở lý thuyết 31 điểm dữ liệu Bảy điểm của đoạn khảo sát ngắn hạn được đánh dấu s (sort-term), và của đoạn khảo sát dài hạn được đánh dấu là l (long-term) [2].

Hình 2.17 Dùng 7 điểm để biểu diễn hình dạng tổng quát của một chuỗi dữ liệu ngắn hạn và dài hạn

Ngoài ra, kết quả thực nghiệm [2] cho thấy, trong các trường hợp thu giảm các chuỗi dữ liệu có kích thước 20, 30, 50, 100, 200 xuống còn 5 (PIPs), 10 (PIPs) và 15 (PIPs), thì sử dụng con số 10 (PIPs) hay nhiều hơn 10 (PIPs) đều không ảnh hưởng lên quá trình dự báo dữ liệu chuỗi thời gian Điều này có nghĩa là, trong hầu hết trường hợp, 10 điểm là đã có thể nắm bắt được hình dạng tổng quát của một chuỗi dữ liệu.

Như vậy, khi chọn hệ số thu giảm cho một chuỗi dữ liệu thời gian, cho chúng ta nên chú ý rằng 7 PIPs hay 10 PIPs có thể được dùng để biểu diễn hình dạng tổng quát của một chuỗi dữ liệu thời gian.

SO SÁNH HAI PHƯƠNG PHÁP THU GIẢM SỐ CHIỀU PIP VÀ PAA

Phần này chúng tôi so sánh phương pháp thu giảm PIP và PAA trên hai tiêu chí: tiêu chí khả năng phản ánh hình dạng tổng quát dữ liệu trước khi thu giảm và tiêu chí thời gian thu giảm dữ liệu.

Cả hai phương pháp PIP hoặc PAA đều là các phương pháp thu giảm số chiều của một tập dữ liệu Nhưng về cách thức thu giảm, đồng nghĩa với bản chất của phương pháp, chúng khác nhau khá nhiều.

Phương pháp thu giảm số chiều PIP dựa trên mức độ quan trọng của từng điểm dữ liệu Mức độ quan trọng của điểm dữ liệu có liên quan đến vị trí của điểm đó trên đồ thị biểu diễn sự biến thiên, dao động của chuỗi dữ liệu (hình dạng tổng quát): điểm đó có nằm ở vị trí gấp khúc, lồi lõm hay không, điểm đó có tham gia mạnh mẽ vào hình dáng tổng thể của chuỗi dữ liệu hay không Như vậy, khi thu giảm số chiều dữ liệu xuống còn n PIPs thìn PIPs sẽ là n điểm thể hiện tốt nhất hình dạng tổng quát của chuỗi dữ liệu trước khi thu giảm Nói một cách khác, n PIPs chỉ giữ lại hình dạng tổng quát của chuỗi dữ liệu Giá trị n càng lớn thì dữ liệu sau khi thu giảm càng thể hiện tổng quát chuỗi dữ liệu.

Phương pháp thu giảm số chiều PAA lại thu giảm dữ liệu bằng cách lấy mẫu trên n đoạn nhỏ của chuỗi dữ liệu Vì vậy kết quả sau khi thu giảm bằng phương pháp PAA vẫn thể hiện chi tiết biến thiên của toàn thể dữ liệu Giá trịncàng lớn thì dữ liệu sau khi thu giảm càng thể hiện chi tiết biến thiên của chuỗi dữ liệu.

Như vậy, chúng ta nên sử dụng phương pháp PIP khi ta muốn thu giảm dữ liệu mà vẫn giữ được hình dạng tổng quát của dữ liệu trước khi thu giảm Và chúng ta nên sử dụng phương pháp PAA khi ta muốn thu giảm dữ liệu mà vẫn giữ được chi tiết biến thiên của dữ liệu sau khi thu giảm Vì vậy, tùy vào bài toán, chúng ta nên cân nhắc, lựa chọn sử dụng phương pháp nào để thu giảm số chiều của dữ liệu.

Trong bài toán dự báo dữ liệu chuỗi thời gian dùng mô hình mạng nơron nhân tạo,dữ liệu cần dùng là dữ liệu huấn luyện mạng nơron Trong tập dữ liệu huấn luyện đó,từng điểm dữ liệu và sự biến thiên, tăng giảm giá trị dữ liệu góp phần quan trọng vào kết quả huấn luyện mạng nơron, kéo theo kết quả dự báo của mạng Mà phương pháp PAA lại có ưu điểm là vẫn giữ lại một phần chi tiết biến thiên của dữ liệu Trực

Chương 2 Cơ sở lý thuyết 33 giác cho ta thấy, sử dụng phương pháp PAA để thu giảm số chiều của tập huấn luyện sẽ tốt hơn sử dụng phương pháp PIP.

2.6.2 Theo tiêu chí thời gian thu giảm dữ liệu

Gọi N là số điểm dữ liệu trong chuỗi thời gian bất kỳ trước khi thu giảm, n là số điểm dữ liệu trong chuỗi thời gian sau khi thu giảm.

Phương pháp thu giảm số chiều PAA chia chuỗi thời gian thành n đoạn, rồi tính trung bình cộng trên từng đoạn Nếu xem thời gian một lần tính toán trung bình cộng này là 1 đơn vị thời gian, thì tổng thời gian tính toán để thu giảm xuống cònn điểm, có giá trị xấp xỉO(n).

Trong khi đó, dựa theo giải thuật được nêu ở Hình 2.11, để xác định một PIP mới thứ i (i bắt đầu từ 3), chúng ta phải tính khoảng cách VD của (N-i+1) điểm còn lại rồi so sánh các khoảng cách này Nếu xem thời gian tính khoảng cách VD của 1 điểm là 1 đơn vị thì tổng thời gian để để xác định n điểm PIP có giá trị xấp xỉ

Qua hai tiêu chí so sánh trên, ta thấy, phương pháp PIP có đặc điểm là kết quả thu giảm có khuynh hướng phản ảnh hình dạng tổng quát của chuỗi dữ liệu trước khi thu giảm; phương pháp PAA là phương pháp lấy mẫu trên từng đoạn nên kết quả thu giảm vẫn giữ được sự biến thiên, dao động chi tiết của chuỗi dữ liệu ban đầu Về thời gian tính toán, với cùng hệ số thu giảmCR=N/n thì thời gian tính toán của phương pháp PAA nhanh hơn xấp xỉO(N)lần.

Trong chương 3, chúng tôi đã trình bày lý thuyết cơ bản về mạng nơron và ứng dụng mạng nơron vào công tác dự báo dữ liệu chuỗi thời gian; các phương pháp thu giảm số chiều PAA và PIP Đây là lý thuyết nền tảng để chúng tôi đưa ra những ý tưởng cho việc kết hợp mạng nơron với các phương pháp thu giảm số chiều, sẽ được trình bày ở các chương tiếp theo.

KẾT HỢP MẠNG NƠRON NHÂN TẠO VỚI CÁC PHƯƠNG PHÁP

THÀNH PHẦN CỦA MẠNG NƠRON ĐƯỢC KẾT HỢP VỚI PHƯƠNG PHÁP

3.1 THÀNH PHẦN CỦA MẠNG NƠRON ĐƯỢC KẾT HỢP VỚI PHƯƠNG PHÁP THU GIẢM SỐ CHIỀU

Thu giảm số chiều là phương pháp được áp dụng trên tập dữ liệu huấn luyện để giảm kích thước của dữ liệu, từ đó cải thiện hiệu quả huấn luyện của mạng nơron nhân tạo Trong thu giảm số chiều, có hai khả năng chính được sử dụng: áp dụng phép chiếu trực giao (ví dụ như PCA) hoặc sử dụng kỹ thuật học sâu tự động (ví dụ như mạng autoencoder).

Một là,thu giảm số chiều của toàn bộ chuỗi dữ liệu thời gian ban đầu Ví dụ, chuỗi thời gian ban đầu có 1000 điểm, được thu giảm còn 100 PIPs hay 100 PAA, hệ số thu giảmCRlà 1000/100.

Trong trường hợp này, chúng ta cần so sánh mạng nơron không có kết hợp phương pháp thu giảm số chiều nào và mạng nơron có kết hợp Hai thông số của mạng cần được so sánh là chỉ số lỗi RMSE của quá trình huấn luyện và khả năng dự báo của mạng nơron.

Hai là,ta thu giảm số chiều trên chuỗi dữ liệu được dùng làm cửa sổ trượt trong quá trình huấn luyện nơron Điều này có nghĩa là, trước khi cós điểm dữ liệu được đưa vào cửa sổ trượt w có chiều dài s, ta sẽ dùng một cửa sổ trượt ảo w’ có chiều dài y rộng hơn cửa sổ trượt w (y>s) Như vậy, dữ liệu trong cửa sổ ảo w’ là dữ liệu dài hơn, chứa đựng nhiều thông tin hơn, dài hạn hơn trong quá khứ so với dữ liệu trong cửa sổ trượt thậtwcủa mạng nơron.

Chương 3 Kết hợp mạng nơron nhân tạo với các phương pháp thu giảm số chiều 35

Tiếp theo, ta thu giảm số chiều chuỗi dữ liệu trong cửa sổ trượt ảo w’, từ y điểm xuống còn sđiểm, tương ứng hệ số thu giảm y/s.S điểm còn lại sau khi thu giảm sẽ được dùng là chuỗi dữ liệu trong cửa sổ trượt thật w Phần tiếp theo vẫn không thay đổi so với quá trình huấn luyện mạng nơron thông thường. Ý nghĩa của việc thu giảm thứ hai này là, thay vì chỉ sử dụngs thông tin trong quá khứ (tức là chuỗi dữ liệu s điểm x t-s+1 , …, x t-1, x t ) để dự báo x t+1 thì ta được nhiều thông tin trong quá khứ hơn (y điểm, y>s), mức độ tổng quát thông tin trong cửa sổ trượt cao hơn, tránh được thông tin dữ liệu cục bộ nhiều hơn, mà không cần thay đổi kích thước cửa sổ trượt thật w Việc không cần thay đổi kích thước cửa sổ trượt thật wtương đương với việc ta có thể chọn cấu hình mạng nơron (cụ thể là số nốt nhập) theo ý muốn.

Một vấn đề cần lưu ý là dữ liệu trong cửa sổ trượt w là dữ liệu phân bố đều theo thời gian, nghĩa là chu kỳ lấy điểm dữ liệu là hằng ngày, hàng tháng, hàng năm, hoặc theo một chu kỳcnào đó Đối với phương pháp thu giảm số chiều PAA, kết quả thu giảm là các điểm PAA là chuỗi dữ liệu phân bố đều theo thời gian Trong khi đó, chuỗi dữ liệu là kết quả thu giảm số chiều theo phương pháp PIP lại có khả năng phân bố không đều theo thời gian, do tính chất biểu diễn hình dạng tổng quát của chúng Để đưa chuỗi dữ liệu kết quả sau khi thu giảm theo phương pháp PIP này vào cửa sổ trượt w (phân bố đều), ta phải xem chuỗi này là phân bố đều Điều này có khả năng làm giảm chất lượng huấn luyện so với thu giảm bằng phương pháp PAA.

Tuy nhiên, tại sao chúng ta không tăng kích thước cửa sổ trượt để có được dữ liệu khảo sát dài hơn? Đó là vì việc tăng hay giảm kích thước cửa sổ trượt (đồng nghĩa với việc thay đổi số nốt nhập) để có mạng nơron tốt nhất là phạm vi nghiên cứu về cấu hình mạng nơron tốt nhất Trong khi đó, mục tiêu của bài luận này là so sánh kết quả giữa phương pháp có và không kết hợp phương pháp thu giảm số chiều với mạng nơron.

Hình 3.1 Thu giảm cửa sổ trượt ảo w’ thành cửa sổ trượt thật w

Trong luận văn này, chúng tôi sẽ so sánh cả hai cách kết hợp nêu trên, áp dụng cả hai phương pháp thu giảm số chiều PIP-VD và PAA để thu giảm số chiều trên tập dữ liệu của mạng nơron, rồi tính toán hệ số lỗi RMSE của quá trình huấn luyện và khả năng dự báo của mạng nơron thông qua chỉ số lỗi RMSE của quá trình kiểm tra, với mục đích rút ra nhận xét về hiệu quả kết hợp mạng nơron và các phương pháp thu giảm số chiều.

SO SÁNH HAI KHẢ NĂNG KẾT HỢP MẠNG NƠRON VỚI PHƯƠNG PHÁP

Trong phần trước, chúng tôi đã trình bày hai khả năng kết hợp các phương pháp thu giảm số chiều của mạng nơron Trong phần này, chúng tôi so sánh hai khả năng kết hợp này.

GọiN là số điểm trong tập dữ liệu nguyên thủy, chưa thu giảm, được sử dụng ban đầu trong cả hai khả năng kết hợp Gọi n là số điểm dữ liệu trong kết quả thu giảm

Thu giảm số chiều theo phương pháp PIP Cửa sổ trượt ảow, chiều dàiy

Cửa sổ trượt ảow’, sau khi thu giảm từ y xuốngsđiểm

Chương 3 Kết hợp mạng nơron nhân tạo với các phương pháp thu giảm số chiều 37 bằng cách thu giảm thứ 1 Trong cách thu giảm thứ 2, gọi y là kích thước dữ liệu trược thu giảm của cửa sổ trượt (kích thước cửa sổ ảo), s là kích thước sau khi thu giảm (cửa sổ trượt thật). Ở cách 1, như cách thức đã trình bày ở mục 2.6.2, thời gian thu giảm tập dữ liệu nguyên thủy của phương pháp PIP làO(n).O(N),của phương pháp PAA làO(n).

Trong quá trình huấn luyện mạng, cón-s+1cửa sổ trượt Số cửa sổ trượt tương ứng với số lần tính toán ra điểm dữ liệux t+1 và số lần tính toán giá trị cập nhật trọng số.

Nếu xem số lần tính toán ra điểm dữ liệu x t+1 và số lần tính toán giá trị cập nhật trọng số là 1 đơn vị thời gian thì tổng thời gian tính toán trong quá trình huấn luyện xấp xỉ (n-s+1), tương đương O(n) Vậy tổng thời gian thu giảm và huấn luyện của cách này này là:

Bảng 3.1 Bảng ước lượng thời gian tính toán trong cách kết hợp thứ nhất Phương pháp thu giảm

Thời gian tính toán để thu giảm

Thời gian tính toán trong quá trình huấn luyện

Tổng thời gian tính toán

Qua Bảng 3.1 chúng ta thấy thời gian dùng phương pháp PIP sẽ có thể lâu hơn phương pháp PAAO(N)/2 lần. Ở cách 2, trong quá trình huấn luyện mạng, cóN-y+1cửa sổ trượt Như cách thức đã trình bày ở mục 2.6.2, nếu thu giảm cửa sổ trượt từ y xuống s điểm bằng phương pháp PIP, thì mỗi cửa sổ trượt ảo mấtO(s).O(y) phép tính toán Vậy tổng thời gian thu giảm bằng phương pháp PIP là(N-y+1).O(s).O(y),tương đươngO(N).O(s).O(y).

Tương tự, nếu thu giảm bằng phương pháp PAA, tổng thời gian thu giảm là (N- y+1).O(s), tương đương O(N).O(s) với số lần tính toán ra điểm dữ liệu x t+1 và số lần tính toán giá trị cập nhật trọng số.

Nếu xem số lần tính toán ra điểm dữ liệux t+1 và số lần tính toán giá trị cập nhật trọng số là 1 đơn vị thời gian thì tổng thời gian tính toán trong quá trình huấn luyện xấp xỉ

N-y+1, tương đươngO(N) Vậy tổng thời gian thu giảm và huấn luyện của cách này này là:

Bảng 3.2 Bảng ước lượng thời gian tính toán trong cách kết hợp thứ hai Phương pháp thu giảm

Qua Bảng 3.2, chúng ta thấy thời gian dùng phương pháp PIP sẽ có thể lâu hơn phương pháp PAAO(y)lần.

Như vậy, ta có bảng so sánh thời gian tính toán tổng hợp của hai cách như Bảng 3.3.

Bảng 3.3 Bảng so sánh thời gian tính toán trong hai cách kết hợp

Qua Bảng 3.3, nếu chúng ta dùng phương pháp PAA, thì thời gian tính toán ở cách kết hợp 2 lớn hơn thời gian tính toán ở cách kết hợp 1 Nếu dùng phương pháp PIP,thì sự khác biệt thời gian phụ thuộc vàoO(n)vàO(s).O(y).

Chương 3 Kết hợp mạng nơron nhân tạo với các phương pháp thu giảm số chiều 39

Sau khi xác định và phân tích hai khả năng kết hợp các phương pháp thu giảm số chiều của mạng nơron, vấn đề tiếp theo là nên thu giảm dữ liệu bao nhiêu lần, có nghĩa là hệ số thu giảm nên là bao nhiêu.

HỆ SỐ THU GIẢM

Fu và các cộng sự đã thực nghiệm thu giảm các chuỗi dữ liệu thời gian có chiều dài 20, 30, 50, 100, 200 xuống còn 5, 10 hay 15 điểm dữ liệu bằng phương pháp PIP [2].

Theo đó, hiệu quả thu giảm xuống 10 điểm hoặc nhiều hơn 10 điểm dữ liệu là như nhau Vậy ta chỉ còn quan tâm đến việc thu giảm xuống còn 10 điểm dữ liệu mà thôi.

Ngoài ra, đối với chuỗi dữ liệu dài 20, 30 điểm thì hiệu quả thu giảm xuống 10 điểm, tương ứng hệ số thu giảm 2, 3 không cao, so với việc thu giảm chuỗi dữ liệu dài 50, 100, 200 điểm xuống còn 10 điểm, tương ứng với hệ số thu giảm 5, 10, 20.

Tham khảo kết quả này, chúng tôi đề xuất thử nghiệm thu giảm số chiều trên tập dữ liệu của mạng nơron với hệ số thu giảm là 2, 5, 10 và 20, nhằm mục đích so sánh hiệu quả thu giảm khi kết hợp mạng nơron với các phương pháp thu giảm số chiều.

Trong Chương 3, nghiên cứu trình bày hai cách kết hợp mạng nơron nhân tạo (ANN) với các phương pháp thu giảm số chiều Chúng bao gồm thu giảm số chiều trên toàn bộ dữ liệu của ANN và thu giảm số chiều của dữ liệu được sử dụng làm cửa sổ trượt trong quá trình huấn luyện ANN Nghiên cứu cũng đề xuất một số hệ số thu giảm khác nhau để so sánh Tiếp theo, Chương 4 hiện thực hóa các ý tưởng này bằng chương trình để đánh giá hiệu suất của chúng.

HIỆN THỰC VÀ THỬ NGHIỆM

SƠ ĐỒ CHƯƠNG TRÌNH

Chương trình đư ợc lập trình bằng Microsoft Visual C# 2010, NET Framework 4.5, với cấu hình máy là bộ vi xử lý Intel Core 2 CPU T5500 1.66GHz, bộ nhớ 2G RAM.

Chương trình có ba mô đun chính: mô đun thu giảm số chiều theo phương pháp PIP hoặc PAA, mô đun huấn luyện mạng nơron, mô đun kiểm tra kết quả huấn luyện.

Hình 4.1 là sơ đồ tổng quát mô tả các mô đun chính (tô đậm và tô nhạt) của chương trình, hai quá trình xử lý dữ liệu trong mạng nơron theo hai cách kết hợp mạng nơron với các phương pháp thu giảm số chiều, tương ứng với hai khối lớn trong sơ đồ: khối bên trái và bên phải.

“File dữ liệu” là các tập dữ liệu ban đầu được dùng trong quá trình huấn luyện và quá trình thử của mạng nơron.

Nếu sử dụng phương pháp thu giảm số chiều để thu giảm tập dữ liệu huấn luyện ban đầu, tương ứng với cách kết hợp thứ nhất, quá trình xử lý giống như khối bên trái của sơ đồ.

Nếu thu giảm dữ liệu cửa sổ trượt bằng phương pháp thu giảm số chiều, thì quá trình xử lý sẽ tương tự khối bên phải Còn nếu thu giảm bằng cách kết hợp phương pháp 1 thì dữ liệu sẽ được mô đun thu giảm số chiều xử lý theo phương pháp PIP hoặc PAA và lưu tự động thành một file.

Chương 4 Hiện thực và thử nghiệm 41 mới đã được thu giảm số chiều Sau đó file dữ liệu đã được thu giảm sẽ được dùng như file dữ liệu đầu vào của mạng nơron Tiếp theo quá trình huấn luyện được thực hiện bởi mô đun Huấn luyện mạng nơron. Đối với cách 2 (khối bên phải sơ đồ), khác với cách 1, file dữ liệu vẫn không có gì thay đổi, nó vẫn là tập dữ liệu đầu vào của mô đun huấn luyện mạng Quá trình huấn luyện được bắt đầu với cửa sổ trượt ảo w’, sau đó cửa sổ trượt ảo sẽ được thu giảm bằng mô đun “thu giảm theo phương pháp PIP hoặc PAA” thành cửa sổ trượt thật w Quá trình xử lý dữ liệu sau đó vẫn được thực hiện như bình thư ờng trong mô đun huấn luyện mạng nơron.

Cuối cùng, chương trình rút trích kết quả tính toán các hệ số RMSE và lưu vào một file kết quả là Report.xls.

Hình 4.1 Sơ đồ xử lý dữ liệu trong chương trình

Chương 4 Hiện thực và thử nghiệm 43

GIAO DIỆN VÀ CÁCH SỬ DỤNG

Chương trình thực nghiệm chỉ có một giao diện, tích hợp nhiều thành phần, tương ứng với cách kết hợp thứ nhất và thứ hai đã được trình bày trong chương 3.

Hình 4.2 Toàn bộ giao diện của chương trình

Các bước sử dụng chương trình để tính toán và xuất ra các chỉ số RMSE của quá trình huấn luyện và kiểm tra được thực hiện theo thứ tự sau đây.

4.2.1 Nạp file dữ liệu vào chương trình Để nạp các file dữ liệu vào chương trình để tính toán, chúng ta theo các bước sau:

- Bấm nút Brower để mở thư mục chứa các file dữ liệu:

Hình 4.3 Giao diện dùng để mở thư mục chứa các file dữ liệu - Chọn các file trong thư mục và bấm Open:

Hình 4.4 Giao diện thư mục chứa các file dữ liệu để nạp vào chương trình

Các file dữ liệu được đưa vào “cửa sổ nạp file dữ liệu” ngay bên dưới, cùng với một số thông số mặc định được khai báo sẵn ở khung “ANN” và khung “thu giảm số chiều”.

Hình 4.5 Cửa sổ nạp file dữ liệu vào chương trình

Cửa sổ nạp các file dữ liệu

4.2.2 Nhập các thông số để huấn luyện và chọn phương pháp thu giảm số chiều

Trước khi nhập các thông số, cần phải lựa chọn một hoặc nhiều file dữ liệu trong "cửa sổ nạp file dữ liệu" mà bạn muốn cập nhật thông số Các file được chọn sẽ hiển thị với màu xanh lam.

Hình 4.6 Các file được chọn (tô xanh) để cập nhật thông số

- Nhập các thông số để huấn luyện mạng nơron trong khung “ANN”: các giá trị có sẵn từ ban đầu là giá trị mặc định Nếu ta muốn thay đổi các giá trị mặc định, ta cần nhập lại giá trị mới vào các ô tương ứng.

Hình 4.7 Khung ANN dùng để chọn các thông số huấn luyện mạng nơron

- Chọn các phương pháp thu giảm số chiều trong khung “Thu giảm số chiều”: Đối với cách kết hợp thứ nhất là thu giảm số chiều trên tập dữ liệu ban đầu: đánh dấu vào ô “Tạo file PIP” hoặc “Tạo file PAA” để thu giảm các file đang hiện diện trong

“cửa sổ nạp file dữ liệu” theo phương pháp PIP hoặc PAA và tạo file kết quả thu giảm vào cùng thư mục với thư mục gốc của các file dữ liệu ban đầu.

Các file kết quả thu giảm sẽ được xem là file dữ liệu thực thụ dành cho quá trình huấn luyện mạng nơron.

Nhập hệ số thu giảm vào ô bên cạnh ô “hệ số thu giảm”, tương ứng với từng phương pháp PIP hoặc PAA.

Hình 4.8 Giao diện để chọn phương pháp thu giảm và hệ số thu giảm cho cách kết hợp thứ nhất Đối với cách kết hợp thứ hai là thu giảm số chiều tập dữ liệu dùng làm cửa sổ trượt: đánh dấu vào ô tùy chọn “Theo phương pháp PIP” hoặc “Theo phương pháp PAA” để chọn phương pháp thu giảm tương ứng.

Tiếp theo, nhập kích thước cửa sổ trượt vào ô bên cạnh phương pháp PIP hay PAA.

Kích thước cửa sổ trượt (s) sẽ bằng số nốt nhập của mạng nơron.

Chọn ô “Không sử dụng phương pháp thu giảm số chiều nào” nếu không muốn áp dụng việc thu giảm Thông thường, ta chọn thông số này để áp dụng cho file dữ liệu ban đầu, với mục đích so sánh hệ số lỗi giữa việc có và không có áp dụng phương pháp thu giảm số chiều.

Hình 4.9 Giao diện để chọn phương pháp thu giảm và hệ số thu giảm cho cách kết hợp thứ hai

Sau khi chọn các thông số cần thiết, ta bấm nút “Set” để cập nhật thông số cho các file được chọn (được tô đậm màu xanh dương) trong “cửa sổ nạp file dữ liệu”.

4.2.3 Xuất và lưu kết quả tính toán

Kết quả tính toán các chỉ số lỗi RMSE sẽ được lưu trong bảng dưới cùng của giao diện chương trình Một hàng trong bảng kết quả này là các kết quả tính toán chỉ số lỗiRMSE của file dữ liệu “file name”:

- Kết quả RMSE trong quá trình huấn luyện mạng nơron có kết hợp phương pháp PIP, tương ứng cột “RMSE Training-PIP”.

- Kết quả RMSE trong quá trình huấn luyện mạng nơron có kết hợp phương pháp PAA, tương ứng cột RMSE Training-PAA.

- Kết quả RMSE trong quá trình kiểm tra của mạng nơron có kết hợp phương pháp PIP, tương ứng cột RMSE Testing-PIP.

- Kết quả RMSE trong quá trình kiểm tra của mạng nơron có kết hợp phương pháp PAA, tương ứng cột RMSE Testing-PIP.

Ngoài ra, ta có thể lưu các kết quả RMSE vào file excel và chọn thư mục để lưu bằng cách bấm vào nút “Browse”, chọn thư mục cần lưu file Sau đó, bấm nút “Report” để xuất và lưu tự động file kết quả Tên file kết quả được mặc định là Report.xls.

Hình 4.10 Giao diện bảng chứa kết quả tính toán các thông số RMSE

Chương trình sẽ hỏi chúng ta có muốn thay thế kết quả vừa tính toán lên file Report.xls có trước đó hay không Chọn “Yes” nếu muốn Chọn “No” nếu không muốn.

Bấm nút “Cancel” ở dưới cùng để thoát chương trình.

Chúng tôi vừa trình bày cấu trúc chương trình và giao diện chương trình dùng để tính toán các hệ số lỗi trong các trường hợp khác nhau khi kết hợp mạng nơron và các phương pháp thu giảm số chiều Sau đây, chúng tôi sẽ trình bày cụ thể phương pháp

Thư mục chứa file kết quả

Report.xls Bảng chứa kết quả tính toán các chỉ số RMSE các kết quả tính toán các chỉ số.

Hình 4.11 Giao diện để lựa chọn việc lưu kết quả tính toán

PHƯƠNG PHÁP THỰC NGHIỆM

Chúng tôi sử dụng phương pháp so sánh hệ số lỗi RMSE của quá trình huấn luyện và kiểm tra của mạng nơron trong nhiều trường hợp khác nhau, để đánh giá mức độ hiệu quả của việc kết hợp mạng nơron với các phương pháp thu giảm số chiều.

Các trường hợp khác nhau cần phải so sánh đó là tổ hợp các trường hợp, hay là các thông số, có thể có của mạng nơron và phương pháp thu giảm số chiều PIP hoặc PAA.

Ngoài ra, các trường hợp cần so sánh bao gồm trường hợp áp dụng phương pháp thu giảm số chiều trên dữ liệu nào của mạng nơron Như đã trình bày vấn đề kết hợp này trong chương 3, có hai cách kết hợp tương ứng với hai dữ liệu khác nhau của mạng nơron: (1) áp dụng phương pháp thu giảm số chiều trên tập dữ liệu ban đầu, rồi sử dụng

Chương 4 Hiện thực và thử nghiệm 49 tập dữ liệu đã thu giảm làm tập dữ liệu ban đầu của mạng nơron, (2) áp dụng phương pháp thu giảm số chiều trên tập dữ liệu dùng làm dữ liệu đầu vào của cửa sổ trượt trong quá trình huấn luyện mạng nơron.

Sau đây chúng tôi trình bày cụ thể các thông số cần thiết của mạng nơron và hệ số thu giảm của các phương pháp thu giảm số chiều.

Có nhiều cấu hình mạng nơron đã được nghiên cứu là sử dụng hiệu quả trong bài toán dự báo chuỗi thời gian như: 8-8-1, 6-6-1, 5-5-1 [3].

Trong phần thực nghiệm, chúng tôi sử dụng mạng nơron có cấu hình 8-8-1 là chủ yếu.

Hàm hoạt tính được sử dụng là hàm sigmod.

4.3.2 Các thông số trong quá trình huấn luyện mạng nơron Giải thuật huấn luyện

Như đã trình bày trong chương 1, giải thuật huấn luyện mạng nơron RPROP có ưu điểm là giải thuật huấn luyện không dựa vào kinh nghiệm của người sử dụng như giải thuật lan truyền ngược hoặc giải thuật lan truyền ngược kết hợp momentum Vì vậy, chúng tôi chọn giải thuật huấn luyện RPROP để huấn luyện mạng nơron trong đề tài này.

Các thông số huấn luyện của giải thuật huấn luyện RPROP

Giá trị khởi tạo trọng số kết nối là 0.1 Giá trị cập nhật trọng số lớn nhất là ∆ max = 50.0 (maximum update value), nhỏ nhất là ∆ min -6 , giá trị cập nhật trọng số được mặc định là 0.1 Hệ số giảm ŋ - là 0.5 Hệ số tăng ŋ + là 1.2 Số lần huấn luyện epoch tối đa được mặc định là 200.

Tập dữ liệu huấn luyện và kiểm tra

Tập dữ liệu ban đầu dùng cho mạng nơron được chia thành hai tập dữ liệu: tập dữ liệu huấn luyện và tập dữ liệu kiểm tra, với tỉ lệ mặc định là 90% dữ liệu ở đầu tập dữ liệu được dùng để huấn luyện và 10% dữ liệu ở sau tập dữ liệu được dùng để kiểm tra.

Kết hợp những số liệu trong phần này và phần so sánh ba phương pháp PIP bên trên, trong phần thực nghiệm, chúng tôi sẽ sử dụng hệ số thu giảm 2, 5, 10, 20.

4.3.4 Đánh giá hiệu quả huấn luyện và khả năng dự báo của mạng nơron trong các trường hợp

Trong nghiên cứu này, mục tiêu chính là đo lường hiệu quả khi kết hợp mạng nơ-ron nhân tạo với các kỹ thuật giảm chiều Khả năng dự đoán của mạng nơ-ron được đánh giá bằng hệ số lỗi RMSE của quá trình kiểm tra để so sánh kết quả dự báo giữa các trường hợp có và không sử dụng các phương pháp giảm chiều.

Ngoài ra, chúng tôi cũng đánh giá hệ số lỗi RMSE của quá trình huấn luyện mạng nơron trong các trường hợp có và không có kết hợp các phương pháp thu giảm số chiều Chúng tôi đặc biệt quan tâm hệ số này trong việc thu giảm số chiều trên dữ liệu dùng làm dữ liệu cửa sổ trượt.

DỮ LIỆU THỰC NGHIỆM

Trong phần thực nghiệm, chúng tôi sử dụng 6 bộ dữ liệu chuỗi thời gian khác nhau về lĩnh vực, kích thước và kiểu thành phần Những bộ dữ liệu này được thu thập từ DataMarket và Cổ phiếu 68, được xử lý định dạng và tiền xử lý trước khi sử dụng trong thí nghiệm.

Bảng 4.1 Các bộ dữ liệu thực nghiệm

Tiếp theo đây, từ Hình 4.12 đến Hình 4.17 là đồ thị biểu diễn giá trị của các bộ dữ liệu thực nghiệm bên trên.

Hình 4.12 Đồ thị biểu diễn dữ liệu Treasury

# Tên dữ liệu Kích thước

1 Treasury 180 Xu hướng xuống Kinh tế Ngân quỹ hàng năm của quốc gia

2 Pay roll 207 Bất thường Xã hội Lương trung bình hàng tháng của ngành truyền thông

3 Sales 301 Bất thường, biến động phức tạp

Kinh doanh Chỉ số tăng giảm doanh thu hàng tháng 4 VNINDEX 2906 Bất thường, biến động phức tạp

Chỉ số chứng khoán VNINDEX mỗi ngày 5 Exchange Rate 4773 Bất thường Tài chính Tỉ giá trao đổi ngoại tệ EUR/USD mỗi ngày

6 Memory 6210 Bất thường, biến động phức tạp

Hình 4.13 Đồ thị biểu diễn dữ liệu Pay roll

Hình 4.14 Đồ thị biểu diễn dữ liệu Sales

Hình 4.15 Đồ thị biểu diễn dữ liệu VNINDEX

Hình 4.16 Đồ thị biểu diễn dữ liệu Exchange Rate

Hình 4.17 Đồ thị biểu diễn dữ liệu Memory

KẾT QUẢ THỰC NGHIỆM VÀ NHẬN XÉT

Mạng nơ-ron nhân tạo đã được kết hợp thử nghiệm với các phương pháp giảm chiều khác nhau để tạo ra nhiều trường hợp khác nhau, bao gồm:

 Giải thuật huấn luyện mạng nơron là giải thuật RPROP với các thông số huấn luyện: Giá trị khởi tạo trọng số kết nối là 0.1 Giá trị cập nhật trọng số lớn nhất là ∆ max = 50.0 (maximum update value), nhỏ nhất là ∆ min -6 , giá trị cập nhật trọng số được mặc định là 0.1 Hệ số giảm ŋ - là 0.5 Hệ số tăng ŋ + là 1.2 Số lần huấn luyện epoch tối đa được mặc định là 200.

 Có kết hợp phương pháp thu giảm số chiều PIP-VD và PAA trong cả hai trường hợp: thu giảm trên tập dữ liệu chuỗi thời gian và thu giảm trên chuỗi dữ liệu (subsequence) dùng làm cửa sổ trượt trong quá trình huấn luyện mạng nơron.

 Hệ số thu giảm được thử nghiệm bao gồm: 2, 5, 10, 20.

 Cuối cùng, so sánh khả năng dự báo của mạng nơron trong từng trường hợp cụ thể thông qua chỉ số RMSE của quá trình kiểm tra, đồng thời so sánh hệ số lỗi RMSE của quá trình huấn luyện mạng nơron.

Chúng tôi sẽ chia thành 2 phần thử nghiệm rõ rệt tương ứng với 2 khả năng kết hợp các phương pháp thu giảm số chiều vào mạng nơron:

 Phần 1 tương ứng với khả năng kết hợp thứ nhất, là thu giảm số chiều trên 6 tập dữ liệu, rồi dùng 6 tập kết quả thu giảm làm dữ liệu huấn luyện mạng nơron theo giải thuật huấn luyện RPROP truyền thống.

 Phần 2 là vẫn dùng 6 tập dữ liệu ban đầu để huấn luyện mạng nơron, nhưng dữ liệu dùng làm cửa sổ trượt để huấn luyện mạng là kết quả thu giảm số chiều từ một chuỗi dữ liệu có kích thước lớn hơn kích thước cửa sổ trượt.

Kết quả thực nghiệm được trình bày dưới dạng bảng so sánh Ví dụ bảng so sánh trong Bảng 4.2 dưới đây so sánh trên cùng tập dữ liệu Treasury, hệ số thu giảm 1 (không thu giảm) và 2, trong hai trường hợp kết hợp phương pháp PIP hoặc PAA. Để giúp việc đưa ra nhận xét sau khi có kết quả tính toán được gãy gọn và tập trung vào ý chính, sau đây chúng tôi sẽ gọi tắt:

 Mạng nơron không có kết hợp phương pháp thu giảm nào là ANN

 Mạng nơron có kết hợp phương pháp thu giảm PIP là ANN-PIP

 Mạng nơron có kết hợp phương pháp thu giảm PAA là ANN-PAA

 Chỉ số lỗi RMSE của quá trình huấn luyện ANN là RMSE-Train-ANN

 Chỉ số lỗi RMSE của quá trình huấn luyện ANN-PIP là RMSE-Train-ANN-PIP

 Chỉ số lỗi RMSE của quá trình huấn luyện ANN-PAA là RMSE-Train-ANN-

 PAAKhả năng dự báo của ANN là RMSE-Test-ANN

 Khả năng dự báo của ANN-PIP là RMSE-Test-ANN-PIP

 Khả năng dự báo của ANN-PAA là RMSE-Test-ANN-PAA.

Các chỉ số RMSE cần so sánh và đánh giá là: RMSE-Train-ANN-PIP, RMSE-Test-ANN-PIP, RMSE-Train-ANN-PAA, RMSE-Test-ANN-PAA

Bảng 4.2 Ví dụ bảng so sánh RMSE trong nhiều trường hợp khác nhau

Tập dữ liệu Hệ số thu giảm ANN-PIP ANN-PAA

RMSE-Train- ANN-PIP RMSE-Test-

Trong một hàng, thông số RMSE được in đậm hơn là RMSE tốt hơn (giá trị RMSE nhỏ hơn) giữa ANN-PIP và ANN-PAA.

Trong một hàng, RMSE càng thấp thì mô hình càng tốt hơn Khi so sánh mô hình ANN kết hợp với tiền xử lý PIP (ANN-PIP) với mô hình ANN thì ANN-PIP có RMSE thấp hơn Tương tự, khi so sánh mô hình ANN kết hợp với tiền xử lý PAA (ANN-PAA) với mô hình ANN thì ANN-PAA cũng có RMSE thấp hơn.

Trường hợp mạng nơron không áp dụng bất kỳ phương pháp thu giảm nào được coi là "không thu giảm" Đây sẽ là điểm tham chiếu để so sánh với các trường hợp có sử dụng phương pháp thu giảm Hàng tương ứng với hệ số thu giảm "không thu giảm" được in bằng chữ thường, còn các hàng cần so sánh với hàng này được in nghiêng.

4.5.1 Kết quả thực nghiệm khả năng kết hợp thứ nhất

Bảng 4.3 là kết quả thực nghiệm của khả năng kết hợp thứ nhất, là khả năng thu giảm số chiều trên tập dữ liệu dùng để huấn luyện mạng nơron.

Bảng 4.3 Kết quả RMSE của khả năng kết hợp thứ nhất, với nhiều tập dữ liệu khác nhau

Nhận xét và phân tích kết quả tập Treasury

Kết quả RMSE khi dùng tập dữ liệu Treasury được nêu trong Bảng 4.4.

Bảng 4.4 Kết quả RMSE khi dùng tập dữ liệu Treasury

10 335.683 0.205 316.002 0.020 Ở trường hợp này, tập Treasury là tập nhỏ, có 180 điểm dữ liệu, biến thiên khá nhiều ở mức độ chi tiết.

RMSE-Train-ANN-PAA tỏ ra tốt hơn RMSE-Train-ANN-PIP trong việc huấn luyện do khả năng biểu diễn sự biến thiên chi tiết dữ liệu của PAA tốt hơn PIP Kết quả và sự giải thích cũng tương tự đối với giai đoạn kiểm tra của mạng nơron ( RMSE-Test-ANN-PAA đa số tốt hơn RMSE-Test-ANN-PIP ).

So với ANN, thì ANN-PAA lại cho kết quả dự báo tốt hơn ( RMSE-Test-ANN-PAA nhỏ hơn) Điều này có thể là do tập Treasury là tập có thành phần xu hướng nên PAA vẫn phản ánh được hình dạng tổng quát của dữ liệu mà không cần nhiều điểm, tương ứng với hệ số thu giảm cao là 5 và 10.

Nhận xét chung trong trường hợp tập dữ liệu nhỏ này là: ANN-PAA huấn luyện và dự báo tốt hơn ANN-PIP ANN-PAA dự báo tốt hơn ANN.

Nhận xét và phân tích kết quả tập Payroll

Kết quả RMSE khi dùng tập dữ liệu Pay roll được nêu trong Bảng 4.5.

Bảng 4.5 Kết quả RMSE khi dùng tập dữ liệu Pay roll

Tập dữ liệu Hệ số thu giảm

10 443.236 0.295 466.506 0.157 thiên ở mức độ chi tiết nhưng biến thiên rõ nét ở mức độ tổng quát.

RMSE-Train-ANN-PIP cho thấy hiệu suất huấn luyện vượt trội hơn nhờ khả năng biểu diễn hình dạng dữ liệu tổng quát của PIP vượt trội so với PAA Những phát hiện tương tự cũng được quan sát thấy trong giai đoạn kiểm tra của mạng nơron nhân tạo.

Ngoài ra, ở hệ số thu giảm cao (5 và 10), tương ứng với việc dùng ít điểm dữ liệu hơn để biểu diễn hình dạng tổng quát của dữ liệu, thì phương pháp PIP càng thể hiện ưu thế tổng quát hóa của mình.

Tiêu đề	Kết hợp mạng nơron và phương pháp thu giảm số chiều trong công tác dự báo dữ liệu chuỗi thời gian
Tác giả	Phan Thị Bảo Trân
Người hướng dẫn	PGS. TS. Dương Tuấn Anh
Trường học	Đại học Quốc gia TP.HCM
Chuyên ngành	Khoa học máy tính
Thể loại	Luận văn thạc sĩ
Năm xuất bản	2012
Thành phố	TP. Hồ Chí Minh

Định dạng
Số trang	81
Dung lượng	1,66 MB