Luận văn thực hiện huấn luyện ba lần với cấu hình các tham số khác nhau, các tham số này cần kiểm nghiệm thực tế để đạt được chỉ số đánh giá RMSE mong muốn.
a. Lần một
Theo [9] khuyến nghị, nút ẩn (Hidden) cố định cả ba lần được khởi tạo với giá trị F = 100, bộ phim M (movie) = 17765, K (số lượng rating (1->5)) = 5. Riêng các giá trị sau thì thay đổi:
Tốc độ học (learning rate) learningRate = 0.01, momentum = 0.5, wDecay (weight decay) = 0.00002, số lượng epoch numberOfEpoch = 20. Hình 3.7 là nội dung file cấu hình.
Hình 3-8: Kết quả chỉ số RMSE thu được lần một
Chuyển đổi giá trị từ hình 3.8 sang đồ thị để có đánh giá bao quát hơn hình 3.9
Hình 3.8 là kết quả đánh giá sai số RMSE của giải thuật RBM. Ta thấy, từ epoch 0 đến epoch 8 RMSE có xu hướng giảm từ 1.372... giảm đến 0.899 .... Tuy nhiên, từ epoch 9 đến hết epoch 20 thì chỉ số RMSE lại tăng từ 0.900... đến 0.944 ... (hình 3.9) chứng tỏ rằng giải thuật dự đoán chưa chính xác với các tham số lần 1 được truyền vào.
b.Lần hai
Tốc độ học (learning rate) learningRate = 0.001, momentum = 0.5, wDecay (weight decay) = 0.00002, số lượng epoch numberOfEpoch= 20. Hình 3.10 là nội dung file cấu hình.
Hình 3-11: Kết quả dữ liệu kiểm tra (validation set) RMSE thu được lần hai
Chuyển đổi giá trị từ hình 3.11 sang đồ thị để có cái đánh giá bao quát hơn hình 3.12
Hình 3.11 là kết quả đánh giá sai số RMSE được biểu diễn bằng đồ thị của giải thuật RBM. Ta thấy, từ epoch 0 đến epoch 20 chỉ số RMSE có xu hướng giảm đều ổn định từ 1.372... đến 0.905...(hình 3.12) chứng tỏ rằng giải thuật dự đoán chính xác với các tham số lần 2 được truyền vào.
c. Lần ba
Tốc độ học (learning rate) learningRate = 0.001, momentum = 0.5, wDecay (weight decay) = 0.002, số lượng epoch numberOfEpoch = 50. Hình 3.13 là nội dung file cấu hình.
Hình 3-14: Kết quả dữ liệu kiểm tra (validation set) RMSE thu được lần ba
Chuyển đổi giá trị từ hình 3.14 sang đồ thị để có cái đánh giá bao quát hơn hình 3.15
Hình 3-15: Đồ thị chỉ số đánh giá RMSE lần ba
Hình 3.14 kết quả đánh giá sai số RMSE của giải thuật RBM. Ta thấy, khi luận văn tăng số lượng epoch từ 20 lên 50 và thay đổi các tham số thì từ epoch 0 đến epoch 50 chỉ số RMSE có xu hướng giảm đều ổn định từ 1.372... đến 0.893... (hình 3.15) chứng tỏ rằng giải thuật dự đoán tương đối chính xác.
3.5. Kết luận
tham số truyền vào khác nhau. Với 20 epoch khi luận văn chỉ thay đổi giá trị tham số với một lượng rất nhỏ (ví dụ learning rate được thay đổi từ 0.01 sang 0.001) thì kết quả của chỉ số đánh giá RMSE cũng đã khác đi nhiều. Cụ thể, lần một và lần hai tham số hoàn toàn giống nhau, chỉ khác giá trị learning rate lần một là 0.01 và lần hai là 0.001. Chỉ số đánh giá RMSE thu cho thấy với lần một kết quả RMSE không ổn định, lúc giảm lúc tăng. Với lần hai thì kết quả RMSE ổn định, việc dự đoán của giải thuật là chính xác hơn. Với 50 epoch huấn luyện lần ba thì giá trị chỉ số đánh giá mà giải thuật thực nghiệm thu được cuối cùng là 0.89399 tốt hơn so với hệ thống riêng của Netflix đưa ra là 0.9514.
KẾT LUẬN
Trên cơ sở tìm hiểu, nghiên cứu giải thuật Restrited Boltzmann Machines trong Deep Learning cho hệ lọc cộng tác.
Luận văn đã đạt được một số kết quả sau:
Giới thiệu kỹ thuật lọc cộng tác trong hệ tư vấn: luận văn đã trình bày một số kiến thức cơ sở về hệ thống tư vấn, bài toán tư vấn, các phương pháp tư vấn là bao gồm tư vấn dựa trên nội dung và tư vấn dựa trên kỹ thuật lọc cộng tác. Những vấn đề còn tồn tại để tư vấn có độ chính xác cao, độ phức tạp thấp, với dữ liệu lớn, dữ liệu bị thưa cũng là một vấn đề lớn được các nhà nghiên cứu quan tâm. Luận văn cũng đề xuất một giải thuật là máy hạn chế Botlzmann (Restricted Botlzmann Machine) [9] để thực hiện và giải quyết một số vấn đề còn tồn tại trong lọc cộng tác.
Mô hình máy hạn chế Boltzmann (RBMs) trong lọc cộng tác: giới thiệu về giải thuật BM, RBM và RBMs trong lọc cộng tác. Phương pháp huấn luyện, cập nhật giá trị các tham số và dự đoán của giải thuật RBMs cũng đã được đề cập.
Sử dụng mô hình giải thuật RBMs cài đặt cho bài toán đề xuất: cài đặt
thực nghiệm bài toán với dữ liệu lớn dataset Netflix, đưa ra chỉ số RMSE đánh giá độ hiệu quả của thuật toán. Sau ba lần huấn luyện với các tham số truyền vào khác nhau. Với 20 epoch khi luận văn chỉ thay đổi giá trị tham số với một lượng rất nhỏ (ví dụ learning rate được thay đổi từ 0.01 sang 0.001) thì kết quả của chỉ số đánh giá RMSE cũng đã khác đi nhiều. Với 50 epoch huấn luyện lần 3 thì giá trị chỉ số đánh giá mà giải thuật thực nghiệm thu được cuối cùng là 0.89399 tốt hơn so với hệ thống riêng của Netflix đưa ra là 0.9514.
Những hạn chế còn tồn tại:
Thuật toán chạy lâu khi huấn luyện
Chưa xử lý được vấn đề còn tồn tại là người dùng mới, sản phẩm mới.
Luận văn sử dụng tập dữ liệu dataset Netflix vì vậy khi đưa vào sử dụng cho thực tế thì cần thu tập dữ liệu thực từ các trang web xem phim, đưa ra dự đoán cụ thể trên hệ thống website, ứng dụng.
Phát triển tiếp hệ thống để từ trong kỹ thuật lọc cộng tác có thể tư vấn. Tìm hiểu, nghiên cứu về việc kết hợp RBMs với các giải thuật khác trong lọc cộng tác để làm tăng thời gian huấn luyện, dự đoán. Xử lý bài toán với người dùng mới, sản phẩm mới.
DANH MỤC CÁC TÀI LIỆU THAM KHẢO
[1] Nguyễn Duy Phương, Phát triển một số phương pháp lọc thông tin cho hệ tư vấn, ĐHQGHN, 2011
[2] ACKLEY, D. H., HINTON, G. E., AND SEJNOWSKI, T. J. A learning algorithm for Boltzmann machines, Kaufmann, Los Altos, CA, pages 522– 533,1987.
[3] Geoffrey E. Hinton. 2002. Training products of experts by minimizing contrastive divergence.Neural Comput. 14, 8 (August 2002), 1771-1800. DOI=http://dx.doi.org/10.1162/089976602760128018
[4] Geoffrey E. Hinton. 2005. What kind of a graphical model is the brain?. In Proceedings of the 19th international joint conference on Artificial intelligence (IJCAI'05). Morgan Kaufmann Publishers Inc., San Francisco, CA, USA, 1765-1775.
[5] HINTON, G. E. Boltzmann machine. Scholarpedia 2, 5 (2007), 1668.
[6] Hinton, G. E. (2012). A Practical Guide to Training Restricted Boltzmann Machines. In G. Montavon, G. B. Orr & K.-R. Müller (ed.), Neural Networks: Tricks of the Trade (2nd ed.) , Vol. 7700 (pp. 599-619) . Springer . ISBN: 978- 3-642-35288-1.
[7] Linden, G., Smith, B. & York, J. (2003). Amazon.com Recommendations: Item-to-Item Collaborative Filtering. IEEE Internet Computing, 7, 76--80. doi: 10.1109/MIC.2003.1167344
[8] Lu, K. (2013) The Application of Deep Learning in Collaborative Filtering. School of Engineering University of California Santa Cruz.
[9] Salakhutdinov, R.; Mnih, A.; and Hinton, G. E. Restricted Boltzmann machines for collaborative filtering. In Machine Learning, Proceedings of the Twenty-Fourth International Conference (ICML 2007), Corvalis, Oregon, USA, June 20-24, 2007, pages 791-798, 2007.
[10] THOMPSON, C. If you liked this, you’re sure to love that. The New York Times Magazine (November 2008).
[11] Dataset Netflix, http://archive.ics.uci.edu/ml/datasets/Netflix+Prize
[12] Thông tin Netflix, https://en.wikipedia.org/wiki/Netflix