Báo cáo dự đoán lượng mưa sử dụng mạng thần kinh nhân tạ dựa trên mô hình map reduce

Báo cáo dự đoán lượng mưa sử dụng mạng thần kinh nhân tạo dựa mơ hình map-reduce NHĨM 10 Thành Viên Lê Thiên Lực – 19021324 Lê Mạnh Cường – 19021231 Hồ An Huy – 19021306 Nguyễn Thành Duy - 17021221 Giới thiệu Để giải lượng liệu lớn nhanh chóng Do phương pháp đề xuất là: Phương pháp Hadoop, Mạng lưới thần kinh nhân tạo dựa mơ hình map-reduce tính mở rộng Cách tiếp cận cũ cách tiếp cận Hadoop CÁC TIẾP CẬN CŨ CÁCH TIẾP CẬN HADOOP VỚI ƯU ĐIỂM : -Mơ hình GFNN với hàm kích hoạt hyperbol - cung cấp môi trường xử lý liệu lớn - Sử dụng Map-Reduce framework để song song cần sử dụng batch gradient descent để cập nhật trọng số - lưu trữ xử lý liệu phân tán với trợ giúp HDFS khung thu gọn đồ - sử dụng phương pháp thông kê để dự báo lượng mưa - Giúp lưu trữ liệu lớn xử lý nhanh - Có thể xử lý song song cụm Xử lý liệu Mơ hình : Dữ liệu khí hậu ban đầu định dạng lưới Xử lý liệu Dữ liệu thời tiết Ấn Độ 63 năm qua, Cục Khí tượng Ấn Độ (IMD) Pune cung cấp Dữ liệu có kích thước lưới 25 × 25 degree grid size Dữ liệu lượng mưa kích thước lưới 0,25 × 0,25 degree grid size liệu nhiệt độ kích thước lưới × degree grid size => Điều chỉnh độ phân giải lưới xử lý giá trị bị thiếu Dữ liệu cuối xếp theo định dạng sau (Ngày, Vĩ độ, Kinh độ) tạo thành khoá (Lượng mưa, Nhiệt độ) tạo thành giá trị Map-reduce để chuyển đổi liệu dạng lưới sang định dạng cần thiết Hình 1: MapReduce job chuyển đổi tệp đầu vào thô sang định dạng mong muốn Hình 2: Mạng nơ ron nhân tạo sử dụng Map-reduce framework Mơ hình Neural Network dựa Map-reduce Lợi ích: Khả mở rộng giải pháp sử dụng mapreduce Mơ hình: Mơ hình Neural Network dựa Map-reduce ◦ Chia thành task chạy song song mà khơng có phụ thuộc lẫn liệu⇒Mạng thần kinh nhân tạo cần map-reduce để tránh việc liệu bị lặp lại ◦ Sử dụng chiến lược Backpropagation để sửa lỗi cập nhật trọng số cho phù hợp học theo batch để đảm bảo tính song song Huấn luyện Neural Network map-Reduce: • Nhúng mạng nơ-ron nút đồ • Việc chuyển tiếp tập huấn luyện Backpropagation tương ứng người lập đồ thực Đánh giá, kết thảo luận Tiêu chí : • Sai số bình phương trung bình (RMSE) • Độ xác (Precision) • Thời gian(Time) Đánh giá, kết thảo luận Kết quả: *Map-reduce thành công việc giảm thời gian chạy * Độ xác hồi quy cải thiện học tập theo batch *các nhiệm vụ phân loại phải ảnh hưởng đến độ xác chúng *Sử dụng phân loại, khác biệt độ xác so với dự đốn có mưa / khơng mưa Hình : Kết mạng Neural Network map-reduce Hình 4: Kết mạng Neural Network mà khơng sử dụng song song hóa Mở rộng vấn đề Mở rộng vấn đề •Thử thuật tốn học máy khác map-reduce để có mơ hình dự báo lượng mưa xác •Thử thêm nhiều thơng số làm đầu vào để xem liệu có cải thiện độ xác dự đốn hay khơng Tham Khảo từ khóa Tham khảo Mở rộng vấn đề • Rainfall Prediction using Artificial Neural Network on Map-Reduce Framework.K Namitha, A Jayapriya, G Santhosh Kumar.2015.DOI: 10.1145/2791405.2791468 Từ khóa quan trọng: ◦ Map , reducer , ANN , RMSE ,Precision,Hadoop,map-reduce,Backpropagation THANK FOR LISTENING ANY QUESTION ? ... rộng giải pháp sử dụng mapreduce Mơ hình: Mơ hình Neural Network dựa Map- reduce ◦ Chia thành task chạy song song mà khơng có phụ thuộc lẫn liệu? ?Mạng thần kinh nhân tạo cần map- reduce để tránh... cần thiết Hình 1: MapReduce job chuyển đổi tệp đầu vào thô sang định dạng mong muốn Hình 2: Mạng nơ ron nhân tạo sử dụng Map- reduce framework Mơ hình Neural Network dựa Map- reduce Lợi ích: Khả... dự đốn có mưa / khơng mưa Hình : Kết mạng Neural Network map- reduce Hình 4: Kết mạng Neural Network mà khơng sử dụng song song hóa Mở rộng vấn đề Mở rộng vấn đề •Thử thuật tốn học máy khác map- reduce