Bài viết trình bày việc phát triển một mô hình mạng nơ ron truyền thẳng sâu cho bài toán đánh giá, phân vùng nguy cơ cháy rừng của tỉnh Lâm Đồng. Các yếu tố đầu vào bao gồm độ dốc, hướng dốc, độ cao, hiện trạng sử dụng đất, chỉ số thực vật NDVI, khoảng cách tới đường giao thông, khoảng cách tới khu dân cư, nhiệt độ, tốc độ gió và lượng mưa.
Kỷ yếu Hội nghị: Nghiên cứu “Khoa học Trái đất Môi trường” DOI: 10.15625/vap.2019.000162 XÂY DỰNG MƠ HÌNH HỌC SÂU ĐÁNH GIÁ NGUY CƠ CHÁY RỪNG TẠI LÂM ĐỒNG Lê Văn Hưng1, Nguyễn Thị Thanh2, Đặng Hữu Nghị2, Hồng Anh Đức2 Khoa Cơng nghệ Thơng tin, Trường Đại học Mỏ - Địa chất, levanhung@humg.edu.vn Khoa Công nghệ Thông tin, Trường Đại học Mỏ - Địa chất, (nguyenthithanh@humg.edu.vn, danghuunghi@humg.edu.vn, hoanganhduc@humg.edu.vn) TĨM TẮT Cháy rừng gây tổn hại nghiêm trọng đến tài sản đời sống người, thực vật, động vật, hệ sinh thái mơi trường Do biến đổi khí hậu hoạt động người, cháy rừng tăng đến mức báo động Việt Nam Dự báo nguy cháy rừng yếu tố quan trọng phòng cháy, chữa cháy rừng Trong báo này, chúng tơi phát triển mơ hình mạng nơ ron truyền thẳng sâu cho toán đánh giá, phân vùng nguy cháy rừng tỉnh Lâm Đồng Các yếu tố đầu vào bao gồm độ dốc, hướng dốc, độ cao, trạng sử dụng đất, số thực vật NDVI, khoảng cách tới đường giao thông, khoảng cách tới khu dân cư, nhiệt độ, tốc độ gió lượng mưa Thực nghiệm cho thấy mơ hình cho kết tốt nhiều tiêu chí đánh giá so với kỹ thuật học máy khác Mơ hình sau xây dựng sử dụng để tính số phân vùng nguy cháy rừng cho vùng nghiên cứu Từ khóa: mạng nơ ron truyền thẳng, học sâu, cháy rừng, Lâm Đồng GIỚI THIỆU Các phương pháp dự báo nguy cháy rừng nước ta chủ yếu dựa mô hình truyền thống, ví dụ dựa số tổng hợp P Nesterov có cải tiến để phù hợp với điều kiện Việt Nam [3] Có thể thấy rằng, phương pháp bỏ qua nhiều yếu tố đầu vào quan trọng cho toán dự báo nguy cháy rừng số thảm thực vật, khoảng cách tới đường giao thông, khoảng cách tới khu dân cư yếu tố chứng minh có khả dự báo nguy cháy rừng cao [1] Nguyễn Ngọc Thạch nnk [4] thành lập đồ nguy cháy rừng cho tỉnh Sơn La cách sử dụng phương pháp phân tích thứ bậc (AHP) để xác định trọng số yếu tố đầu vào Trên giới, phương pháp thống kê sử dụng cho nghiên cứu cháy rừng tính chất ngẫu nhiên cố hữu tượng cháy rừng [5] Tuy nhiên, với tốn có khối lượng liệu lớn, nhiều đầu vào, độ xác dự báo mơ hình thống kê cịn hạn chế [1] Gần đây, mơ hình học máy đề xuất cho cháy rừng chúng làm việc tốt với liệu lớn, có nhiều đầu vào Nhìn chung, độ xác mơ hình học máy tốt mơ hình thống kê [1] Học sâu, nhánh nghiên cứu học máy dựa mạng nơ ron nhân tạo, trở thành công cụ cốt lõi Cuộc cách mạng công nghiệp 4.0 Ở nước ta nay, việc phát triển mơ hình dự báo nguy cháy rừng sử dụng kỹ thuật học máy đại, đặc biệt học sâu, chưa nhiều Vì vậy, nghiên cứu này, chúng tơi xây dựng mơ hình mạng nơ ron sâu cho dự báo nguy cháy rừng Lâm Đồng, góp phần chứng minh tính hiệu việc áp dụng mơ hình học máy nói chung học sâu nói riêng cho tốn đánh giá nguy cháy rừng Việt Nam PHƢƠNG PHÁP 2.1 Thu thập liệu Trong [1], tác giả xây dựng mơ hình học máy PSO-NF đánh giá nguy cháy rừng cho tỉnh Lâm Đồng công bố kết tạp chí quốc tế có uy tín Do mục tiêu nghiên cứu chứng minh tính hiệu việc sử dụng mơ hình học sâu đánh giá nguy cháy 386 Kỷ yếu Hội nghị: Nghiên cứu “Khoa học Trái đất Môi trường” rừng Việt Nam để tiện cho việc so sánh với mơ hình khác, sử dụng liệu nghiên cứu nói báo Dữ liệu định dạng raster ArcGIS Đầu vào mơ hình bao gồm 10 yếu tố: Độ dốc, hướng dốc, độ cao, trạng sử dụng đất, số thực vật NDVI, khoảng cách tới đường giao thông, khoảng cách tới khu dân cư, nhiệt độ, tốc độ gió lượng mưa Bộ liệu huấn luyện kiểm tra mơ hình bao gồm 1080 mẫu (điểm/ơ), 756 mẫu sử dụng để huấn luyện, 324 mẫu lại dùng để kiểm tra, đánh giá mơ hình số điểm cháy rừng không cháy 2.2 Thiết kế kiến trúc mơ hình Mơ hình gồm nhiều nơ ron nhân tạo tổ chức thành tầng: 01 tầng vào, 01 tầng nhiều tầng ẩn [2] Do toán học có giám sát với liệu đầu vào vec tơ kích thước cố định nên mạng nơ ron truyền thẳng (đầu tầng đầu vào tầng kế tiếp) nhiều tầng ẩn mô hình thích hợp Dữ liệu huấn luyện/kiểm tra mơ hình xem phân phối xác suất Bernoulli liệu đầu vào, nhận hai giá trị (lớp không cháy/âm) (lớp cháy/dương) Mơ hình thiết kế với lựa chọn sau: (i) Tầng đầu ra: Do ta xem liệu phân phối xác suất Bernoulli, 01 nơ ron tầng đầu với hàm kích hoạt sigmoid sử dụng, giá trị đầu dự báo xác suất mẫu liệu rơi vào lớp cháy Đầu sigmoid thường sử dụng kết hợp với hàm mát (sai số) binary cross-entropy Hàm mát đo khoảng cách phân phối xác suất liệu huấn luyện/kiểm tra mơ hình Khoảng cách hai phân phối nhỏ đồng nghĩa với việc hai phân phối gần mơ hình khớp tốt với liệu; (ii) Các tầng ẩn: Hàm kích hoạt sigmoid thường sử dụng nhiều cho nơ ron ẩn q khứ có đạo hàm đẹp Những năm gần đây, hàm ReLU sử dụng rộng rãi tính đơn giản, giúp cho việc huấn luyện mạng nơ ron sâu nhanh nhiều Khi số tầng ẩn số nơ ron tầng ẩn tăng lên, khả biểu diễn (khớp với) liệu huấn luyện mơ hình tăng lên Tuy nhiên, điều làm mơ hình trở nên q khớp (overfitting), nghĩa hàm mát đạt giá trị nhỏ tập liệu huấn luyện lại cao tập kiểm tra (khả tổng quát hóa kém) Ngược lại, mơ hình khớp (underfitting) với liệu, nghĩa có sai số cao tập huấn luyện tập kiểm tra Quá trình thiết kế thường trình thử nghiệm theo dõi sai số Ở toán này, số đầu vào số lượng mẫu huấn luyện không lớn, thử nghiệm chọn thiết kế mô hình có tầng ẩn với số nơ ron tương ứng 20, 10 2.3 Chọn thuật toán huấn luyện mơ hình Q trình huấn luyện điều chỉnh trọng số kết nối nơ ron để mô hình khớp với liệu huấn luyện Phương pháp cập nhật trọng số phổ biến Gradient Descent (GD) Để áp dụng GD, ta cần tính gradient hàm mát theo ma trận trọng số Phương pháp thường dùng để tính gradient lan truyền ngược, tính gradient ngược từ tầng cuối đến tầng Đối với mạng nơ ron truyền thẳng, thuật toán cập nhật tối ưu thường dùng SGD, RMSprop Adam Việc cập nhật trọng số mô hình thực theo mẫu liệu, cho toàn liệu (batch) cho phần liệu (mini-batch) Trong nghiên cứu này, chọn mini-batch GD thường sử dụng nhiều 2.4 Phƣơng pháp đánh giá mơ hình Để đánh giá hiệu mơ hình học máy phân lớp, độ xác (tỉ lệ số điểm dự đốn tổng số điểm) ma trận confusion matrix thường sử dụng (Bảng 1) Các tỉ số FNR FPR gọi tương ứng tỉ lệ bỏ sót tỉ lệ báo động nhầm Đơi khi, ta chấp nhận tỉ lệ báo động nhầm cao để đạt tỉ lệ bỏ sót thấp Việc tăng hay giảm tỉ lệ thực cách thay đổi ngưỡng phân chia lớp dương lớp âm (mặc định 0.5) Khi thay đổi ngưỡng từ đến 1, với giá trị ngưỡng ta thu cặp giá trị (FPR, TPR) Biểu diễn điểm (FPR, TPR) đồ thị ta đường cong ROC AUC diện tích nằm đường cong ROC, cho biết khả phân biệt lớp mơ hình lớn tốt Thơng thường, mơ hình có AUC từ 0.8 trở lên coi tốt 387 Hồ Chí Minh, tháng 11 năm 2019 Bảng Ma trận confusion matrix (trái) ma trận normalized confusion matrix (phải) Actual: Positive Actual: Negative Predicted as Positive True Positive (TP) False Positive (FP) Pred as Neg False Negative (FN) True Negative (TN) Actual: Positive Actual: Negative Pred as Pos TPR = TP/(TP + FN) FPR = FP/(FP + TN) Pred as Neg FNR = FN/(TP + FN) TNR = TN/(FP + TN) 2.5 Huấn luyện mơ hình Để giảm q khớp mơ hình q trình huấn luyện, chúng tơi sử dụng kĩ thuật Dropout cho lớp ẩn (loại bỏ ngẫu nhiên vài nơ ron) Tỉ lệ Dropout chọn 20% 2.6 Thành lập đồ phân vùng nguy cháy rừng cho vùng nghiên cứu Sau mơ hình xây dựng thành cơng, sử dụng để tính số nguy cháy rừng cho tất điểm vùng nghiên cứu Giá trị đầu mơ hình cho điểm xác suất điểm rơi vào lớp cháy rừng Các giá trị phân thành lớp đồ, thể mức độ nguy khác (rất thấp, thấp, bình thường, cao, cao đặc biệt cao) KẾT QUẢ VÀ THẢO LUẬN Các thử nghiệm cho thấy mơ hình huấn luyện thuật tốn cập nhật trọng số Adam, số lượng vịng lặp epoch = 2000 batch_size = 20 cho kết tốt Kết đánh giá hiệu mô hình thể Bảng 2-4 Hình sau Bảng Các ma trận confusion matrix tập liệu huấn luyện Act Pos Act Neg Pred as Pos 365 70 Pred as Neg 13 308 Act Pos Act Neg Pred as Pos 96.6% 18.6% Pred as Neg 3.4% 81.4% Bảng Các ma trận confusion matrix tập liệu kiểm tra Act Pos Act Neg Pred as Pos 152 31 Pred as Neg 10 131 Act Pos Act Neg Pred as Pos 93.8% 19.1% Pred as Neg 6.2% 80.9% Bảng Độ xác mơ hình học sâu (DNN) so với mơ hình học máy khác DNN SVM Random Forests PSONF Trên tập huấn luyện 89.0% 86.2% 86.4% 89.3% Trên tập kiểm tra 87.3% 84.9% 85.2% 85.8% Hình Đường cong ROC AUC mơ hình DNN tập liệu kiểm tra (trái) Bản đồ phân vùng nguy cháy rừng tỉnh Lâm Đồng (phải) 388 Kỷ yếu Hội nghị: Nghiên cứu “Khoa học Trái đất Mơi trường” Có thể thấy độ xác tập liệu kiểm tra mơ hình DNN vượt trội so với mơ hình thử nghiệm khác, nghĩa có khả tổng quát hóa tốt Trên tập liệu huấn luyện, độ xác mơ hình DNN tương đương với mơ hình PSO-NF tốt so với mơ hình SVM RF Đối với tập liệu huấn luyện tập liệu kiểm tra, giá trị AUC tốt (tương ứng 0.87 0.85), đồng thời tỉ lệ bỏ sót tương đối nhỏ (3.4% 6.2%) KẾT LUẬN Kết nghiên cứu cho thấy mơ hình mạng nơ ron truyền thẳng sâu xây dựng có khả tổng qt hóa tốt mơ hình học máy thử nghiệm cho tốn đánh giá, phân vùng nguy cháy rừng tỉnh Lâm Đồng hồn tồn áp dụng cho vùng nghiên cứu khác Việt Nam Trong thời gian tới, tiếp tục thử nghiệm mơ hình học sâu cho dạng thiên tai khác trượt lở đất Việt Nam TÀI LIỆU THAM KHẢO [1] Bui, D.T., et al, 2017 A Hybrid Artificial Intelligence Approach Using GIS-Based Neural-Fuzzy Inference System and Particle Swarm Optimization for Forest Fire Susceptibility Modeling at A Tropical Area Agricultural and Forest Meteorology, 233(15), 32–44 [2] Goodfellow, I., Bengio, Y & Courville, A., 2016 Deep Learning MIT Press [3] Phạm Ngọc Hưng, 2004 Quản lý cháy rừng Việt Nam Nhà xuất Nghệ An [4] Nguyễn Ngọc Thạch, Đặng Ngơ Bảo Tồn, Phạm Xn Cảnh, 2017 Ứng dụng viễn thám GIS thành lập đồ nguy cháy rừng phục vụ phòng chống, giảm thiểu thiệt hại cháy rừng tỉnh Sơn La, Việt Nam Tạp chí Khoa học ĐHQGHN: Các Khoa học Trái đất Môi trường, 33(3), 53-66 [5] Taylor, S W., Woolford, D G., Dean, C B & Martell, D L., 2013 Wildfire Prediction to Inform Fire Management: Statistical Science Challenges Statist Sci., 28(4), 586-615 DEVELOPING A DEEP NEURAL NETWORK MODEL FOR PREDICTING FOREST FIRE RISK OF LAM DONG PROVINCE Le Van Hung1, Nguyen Thi Thanh1, Dang Huu Nghi1, Hoang Anh Duc1 Hanoi University of Mining and Geology, {levanhung@humg.edu.vn, nguyenthithanh@humg.edu.vn, danghuunghi@humg.edu.vn, hoanganhduc@humg.edu.vn ABSTRACT Forest fires can cause serious damage to property and life of humans, plants, animals, ecosystems, and the environment Due to climate change as well as human activities, forest fires have risen to alarming levels in Vietnam Forest fire susceptibility prediction is an important task in forest fire prevention and control In this paper, we develop a deep feedforward neural network model for predicting and producing a forest fire susceptibility map of Lam Dong province Input factors consist of slope, aspect, elevation, land use, NDVI, distance to roads, distance to residence areas, temperature, wind speed, and rainfall The results show that the model performs well on both the training dataset and the validation dataset The performance of the model is also compared with that of several other machine learning models The built model is then used to compute the forest fire susceptibility indexes and create a forest fire susceptibility map for the study area Key words: Deep Feedforward Network, Machine Learning, Forest Fire, Lam Dong province 389 ... nghiên cứu cho thấy mơ hình mạng nơ ron truyền thẳng sâu xây dựng có khả tổng quát hóa tốt mơ hình học máy thử nghiệm cho toán đánh giá, phân vùng nguy cháy rừng tỉnh Lâm Đồng hồn tồn áp dụng cho... nghiên cứu Sau mơ hình xây dựng thành cơng, sử dụng để tính số nguy cháy rừng cho tất điểm vùng nghiên cứu Giá trị đầu mơ hình cho điểm xác suất điểm rơi vào lớp cháy rừng Các giá trị phân thành... tra mơ hình bao gồm 1080 mẫu (điểm/ơ), 756 mẫu sử dụng để huấn luyện, 324 mẫu cịn lại dùng để kiểm tra, đánh giá mơ hình số điểm cháy rừng không cháy 2.2 Thiết kế kiến trúc mơ hình Mơ hình gồm