Xây dựng mô hình mạng nơ ron sâu nhằm đánh giá nguy ơ háy rừng ở việt nam

Nhƣ vậy, có thể thấy rằng các phƣơng pháp này đã bỏ qua nhiều yếu tố đầu vào quan trọng cho bài toán dự báo nguy cơ cháy rừng, đặc biệt cho các vùng lớn, nhƣ: các chỉ số thảm thực vật ND

XÂY DỰNG MÔ HÌNH MẠNG NƠ RON SÂU NHẰM ĐÁNH GIÁ

NGUY CƠ CHÁY RỪNG Ở VIỆT NAM

Chuyên ngành : Công Nghệ Thông Tin

3

Lời cam đoan

Luận văn Thạc sĩ “Xây dựng mô hình mạng nơ ron sâu nhằm đánh giá nguy cơ cháy rừng tại Việt Nam” chuyên ngành Công nghệ thông tin là công trình của cá nhân tôi Các nội dung nghiên cứu và kết quả trình bày trong luận văn là trung thực và rõ ràng Các tài liệu tham khảo, nội dung trích dẫn đã ghi rõ nguồn gốc

Hà Nội, ngày 10 tháng 10 năm 2019

Tác giả luận văn

Nguyễn Thị Thanh

4

Mụ c lục

Danh mục hình 6

Danh mục bảng biểu 7

Danh mục từ viết tắt 8

MỞ ĐẦU 9

1 Lý do chọn đề tài 9

2 Mục tiêu 10

3 Nội dung nghiên cứu 10

4 Đối tượng và phạm vi nghiên cứu 11

5 Phương pháp nghiên cứu 11

6 Kết quả dự kiến 12

7 Ý nghĩa khoa học và thực tiễn 13

8 Bố cục của luận văn 13

CHƯƠNG 1: BÀI TOÁN DỰ BÁO NGUY CƠ CHÁY RỪNG 15

1.1 Tình hình nghiên cứu trong và ngoài nước 15

1.2. Hướng giải quyết bài toán của luận văn 20

CHƯƠNG 2: MẠNG NƠ RON NHÂN TẠO 21

2.1 Nơ ron nhân tạo 21

2.2 Mạng nơ ron nhân tạo 24

2.3 Huấn luyện mạng nơ ron 27

2.4 Thiết kế mô hình mạng nơ ron truyền thẳng 37

CHƯƠNG 3: XÂY DỰNG MÔ HÌNH MẠNG NƠ RON SÂU ĐÁNH GIÁ 41

NGUY CƠ CHÁY RỪNG TẠI LÂM ĐỒNG 41

3.1 Vùng nghiên cứu 41

3.2 Thu thập dữ liệu cháy rừng trong quá khứ và các yếu tố liên quan 44

3.3 Xây dựng các tập dữ liệu huấn luyện và kiểm tra mô hình 49

3.4 Đánh giá khả năng dự báo của từng yếu tố đầu vào 50

3.5 Thiết kế kiến trúc mô hình 51

3.6 Chọn thuật toán huấn luyện mô hình 53

3.7 Phương pháp đánh giá mô hình 53

5

3.8 Huấn luyện mô hình 54

3.9 Thành lập bản đồ phân vùng nguy cơ cháy rừng cho tỉnh Lâm Đồng 59

3.10 So sánh kết quả với một số phương pháp học máy khác 60

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 61

1 Kết quả đạt được 61

2 Hạn chế 61

3 Hướng phát triển 61

PHỤ LỤC 63

6

Danh m c hình ụ

Hình 1 Một nơ ron thần kinh sinh học 22

Hình 2 Cấu trúc của một nơ ron nhân tạo 22

Hình 3 Hàm sigmoid 23

Hình 4 Hàm tanh 23

Hình 5 Hàm ReLU 24

Hình 6 ANN với hai tầng ẩn 25

Hình 7 Gradient descent 28

Hình 8 Các kí hiệu của một ANN 31

Hình 9 Thuật toán lan truyền ngược 33

Hình 10 Bản đồ tỉnh Lâm Đồng và những điểm cháy rừng trong năm 2013 41

Hình 11 Cháy rừng thông tại huyện Di Linh 44

Hình 12 Bản đồ của các yếu tố (a) Độ dốc; (b) Hướng dốc; (c) Độ cao; (d) Sử dụng đất; (e) Chỉ số NDVI và (f) Khoảng cách đến đường giao thông 47

Hình 12 (tiếp tục): Bản đồ của các yếu tố (g) Khoảng cách tới khu dân cư; (h) Nhiệt độ; (i) Tốc độ gió và (j) Lượng mưa 49

Hình 14 Mô hình của bài toán dự báo nguy cơ cháy rừng 53

Hình 15 Đường cong ROC và AUC trên tập dữ liệu huấn luyện 58

Hình 16 Đường cong ROC và AUC trên tập dữ liệu kiểm tra 58

Hình 17 Bản đồ phân vùng nguy cơ cháy rừng của tỉnh Lâm Đồng 59

7

Danh mụ c bảng bi u ể

Bảng 3.1 Biến động diện tích các loại đất, loại rừng giai đoạn 2005-2010 42

Bảng 3.2 Tỉ lệ % các vụ cháy rừng theo tháng trong năm 2013 45

Bảng 3.3 Khả năng dự báo của các yếu tố đầu vào theo Pearson 50

Bảng 3.4 Ma trận hỗn hợp 54

Bảng 3.5 Ma trận hỗn hợp đã chuẩn hóa 54

Bảng 3.6 Kết quả thử nghiệm với thuật toán tối ưu Adam 55

Bảng 3.7 Kết quả thử nghiệm với thuật toán tối ưu Rmsprop 56

Bảng 3.8 Ma trận hỗn hợp trên tập dữ liệu huấn luyện 57

Bảng 3.9 Ma trận hỗn hợp đã chuẩn hóa trên tập dữ liệu huấn luyện 57

Bảng 3.10 Ma trận hỗn hợp trên tập dữ liệu kiểm tra 57

Bảng 3.11 Ma trận hỗn hợp đã chuẩn hóa trên tập dữ liệu kiểm tra 57

Bảng 3.12 Độ chính xác của mô hình ANN so với các mô hình học máy khác 60

8

Danh mụ c từ ết tắ vi t STT Từ viết tắt Từ đầy đủ

1 NDVI №rmalized Difference Vegetation Index

2 NDWI №rmalized Difference Water Index

3 NDMI №rmalized Difference Moisture Index

Các phương pháp dự báo nguy cơ cháy rừng ở nước ta hiện nay chủ yếu dựa trên các mô hình truyền thống, ví dụ dựa trên chỉ số tổng hợp P (Nesterov, 1949) hoặc có cải tiến để phù hợp với điều kiện Việt Nam (Hưng, 2004) tính theo các yếu tố nhiệt độ, độ ẩm không khí, lượng mưa, kiểu rừng, sức gió và

10

mức sương mù Như vậy, có thể thấy rằng các phương pháp này đã bỏ qua nhiều yếu tố đầu vào quan trọng cho bài toán dự báo nguy cơ cháy rừng, đặc biệt cho các vùng lớn, như: các chỉ số thảm thực vật (NDVI, NDWI, NDMI), chỉ số ẩm địa hình (TWI), khoảng cách tới đường giao thông, khoảng cách tới khu dân cư, độ dốc, hướng dốc, là những yếu tố đã được chứng minh có khả năng dự báo cao trong cháy rừng (Ganteaume, et al., 2013; Bui, et al., 2016; Bui, et al., 2017) Ngoài ra, các nghiên cứu này chưa đề cập đến việc kiểm định độ chính xác của dự báo Do đó, cần thiết phải có các nghiên cứu xây dựng mô đánh giá nguy cơ cháy rừng dựa trên các phương pháp trí tuệ tính toán hiện đại Các mô hình này sử dụng nhiều yếu tố đầu vào nói trên, đồng thời, độ chính xác dự báo của mô hình cũng được đánh giá thông qua các chỉ

đó tạo ra các tập dữ liệu huấn luyện và kiểm tra mô hình Sau khi mô hình được xây dựng thành công, nó sẽ được sử dụng để tính chỉ số nguy cơ cháy rừng cho tất cả các điểm của vùng nghiên cứu Vì vậy, đề tài sẽ thực hiện các nội dung chính sau đây:

1 Thu thập, tổng hợp tài liệu, số liệu về cháy rừng và các yếu tố liên quan trong quá khứ của tỉnh Lâm Đồng;

2 Nghiên cứu cơ sở khoa học của phương pháp xây dựng mô hình mạng nơ ron nhân tạo nhằm dự báo nguy cơ cháy rừng: Những cơ sở khoa học này

đã được khẳng định trong các nghiên cứu về mạng nơ ron nhân tạo và ứng

độ cao, độ dốc, hướng dốc; các chỉ số của lớp phủ thực vật như NDVI, NDWI và NDMI; các yếu tố liên quan đến hoạt động của con người như khoảng cách tới đường giao thông và khoảng cách tới khu dân cư, …

4 Xây dựng các tập dữ liệu huấn luyện và kiểm tra: Các điểm cháy rừng được phân ngẫu nhiên thành 1 tập huấn luyện và 1 tập kiểm tra (thông thường, 70% số điểm được dùng để huấn luyện và 30% còn lại được dùng để kiểm tra) Một số lượng tương ứng các điểm không có trượt lở cũng được ngẫu nhiên chọn ra để đưa vào các tập huấn luyện và kiểm tra Đánh giá khả năng dự báo của từng yếu tố đầu vào bằng các kỹ thuật đánh giá tương quan và loại bỏ những yếu tố không có giá trị dự báo

5 Xây dựng mô hình mạng nơ ron truyền thẳng sâu cho bài toán dự báo nguy

cơ cháy rừng: Bao gồm các công việc: Thiết kế kiến trúc mô hình, chọn thuật toán huấn luyện và huấn luyện mô hình sử dụng tập dữ liệu huấn luyện;

6 Đánh giá độ chính xác dự báo của mô hình đã xây dựng trên các tập dữ liệu huấn luyện và kiểm tra sử dụng các tiêu chí thống kê So sánh kết quả với các phương pháp khác

6 K t qu d n ế ả ự kiế

Một mô hình mạng nơ ron truyền thẳng sâu đánh giá nguy cơ cháy rừng cho tỉnh Lâm Đồng

13

7. Ý nghĩa khoa học và thự c tiễn

Ở nước ta hiện nay, việc phát triển các mô hình dự báo nguy cơ cháy rừng sử dụng các kỹ thuật học máy hiện đại, đặc biệt là học sâu, còn chưa nhiều Vì vậy, trong nghiên cứu này, tôi sẽ xây dựng một mô hình mạng nơ ron sâu cho

dự báo nguy cơ cháy rừng tại Lâm Đồng, góp phần chứng minh tính hiệu quả của việc áp dụng các mô hình học máy nói chung và học sâu nói riêng cho bài toán đánh giá nguy cơ cháy rừng tại Việt Nam

8 B c ố ục của luận văn

Ngoài phần Mở đầu và Kết luận, nội dung chính của luận văn được chia thành

3 chương như sau:

CHƯƠNG 1: BÀI TOÁN DỰ BÁO NGUY CƠ CHÁY RỪNG

1.1 Tình hình nghiên cứu trong và ngoài nước

1.2 Hướng giải quyết bài toán của luận văn

CHƯƠNG 2: MẠNG NƠ RON NHÂN TẠO

2.1 Nơ ron nhân tạo

2.2 Mạng nơ ron nhân tạo

2.3 Huấn luyện mạng nơ ron

2.4 Thiết kế mô hình mạng nơ ron truyền thẳng

CHƯƠNG 3: XÂY DỰNG MÔ HÌNH MẠNG NƠ RON SÂU ĐÁNH GIÁ NGUY CƠ CHÁY RỪNG TẠI LÂM ĐỒNG

3.1 Vùng nghiên cứu

3.2 Thu thập dữ liệu cháy rừng trong quá khứ và các yếu tố liên quan

3.3 Xây dựng các tập dữ liệu huấn luyện và kiểm tra mô hình

3.4 Đánh giá khả năng dự báo của từng yếu tố đầu vào

14

3.5 Thiết kế kiến trúc mô hình

3.6 Chọn thuật toán huấn luyện mô hình

3.7 Phương pháp đánh giá mô hình

3.8 Huấn luyện mô hình

3.9 Thành lập bản đồ phân vùng nguy cơ cháy rừng cho tỉnh Lâm Đồng 3.10 So sánh kết quả với một số phương pháp học máy khác

15

1.1 Tình hình nghiên cứu trong và ngoài nước

1.1.1 Tình hình nghiên cứu ngoài nước

Đã có nhiều phương pháp hoặc mô hình khác nhau được đề xu t cho nghiên ấ

c u cháy r ngứ ừ 1 Các mô hình d a trên khoa h c t ự ọ ự nhiên, như toán học (Pastor,

et al., 2003) và v t lý (Séro-ậ Guillaume & Margerit, 2002), thường g m m t h ồ ộ ệphương trình mà giá trị nghi m c a chúng ch ra s phát tri n theo không gian, ệ ủ ỉ ự ểthời gian c a các bi n s ủ ế ố như tốc độ lan truy n, chi u cao cề ề ủa đám cháy Do

đó, chúng có thể mô ph ng hoỏ ạt động của đám cháy Các mô hình khoa họ ực t nhiên ph ổ biến nh t là EMBYR (Hargrove, et al., 2000), FARSITE (Keane, et ấal., 1998), FDS (McGrattan, et al., 2013), FIRETEC (Linn, et al., 2002), FireStation (Lopes, et al., 2002) và LANDIS-II (Sturtevant, et al., 2009) Tuy nhiên, khó có th ể đánh giá được độ chính xác c a các mô hình này, ví d ủ ụFARSITE, do nó ph ụ thuộc vào vi c l a ch n v trí phát l a, cái khác nhau ệ ự ọ ị ử

gi a các vùng nghiên c u vữ ứ à các điều ki n th i ti t (Massada, et al., 2011) ệ ờ ếNhững h n ch khác c a các mô hình khoa h c t nhiên là khạ ế ủ ọ ự ối lượng tính toán lớn và đòi hỏi những d ệữli u chi tiết như vị trí và kích thước c a cây, phân ủ

b không gian c a nhiên liố ủ ệu và độ ẩ m, là nh ng th khó có th thu thữ ứ ể ập được cho m t khu vộ ực rộng l n (Pimont, 2016) ớ

Các phương pháp thống kê cũng được s dử ụng để mô hình hóa cháy r ng do ừtính ch t ng u nhiên c h u c a hiấ ẫ ố ữ ủ ện tượng cháy r ng t t c các quy mô ừ ở ấ ả(Taylor, et al., 2013) T t c các hoấ ả ạt động c a cháy rủ ừng như phát lửa, bùng phát và tàn lụi đều ch u ị ảnh hưởng bởi điều ki n th i ti t, cái khó có th biệ ờ ế ể ết được chính xác Các mô hình thống kê được dùng để định lượng s không ựchắc chắn này (Bianchini, et al., 2015; Amatulli, et al., 2007) Đặc bi t, khi k t ệ ế

hợp các phương pháp thống kê v i h ớ ệ thông tin địa lý (GIS) (Bonham-Carter,

1 Tham khảo tài liệu mục [3]

16

2014), ta có th xây d ng mô hình cháy r ng cho các vùng l n do kh ể ự ừ ớ ả năng thu

thập và x lý d ệử ữ li u không gian t t c a GIS (Bui, et al., 2016; Teodoro & ố ủDuarte, 2013; Chuvieco, et al., 2010; Verde & Zêzere, 2010; Wittenberg & Malkinson, 2009) Đã có nhiều phương pháp thống kê khác nhau đượ ử ục s d ng

để mô hình hóa cháy rừng như hồi quy Poisson (Wotton, et al., 2003), phân b ốPareto t ng quát (Bermudez, et al., 2009), mô ph ng Monte Carlo (Conedera, ổ ỏ

et al., 2011), h i quy tuy n tính b i (Oliveira, et al., 2012), h i quy logistic ồ ế ộ ồ(Pourghasemi, 2015; Arndt, et al., 2013; Chuvieco, et al., 2010) và h i quy ồtrọng s ố địa lý (Oliveira, et al., 2014) Nhìn chung, các phương pháp thống kê

đều d a trên gi thi t r ng m i quan h gi a các bi n (y u tự ả ế ằ ố ệ ữ ế ế ố) đầu vào và cháy

rừng là như nhau trong cả quá kh ứ và tương lai Tuy nhiên, do cháy rừng một quá trình ph c t p, nên trong các bài toán mô hình hóa cháy r ng v i nhiứ ạ ừ ớ ều

y u t ế ố ảnh hưởng và khối lượng d u l n (cho vùng nghiên c u rữ liệ ớ ứ ộng), độchính xác dự báo c a các mô hình th ng kê v n còn h n ch (Bui, et al., 2017) ủ ố ẫ ạ ế

Để nâng cao độ chính xác d báo c a các mô hình cháy r ng, các k thu t h c ự ủ ừ ỹ ậ ọmáy đã được đề xu t do chúng làm vi c t t v i d li u l n, có nhiấ ệ ố ớ ữ ệ ớ ều đầu vào Trong các phương pháp này, bài toán mô hình hóa và dự báo nguy cơ cháy

rừng được xem như bài toán phân lớp cho các ô trên bản đồ raster v i hai l p: ớ ớcháy rừng và không cháy Các phương pháp này bao gồm cây quyết định (Müller, et al., 2013; Camp, et al., 1997), các phương pháp kernel (Jiang, et al., 2015; Gonzalez-Olabarria, et al., 2012), r ng ng u nhiên (Arpaci, et al., 2014; ừ ẫOliveira, et al., 2012), hồi quy logistic kernel (Bui, et al., 2016), entropy tối đa (maximum entropy) (Chen, et al., 2015; Arpaci, et al., 2014) và mạng nơ ron nhân t o (Satir, et al., 2016; Cheng & Wang, 2008; Vasconcelos, et al., 2001) ạNhìn chung, độ chính xác d báo cự ủa các phương pháp học máy là tốt hơn các

mô hình th ng kê (Pourtaghi, et al., 2015; ố Massada, et al., 2013; Oliveira, et al., 2012)

17

Tuy nhiên, bài toán d ự báo nguy cơ cháy rừng quy mô vùng l n v n còn khó ở ớ ẫkhăn do sự thi u chính xác (imprecision) c a d li u không gian GIS thu th p ế ủ ữ ệ ậđược Điều này có th xu t phát t ể ấ ừ tuổ ỉ ệ và đội, t l phân gi i khác nhau c a d ả ủ ữliệu Mô hình d ự báo nguy cơ cháy rừng đòi hỏi ph i thu th p d li u c a ả ậ ữ ệ ủnhi u y u t ề ế ố gây cháy khác nhau như điều ki n th i ti t (nhiệ ờ ế ệt độ, độ ẩ m, lượng mưa và gió), địa hình (độ cao, độ ốc, hướ d ng d c), tình tr ng s d ng ố ạ ử ụ

đất (Ganteaume, et al., 2013) Do đó, rất khó để lo i b tính thi u chính xác ạ ỏ ế

c a d ủ ữ liệu (Bui, et al., 2016) Để ả gi i quy t vế ấn đề này, các phương pháp dựa trên t p m và suy di n m ậ ờ ễ ờ đã được đềxuất (Boschetti, et al., 2010; Vadrevu,

et al., 2009; Loboda & Csiszar, 2007) Trong các phương pháp này, hàm thuộc

m cho các biờ ến được xác định theo kinh nghi m cệ ủa người thi t k ho c theo ế ế ặcách ti p cế ận hướng d u (data-driven) Viữ liệ ệc xác định m t cách ch quan ộ ủcác hàm thu c m có th làm h n ch tính chính xác d báo cộ ờ ể ạ ế ự ủa phương pháp (Bui, et al., 2017), còn t p m sinh ra t cách ti p cậ ờ ừ ế ận hướng d ữ liệu thường khó có m t nhãn ngôn ng phù hộ ữ ợp, do đó tri thức thu thập đượ ừc t bài toán s ẽthiếu tính d hi u (Nguyen, et al., 2015) ễ ể

1.1.2 Tình hình nghiên cứu trong nước

V t ng th , có kho ng cách l n gi a các nghiên cề ổ ể ả ớ ữ ứu trong nước và ngoài nước v d ề ự báo nguy cơ cháy rừng do các nghiên cứu trong nước ch s d ng ỉ ử ụcác mô hình truy n thề ống, đã có từ lâu, như theo chỉ ố ổ s t ng h p (P) cợ ủa Nesterov (Nesterov, 1949) được tính t giá tr c a các y u t ừ ị ủ ế ố khí tượng g m ồnhiệt độ, độ ẩm không khí và lượng mưa, hoặc có c i tiả ến để phù h p vợ ới điều

ki n Vi t Namệ ệ 2(Hưng, 2004) bằng cách s d ng thêm các y u t ử ụ ế ố như kiểu

r ng, s c gió và mừ ứ ức sương mù (fog level) Có thể thấ ằng các phương y r pháp

d ự báo nguy cơ cháy rừng này không s d ng các yế ốử ụ u t quan trọng khác như các ch s ỉ ố thảm th c v t (NDVI, NDWI, NDMI), ch s ự ậ ỉ ố ẩm địa hình (TWI),

2 Tham khảo tài liệu [4]

18

kho ng cách tả ới đường giao thông, kho ng cách tả ới khu dân cư, độ ốc, hướ d ng

d c, là nh ng yố ữ ế ố đã đượu t c ch ng minh có kh ứ ả năng dự báo cao trong cháy

r ng (Bui, et al., 2017; Bui, et al., 2016; Ganteaume, et al., 2013) Ngoài ra, ừcác nghiên cứu này chưa đề ập đế c n vi c kiệ ểm định độ chính xác c a d báo ủ ựCác nhà khoa h c c a các t ọ ủ ổ chức khoa học sau đây đã và đang ti n hành các ếnghiên cứu như vậy:

 Trường Đại học Lâm Nghiệp: Đề tài cấp Nhà nước “Nghiên cứu xây dựng các giải pháp phòng chống và khắc phục hậu quả cháy rừng cho vùng U Minh và Tây Nguyên”, mã số KC.08.24, do GS TS Vương Văn Quỳnh làm chủ nhiệm, đã xây dựng phần mềm “Dự báo nguy cơ cháy rừng” cho toàn Việt Nam Doanh và Quỳnh (2014); Doanh và Châu (2014) nghiên cứu dự báo nguy cơ cháy rừng qua các chỉ số khí hậu của 3 tháng liên tiếp Trong các nghiên cứu này, số liệu về nhiệt độ, độ ẩm không khí và lượng mưa được cung cấp chủ yếu bởi các trạm khí tượng thủy văn Quốc gia Để có thể dự báo cho mọi điểm trên toàn lãnh thổ, Châu (2012) đã xác lập bộ phương trình phản ánh sự liên hệ giữa giá trị của các yếu tố khí tượng nói trên với các yếu

tố địa lý như kinh độ, vĩ độ và độ cao bằng phương pháp hồi quy và xây dựng phương pháp nội suy giá trị của các yếu tố khí tượng cho mọi điểm từ số liệu của các trạm khí tượng lân cận Như vậy, các nghiên cứu này không sử dụng

dữ liệu viễn thám

 Trường Đại học Cần Thơ: Ngoài chỉ số P, Hùng và nnk (2010;2008) còn sử dụng chỉ số độ ẩm vật liệu cháy và chỉ số tổng hợp của hai chỉ số trên để dự báo nguy cơ cháy rừng cho khu vực Vườn Quốc gia U Minh Hạ

Gần đây, trong bài báo (Th ch, et al., 2017), các tác gi thành l p bạ ả ậ ản đồnguy cơ cháy rừng cho tỉnh Sơn La bằng cách s dử ụng phương pháp phân tích th bứ ậc (AHP) để xác định tr ng s c a các y u t ọ ố ủ ế ố ảnh hưởng gồm: độ

dốc, độ cao, độ ẩ m c c tiự ểu, hướng d c, ki u r ng, kho ng cách tố ể ừ ả ới

19

sông/suối, kho ng cách tả ới đường giao thông, kho ng cách tả ới khu dân cư và kho ng cách tả ới nương dẫy Như vậy, hàm xác định ch s ỉ ố nguy cơ cháy rừng

ở đây là tuyến tính đố ới v i các yế ố ảnh hưởu t ng

Ở nước ta hiện nay, việc phát triển các mô hình dự báo nguy cơ cháy rừng sử dụng các kỹ thuật học máy còn chưa nhiều Bui TD và nnk (2016a) đã sử ụ d ng

k thu t h c máy hỹ ậ ọ ồi quy kernel logistic để mô hình hóa và thành l p bậ ản đồnguy cơ cháy rừng cho khu vực vườn Qu c gia Cát Bà, Hố ải Phòng Mười yếu

t ố ảnh hưởng s d ng trong nghiên c u này là ch s ử ụ ứ ỉ ố thực v t NVDI, ch s ậ ỉ ố độ

ẩm địa hình TWI, lo i hình che ph t, nhiạ ủ đấ ệt độ, độ ốc, hướ d ng d c, kho ng ố ảcách tới khu dân cư, khoảng cách tới đường giao thông, lượng mưa và sức gió

K t qu cho thế ả ấy mô hình đề xuất có độ chính xác cao, vượt tr i so v i mô ộ ớmáy véc tơ hỗ ợ (SVM), thường đượ tr c dùng làm chu n so sánh cho bài toán ẩphân l p Nghiên cớ ứu cũng chỉ ra r ng c 10 yằ ả ếu t ố ảnh hưởng đều có kh ảnăng dự báo nguy cơ cháy rừng, trong đó NVDI, TWI, loại hình che ph t và ủ đấnhiệt độ có kh nả ăng dự báo cao nh t H n ch c a nghiên cấ ạ ế ủ ứu này là chưa xem xét đến các y u t ế ố ảnh hưởng khác như độ ẩ m và vùng nghiên c u còn ứtương đố ẹi h p Các tác gi ả trong (Bui et al., 2017a) đã sử ụ d ng m t k thu t lai ộ ỹ ậ

gi a h suy di n mữ ệ ễ ạng nơ ron mờ và tối ưu bầy đàn, g i là mô hình ọ PSO NF,

-d ự báo nguy cơ cháy rừng cho tỉnh Lâm Đồng Trong nghiên c u này, c u trúc ứ ấ

mạng nơ ron mờ ớ v i ki u suy di n Takagi-Sugeno và hàm thuể ễ ộc Gaussian đã đượ ử ục s d ng K thu t tỹ ậ ối ưu bầy đàn đượ ử ụng để ối ưu các tham số ủc s d t c a hàm thu c m và các h s c a hàm h qu ộ ờ ệ ố ủ ệ ả

Ngoài ra, Le TH và nnk (2014) nghiên c u m i quan h gi a cháy r ng và ô ứ ố ệ ữ ừnhi m không khí t i Viễ ạ ệt Nam, nhưng không đề ập đế c n mô hình d báo nguy ự

cơ cháy rừng

20

1.2. Hướng gi i quy t bài toán c a lu n văn ả ế ủ ậ

H c sâu, m t nhánh nghiên c u c a h c máy d a trên mọ ộ ứ ủ ọ ự ạng nơ ron nhân tạo, đang trở thành m t trong nh ng công c quan tr ng c a Cu c cách m ng công ộ ữ ụ ọ ủ ộ ạnghi p 4.0 ệ Ở nước ta hi n nay, vi c phát tri n các mô hình h c sâu cho d báo ệ ệ ể ọ ựnguy cơ cháy rừng là hầu như chưa có Vì vậy, trong luận văn này, tác giả ẽ s xây d ng m t mô hình mự ộ ạng nơ ron sâu cho dự báo nguy cơ cháy rừng t i Lâm ạ

Đồng, góp ph n ch ng minh tính hi u qu c a vi c áp d ng các mô hình hầ ứ ệ ả ủ ệ ụ ọc máy nói chung và học sâu nói riêng cho bài toán đánh giá nguy cơ cháy rừng

tại Việt Nam

21

Mạng nơ ron nhân tạo (Artificial Neural Network-ANN) 3là các mô hình tính toán được truy n c m h ng t các mề ả ứ ừ ạng nơ ron sinh học c u thành nên b não ấ ộ

của động v t Các h ậ ệ thống như vậy "học" đểthực hi n nhi m v t d u là ệ ệ ụ ừ ữliệcác ví d m u M t ANN là m t t p hụ ẫ ộ ộ ậ ợp các nơ ron nhân tạo, mô ph ng các t ỏ ếbào th n kinh trong não sinh hầ ọc, được k t n i v i nhau M i k t n i, gi ng ế ố ớ ỗ ế ố ốnhư một kh p th n kinh trong não sinh h c, có th truy n tín hiớ ầ ọ ể ề ệu đến các nơ ron khác Một nơ ron nhân tạo nh n tín hiậ ệu, sau đó xử lý và có th chuyể ển đầu

ra đến các nơ ron kế ố ới nó Trong cài đặt n i v t ANN, "tín hi u" t i m t k t n i ệ ạ ộ ế ố

là m t s ộ ốthực và đầu ra c a mủ ỗi nơ ron thường được tính b ng m t hàm s phi ằ ộ ốtuy n tính cế ủa ổng các đầt u vào c a nó M i k t nủ ỗ ế ối thường có m t tr ng s ộ ọ ốđược điều ch nh trong quá trình h c t d li u Tr ng s ỉ ọ ừ ữ ệ ọ ố làm tăng hoặc gi m ảcường độ tín hi u c a k t nệ ủ ế ối ANN đã được s d ng cho nhiử ụ ều lĩnh vực khác nhau, bao g m th giác máy tính, nh n d ng gi ng nói, d ch máy, l c m ng xã ồ ị ậ ạ ọ ị ọ ạ

hội, chơi trò chơi, chẩn đoán y tế và th m chí trong các hoậ ạt động được coi là dành riêng cho con người như vẽ tranh

2.1 Nơ ron nhân tạo

Nơ ron nhân tạo là m t mô phộ ỏng đơn giản của nơ ron thần kinh sinh h c M t ọ ộ

nơ ron thần kinh sinh h c có cọ ấu trúc như sau:

3 Tham khảo tài liệu mục [1]

22

Hình 1 M ột nơ ron thầ n kinh sinh h c ọ

D u t nhi u dây thữliệ ừ ề ần kinh đi về ột nơ ron sinh học Thông tin đượ ổ m c t ng

h p, x ợ ử lý và được đưa ra ở đầ u ra Nhi u b phề ộ ận như thế này k t h p vế ợ ới nhau t o nên h ạ ệthần kinh sinh học

Một nơ ron nhân tạo có cấu trúc như sau:

Hình 2 C u trúc c a m ấ ủ ột nơ ron nhân tạ o

Các thành phần cơ bản c a mủ ột nơ ron nhân tạo bao gồm:

 Các đầu vào thường bi u diể ễn dưới dạng một véc tơ

 Các tr ng s ọ ố liên kết

Hình 3 Hàm sigmoid

Hàm tanh có d ng ạ và đồ th ị nhƣ Hình

4

Hình 4 Hàm tanh

Các hàm sigmoid và tanh đƣợ ử ục s d ng nhi u trong quá kh ề ứ vì có đạo hàm r t ấ

đẹp Tuy nhiên, gần đây hàm ReLU (Rectified Linear Unit) có công thức toán học đƣợc s d ng rử ụ ộng rãi vì tính đơn giản c a nó Hàm ủ

24

ReLU có đồ ị như Hình 5 Người ta đã chứng minh đượ ằ th c r ng hàm ReLU có thể giúp cho vi c hu n luyệ ấ ện các ANN nhanh hơn rất nhi u ề

Hình 5 Hàm ReLU

2.2 Mạng nơ ron nhân tạo

M ANN g m nhiột ồ ều nơ ron nhân tạo được k t n i v i nhau và t ế ố ớ ổ chức thành các t ng: m t t ng vào (input layer), m t t ng ra (output layer) và m t hoầ ộ ầ ộ ầ ộ ặc nhi u t ng n (hidden layer) (Goodfellow, et al., 2016)ề ầ ẩ 4 T ng vào là t ng ầ ầngoài cùng bên trái th hi n cho cáể ệ c đầu vào c a m ng T ng ra là t ng ngoài ủ ạ ầ ầcùng bên ph i th hiả ể ện cho các đầu ra c a m ng T ng n là các t ng n m giủ ạ ầ ẩ ầ ằ ữa

t ng vào và t ng ra th hi n cho vi c suy lu n logic c a m ng Các t ng n t ầ ầ ể ệ ệ ậ ủ ạ ầ ẩ ừ

tầng vào đế ầng ra được đánh sốn t thứ thự là 1, 2, … Hình 6 dưới đây là một ví

d v ANN v i hai t ng n ụ ề ớ ầ ẩ

4 Tham khảo tài liệu mục [2]

25

Hình 6 ANN v i hai t ng n ớ ầ ẩ

S ố lượng t ng trong mầ ột ANN đa tầng được tính b ng s t ng n c ng v i 1, ằ ố ầ ẩ ộ ớ

t c là không tính tứ ầng vào Điều này là bởi vì các nơ ron đầu vào th c chự ất không phải là các nơ ron theo đúng nghĩa, chúng không thực hi n b t kệ ấ ỳ một tính toán nào mà đơn giản ch ti p nh n các d li u vào và chuy n cho các t ng ỉ ế ậ ữ ệ ể ầ

k ếtiếp Trong Hình 6 trên đây, ANN có ba tầng ANN v i nhiớ ều hơn mộ ầt t ng

ẩn được g i là ọ mạng nơ ron sâu

Nơ ron ở các t ng vào, t ng n và tầ ầ ẩ ầng ra đượ ần lược l t g i là ọ nơ ron vào nơ ,

ron ẩ n và nơ ron ra M c dù hàm kích ho t cho mặ ạ ỗi nơ ron có thể khác nhau, trong cùng một ANN, người ta thường dùng chung m t hàm kích ho t cho tộ ạ ất

c ả các nơ ron ẩn Điều này giúp cho việc tính toán được đơn giản hơn

ANN đã được phát tri n thành m t nhóm các k thu t r ng lể ộ ỹ ậ ộ ớn và đượ ức ng

d ng trong nhiụ ều lĩnh vực Sau đây là một số ạ d ng ANN ph biổ ến:

ANN truy n th ng: Trong mô hình truy n th ng, t t c ề ẳ ề ẳ ấ ả các nơ ron chỉ ế ối k t n

v i nhau theo mớ ột hướng t trái sang ph i t i m t hay nhiừ ả ớ ộ ều nơ ron trong tầng

k p (tr ếtiế ừ các nơ ron ở ầng ra) (Hình 6) Các mô hình này được gọi là truyền tthẳng vì thông tin bắt đầ ừ ầu t t ng vào lần lượt đi qua các tầng n và cu i cùng ẩ ố

26

đế ần t ng ra Không có các k t n i ph n hế ố ả ồi (feedback), trong đó đầu ra c a m t ủ ộ

nơ ron được đưa trở ạ l i chính nó ho c đặ ến các nơ ron ở ầng trước đó t

Mạng nơ ron truyền th ng sâu là nh ng mô hình x p x hàm s ẳ ữ ấ ỉ ố tinh túy, nghĩa

là m c tiêu c a chúng là x p x m t hàm s ụ ủ ấ ỉ ộ ố nào đó Ví dụ đố ớ i v i m t mô ộhình phân l p, nó s ánh x mớ ẽ ạ ỗi đầu vào t i m t l p ớ ộ ớ Mô hình truy n thề ẳng đó xác định m t ánh x ộ ạ và h c (tọ ối ưu) giá trị ủ c a các tham s ố (các trọng s k t n i giố ế ố ữa các nơ ron và các bias) để là x p x tấ ỉ ốt

nh t cấ ủa Người ta đã chứng minh đượ ằc r ng, mạng nơ ron truyền th ng có ẳ

kh ả năng xấp x h u h t các hàm liên tỉ ầ ế ục, nghĩa là cho một hàm s liên tố ục

b t k và m t s ấ ỳ ộ ố nh , luôn t n t i m t mđủ ỏ ồ ạ ộ ạng nơ ron với một

t ng n (v i s ầ ẩ ớ ố nơ ron ẩn đủ ớ l n và m t hàm kích ho t phi tuy n phù h p) vộ ạ ế ợ ới hàm d báo ự sao cho v i mớ ọi Trên th c t , viự ế ệc tìm ra số ợng nơ ron ẩ lư n và hàm kích ho t phi tuy n nói trên nhi u khi b t kh ạ ế ề ấ ảthi Thay vào đó, thực nghi m ch ng minh r ng, mệ ứ ằ ạng nơ ron truyền th ng v i ẳ ớnhi u t ng n k t h p về ầ ẩ ế ợ ới các hàm kích hoạt phi tuyến đơn giản (như ReLU) có

kh ả năng xấp x ỉ(biểu di n) d u hu n luy n tễ ữliệ ấ ệ ốt hơn

Có một số ạ d ng mạng nơ ron truyền thẳng đặc biệt như sau:

B mã hóa t ng (autoencoder): Là mộ ự độ ạng nơ ron truyền thẳng đa tầng v i s ớ ố

nơ ron ở ầ t ng ra b ng v i s ằ ớ ố nơ ron ở ầ t ng vào và nhiều hơn số nơ ron ở ầ t ng

ẩn B mã hóa t ộ ự động được hu n luyấ ện để đầ u ra giống như đầu vào, như vậy các đầu vào của nó đã được mã hóa l i v i s lưạ ớ ố ợng ít hơn ở ầ t ng n mà (h u ẩ ầnhư) không mất mát thông tin B mã hóa t ng có th ộ ự độ ể được s d ng cho ử ụ

mục đích giảm s chi u cố ề ủa dữ liệ u (dimensionality reduction)

M ng ạ nơ ron tích chập (convolutional neural network - CNN): Là m t loộ ại

mạng nơ ron chuyên biệt cho x lý d u có c u trúc liên k t dử ữliệ ấ ế ạng lưới like topology) như dữ ệ li u chu i thỗ ời gian (coi là lưới m t chi u) và d li u ộ ề ữ ệ

(grid-27

ảnh (coi là lưới hai chi u c a cề ủ ác điể ảm nh) Các CNN s d ng m t phép toán ử ụ ộ

g i là tích ch p (convolution) thay cho phép nhân ma tr n trong ít nh t mọ ậ ậ ấ ột

tầng nơ ron Các mô hình CNN đã gặt hái đượ ấc r t nhi u thành công trong các ề

ứng d ng th c tụ ự ế, đặc bi t trong x lý d li u tr c quan (như nh s ) và các d ệ ử ữ ệ ự ả ố ữliệu hai chi u khác ề

Khi mô hình truy n thề ẳng được m rở ộng để bao g m c các k t n i ph n h i ta ồ ả ế ố ả ồđược mạng nơ ron hồi quy (Recurrent Neural Network - RNN) RNN được s ử

dụng để ử x lý d u tu n tữ liệ ầ ự Ý tưởng chính c a RNN là s d ng chu i các ủ ử ụ ỗthông tin Ví d n u muụ ế ốn đoán từ tiếp theo có th xu t hi n trong m t câu thì ể ấ ệ ộ

ta cũng cần bi t các t trưế ừ ớc đó xuất hi n lệ ần lượt th ế nào RNN được g i là ọ

h i quy b i vì chúng th c hi n cùng m t tác v cho t t c các ph n t c a mồ ở ự ệ ộ ụ ấ ả ầ ử ủ ột chuỗ ới đầi v u ra ph thu c vào c ụ ộ ả các phép tính trước đó Nói cách khác, RNN

có kh ả năng nhớ các thông tin được tính toán trước đó Trên lý thuyết, RNN có thể ử ụng đượ s d c thông tin c a mủ ột văn bả ấn r t dài, tuy nhiên th c t thì nó ch ự ế ỉ

có th nh ể ớ được một vài bước trước đó RNN đã thu được các k t qu t t trong ế ả ốlĩnh vực x lý ngôn ng t ử ữ ự nhiên như: nhận d ng gi ng nói, mô hình hóa ngôn ạ ọ

ng , d ch máy, mô t nh, ữ ị ả ả

2.3 Huấ n luyện mạng nơ ron

2.3.1 Phương pháp gradient descent

Các mạng nơ ron truyền thẳng nhiều lớp được huấn luyện bằng phương pháp học

có giám sát, nghĩa là với mỗi đầu vào ta đã có đầu ra mong muốn của nó Quá trình huấn luyện điều chỉnh các hệ số (trọng số kết nối giữa các nơ ron và các bias) để mô hình khớp với dữ liệu huấn luyện Phương pháp cập nhật hệ số phổ biến nhất là Gradient Descent (GD)5

5 Tham khảo tài liệu mục [1]

28

Trong học máy nói riêng và toán tối ưu nói chung, ta thường xuyên phải tìm giá trị nhỏ nhất (đôi khi là lớn nhất) của một hàm số nào đó, ví dụ như hàm mất mát trong các kỹ thuật học máy Nhìn chung, trong học máy, việc tìm điểm tối ưu toàn cục của các hàm mất mát là rất phức tạp, thậm chí là bất khả thi Thay vào đó, người ta thường cố gắng tìm các điểm tối ưu cục bộ và ở một mức độ nào đó coi

đó là nghiệm cần tìm của bài toán

Các điểm tối ưu cục bộ là nghiệm của phương trình đạo hàm bằng 0 Tuy nhiên, trong hầu hết các trường hợp, việc giải phương trình đạo hàm bằng 0 là bất khả thi Nguyên nhân có thể đến từ sự phức tạp của đạo hàm, dữ liệu có số chiều lớn, hoặc có quá nhiều điểm dữ liệu Hướng tiếp cận phổ biến nhất là xuất phát từ một điểm mà ta coi là gần với nghiệm của bài toán, sau đó dùng một phép lặp để tiến dần đến điểm cần tìm, tức là đến khi đạo hàm gần bằng 0 GD và các biến thể của

nó là một trong những phương pháp được dùng nhiều nhất

Hình 7 là một ví d minh h a v GD cho m t hàm s mộụ ọ ề ộ ố t biến có đạo hàm m i ọnơi Trong đó, điểm là điểm cực tiểu và cũng là điểm làm cho hàm số đạt giá trị nhỏ nhất

Hình 7 Gradient descent

Ta thấy rằng:

Giả sử là điểm ta tìm được sau vòng l p th ặ ứ Ta cần tìm một thuật toán để đưa về càng gần càng tốt Có thể thấy rằng, nếu đạo hàm của hàm số tại :

thì nằm về bên phải so với và ngược lại Để điểm tiếp theo gần với hơn, ta cần di chuyển về bên trái, tức là về phía âm Nói cách khác, chúng ta cần di chuyển ngược dấu với đạo hàm:

Trong đó là một đại lượng ngược d u vấ ới đạo hàm Hơn nữa càng

xa v phía bên ph i thì ề ả càng lớn hơn 0 và ngược l i Vạ ậy, lượng di chuy n , m t cách tr c quan nh t, là t l ể ộ ự ấ ỉ ệthuận v i -ớ Từ đó ta có một cách cập nhật đơn giản là:

Trong đó, là một số dương được gọi là tốc độ học (learning rate) Dấu trừ thể hiện việc chúng ta đi ngược dấu với đạo hàm Đây cũng chính là lý do phương pháp này được gọi là GD (descent nghĩa là đi ngược) Các quan sát đơn giản phía trên, mặc dù không phải đúng cho tất cả các bài toán, là nền tảng cho rất nhiều phương pháp tối ưu nói chung và các thuật toán học máy nói riêng

Thực tế cho thấy rằng, tốc độ hội tụ của GD không những phụ thuộc vào điểm khởi tạo ban đầu mà còn phụ thuộc vào tốc độ học Việc lựa chọn giá trị này phụ thuộc vào từng bài toán và ta phải thực nghiệm để chọn ra giá trị tốt nhất Trong một số bài toán, GD có thể làm việc hiệu quả hơn bằng cách chọn tốc độ học khác

30

nhau ở mỗi vòng lặp Các thuật toán biến thể của GD như Adagrad, Adam, RMSprop thường được áp dụng cho các mô hình học sâu

2.3.2 Thuật toán lan truyền ngược

Để áp dụng GD cho mạng nơ ron nhân tạo, ta cần tính được đạo hàm của hàm mất mát (sai số) theo từng hệ số của mạng Phương pháp phổ biến nhất được dùng là lan truyền ngược (backpropagation)6, giúp tính đạo hàm ngược từ tầng ra đến tầng vào Tầng ra được tính trước vì nó gần với các giá trị đầu ra dự báo và hàm mất mát nhất Việc tính đạo hàm cho các hệ số của tầng ở phía trước theo đạo hàm của các hệ số ở tầng sau nó được thực hiện dựa trên quy tắc đạo hàm của hàm hợp Giả ử s là hàm m t mát cấ ủa mô hình, trong đó là t p h p t t c ậ ợ ấ ảcác ma tr n tr ng s k t n i gi a các t ng và bias c a các t ng ậ ọ ố ế ố ữ ầ ủ ầ Có ma tr n ậtrọng s cho m t mố ộ ạng nơ ron có tầng Các ma trận này được ký hiệu là

trong đó thể hiện các kết nối từ tầng thứ

t i t ng th ớ ầ ứ (nếu ta coi tầng vào là tầng thứ 0) Cụ thể hơn, phần tử thể ệ hi n k t n i t ế ố ừ nơ ron thứ của tầng thứ tới nơ ron thứ c a t ng ủ ầthứ Các bias c a t ng th ủ ầ ứ được ký hiệu là (Hình 8) Hai ma tr n ậ tương ứng là đầu vào và đầu ra của dữ liệu huấn luyện với mỗi cột ứng với một điểm dữ liệu Để áp dụng các phương pháp dựa trên gradient (như GD), ta cần tính được:

Đầu vào c a các t ng ủ ầ ẩn được ký hi u là ệ , đầu ra của mỗi nơ ron được ký hi u là ệ Đầu ra của nơ ron thứ trong t ng th ầ ứ được ký hiệu là Gi s r ng s ả ử ằ ố nơ

6 Tham khảo tài liệu mục [1]

31

ron ở ầ t ng th (không tính bias) là Véc tơ biểứ u diễn đầu ra c a t ng th ủ ầ ứđược ký hiệu là (Hình 8)

Hình 8 Các kí hi u c a m t ANN ệ ủ ộ

Đầu ra của mỗi nơ ron (trừ các nơ ron vào) được tính theo công thức:

Trong đó, là hàm kích hoạt Ở dạng véc tơ, biểu thức trên được viết là:

Trong đó, ký hiệu được dùng để chỉ ma trận chuyển vị Khi hàm kích hoạt được áp dụng cho một ma trận (hoặc một véc tơ), ta hiểu rằng nó được áp dụng cho từng thành phần của ma trận đó Sau đó, các thành phần này được sắp xếp lại đúng theo thứ tự để được một ma trận có kích thước bằng với ma trận đầu vào (gọi là element-wise)

Để thực hiện thuật toán lan truyền ngược, trước hết, ta cần tính giá trị đầu ra dự báo cho mỗ ầi đ u vào

Đạo hàm của hàm mất mát theo chỉ một thành phần của ma trận trọng số của tầng

ra là:

Trong đó thường là một đại lượng dễ tính toán và vì

Tương tự, đạo hàm của hàm mất mát theo một thành phần của véc tơ bias của tầng ra là:

Đạo hàm theo các tr ng s và bias c a t ng th ọ ố ủ ầ ứ ở phía trước được tính như sau:

Thuật toán lan truyền ngược cho từng điểm dữ liệu:

35

2) Đạo hàm theo từng ma trận

Để tăng tốc độ cho thuật toán, ta có thể thu gọn các hệ số về dạng véc tơ và ma trận Đặt Giữ nguyên Bước 1 như trên, các bước còn lại được thực hiện như sau:

Bước 5: Sau đó, tính đạo hàm cho ma trận trọng số và véc tơ bias:

Thuật toán lan truyền ngược cho một tập điểm dữ liệu:

36

Giả ử ằ s r ng m i l n ta l y ỗ ầ ấ điểm d liữ ệu để tính toán Khi đó, đầu vào và đầu ra

s d ng ma tr n ẽ ở ạ ậ , và là chiều dữ liệu đầu vào (không tính bias) Khi đó, các đầu ra sau mỗi tầng sẽ có dạng Tương tự, Các bước của thuật toán như sau:

Bước 1: Tính toán ti n: V i t p d liế ớ ậ ữ ệu đầu vào , tính giá trị đầu ra của mạng nơ ron, trong quá trình tính toán, lưu lại các đầu ra tại mỗi tầng Mỗi cột của ma trận tương ứng v i mớ ột cột của , tức là một điểm dữ liệu đầu vào

Đối với một bài toán phân hai lớp như bài toán mô hình hóa cháy rừng, dữ liệu huấn luyện/kiểm tra có thể được xem như là một phân phối xác suất Bernoulli của

dữ liệu đầu vào, chỉ nhận hai giá trị 0 (lớp không cháy/âm) hoặc 1 (lớp cháy/dương) Trong trường hợp này, hàm mất mát binary cross entropy (độ đo -hỗn loạn nhị phân) thường được sử dụng Hàm mất mát này đo khoảng cách giữa phân phối xác suất của dữ liệu huấn luyện/kiểm tra và của mô hình Khoảng cách giữa hai phân phối nhỏ đồng nghĩa với việc hai phân phối đó rất gần nhau và mô hình khớp tốt với dữ liệu

Ngoài hàm mất mát cross entropy, các hàm sai số trung bình bình phương (mean squared error) và sai số trung bình tuyệt đối (mean absolute error) cũng thường được sử dụng cho các thuật toán học máy Tuy nhiên, các hàm này thường dẫn đến kết quả kém khi được sử dụng với các phương pháp tối ưu dựa trên gradient Một số dạng nơ ron đầu ra sẽ sinh ra đạo hàm rất nhỏ khi kết hợp với các hàm mất mát này và làm cho quá trình huấn luyện khó đạt được kết quả mong muốn Đây

-là lý do khiến hàm mất mát cross-entropy được dùng phổ biến hơn

Hàm mất mát tổng được sử dụng để huấn luyện mạng nơ ron thường sẽ kết hợp một trong các hàm mất mát chính với một thành phần regularization Phương pháp regularization ép bé trọng số (weight decay) là một trong những phương pháp phổ biến nhất được sử dụng cho mạng nơ ron truyền thẳng sâu

7 Tham khảo tài liệu mục [1]

38

2.4.2 Nơ ron đầu ra

Việc lựa chọn hàm mất mát liên quan chặt chẽ với việc lựa chọn nơ ron đầu ra8 Đối với bài toán phân hai lớp, nơ ron đầu ra với hàm kích hoạt sigmoid thường được sử dụng kết hợp với hàm mất mát binary cross entropy Việc kết hợp này có -thể khắc phục được tình trạng bão hòa của hàm sigmoid (giá trị đạo hàm gần với

0 tại các điểm có trị tuyệt đối lớn), cản trở các thuật toán học dựa trên gradient đạt được kết quả tốt Do ta xem dữ liệu huấn luyện của bài toán cháy rừng như một phân phối xác suất Bernoulli, nơ ron ra sigmoid có thể được sử dụng Khi đó, giá trị đầu ra của một điểm dữ liệu dự báo xác suất điểm dữ liệu đó rơi vào lớp cháy Ngoài nơ ron sigmoid, các dạng nơ ron sau đây cũng có thể được sử dụng làm nơ ron đầu ra cho một mô hình mạng nơ ron nhân tạo Việc chọn dạng nơ ron nào phụ thuộc vào từng bài toán cụ thể

a) Nơ ron với hàm kích hoạt tuyến tính (linear unit): Được sử dụng khi mối quan

hệ giữa đầu ra và đầu vào của mô hình là gần tuyến tính Dạng nơ ron ra này thường được dùng cho dữ liệu có dạng phân bố xác xuất Gauss Do các nơ ron tuyến tính không bị bão hòa, chúng ít gây khó khăn cho các thuật toán tối ưu dựa trên gradient và có thể được sử dụng với nhiều thuật toán tối ưu

b) Nơ ron với hàm kích hoạt softmax (softmax unit): Thường được sử dụng cho

dữ liệu có dạng phân bố xác xuất Multinoulli, nghĩa là có nhiều hơn hai giá trị đầu ra rời rạc Do vậy, dạng nơ ron này thường được sử dụng cho các bài toán phân nhiều lớp và có thể được xem là dạng mở rộng của nơ ron sigmoid Tương tự như với nơ ron sigmoid, nơ ron softmax thường chỉ làm việc tốt với các hàm mất mát dạng cross entropy Các dạng hàm mất mát khác như sai số -trung bình bình phương có thể thất bại khi kết hợp với nơ ron softmax do cũng

bị bão hòa

8 Tham khảo tài liệu mục [1]

39

2.4.3 Nơ ron ẩn

Thiết kế các nơ ron ẩn đang là một lĩnh vực nghiên cứu cực kỳ tích cực và chưa

có nhiều nguyên tắc lý thuyết hướng dẫn cụ thể cách chọn nơ ron ẩn9 Tuy rằng

nơ ron ReLU là một lựa chọn mặc định tuyệt vời cho các nơ ron ẩn, nhiều loại nơ ron khác cũng có sẵn Trong thực tế, bất kỳ dạng nơ ron đầu ra nào ở trên cùng với nơ ron có hàm kích hoạt tanh có thể được sử dụng làm nơ ron ẩn Rất khó để xác định khi nào nên sử dụng loại nào (mặc dù các nơ ron ReLU thường là một lựa chọn chấp nhận được) Việc dự đoán trước loại nơ ron nào sẽ làm việc tốt nhất thường là không thể Quá trình thiết kế thường là thử và theo dõi sai số (trial and error), nghĩa là nếu ta dự cảm rằng một loại nơ ron ẩn nào đó có thể hoạt động tốt,

ta sẽ huấn luyện mô hình với loại nơ ron ẩn đó và đánh giá hiệu suất của mô hình trên bộ dữ liệu kiểm tra.Một vài dạng nơ ron ẩn tương đối phổ biến khác bao gồm Radial basis function (RBF), Softplus và Hard tanh

2.4.4 Thiết kế kiến trúc mô hình

Đối với mô hình mạng nơ ron truyền thẳng, các cân nhắc kiến trúc chính là chọn

số tầng ẩn và số nơ ron của mỗi tầng ẩn10 Như ta đã biết rằng, một mạng nơ ron với chỉ một tầng ẩn cũng có thể khớp được với dữ liệu huấn luyện Tuy nhiên, số

nơ ron của tầng ẩn này có thể rất lớn và mô hình có thể thất bại trong việc học cũng như tổng quát hóa chính xác trên tập dữ liệu kiểm tra (sai số lớn) Các mạng

nơ ron sâu (nhiều tầng ẩn) hơn thường sử dụng ít nơ ron hơn rất nhiều ở mỗi tầng

ẩn cũng như có khả năng tổng quát hóa tốt hơn trên tập dữ liệu kiểm tra Khi s ố

lượng t ng n l n lên, s ợầ ẩ ớ ố lư ng h s c n tệ ố ầ ối ưu cũng lớn lên và mô hình tr nên ở

ph c t p S ph c t p này ứ ạ ự ứ ạ ảnh hưởng t i hai khía c nh Th nh t, tớ ạ ứ ấ ốc độ tính toán s b ẽ ị chậm đi rất nhi u Th hai, n u mô hình quá ph c t p, nó có th biề ứ ế ứ ạ ể ểu

di n r t t t d u hu n luyễ ấ ố ữ liệ ấ ện, nhưng lại không bi u di n t t d u ki m tra ể ễ ố ữ liệ ểNói cách khác, hàm mất mát đạt giá tr r t nh trên t p hu n luyị ấ ỏ ậ ấ ện nhưng lại cao

9 Tham khảo tài liệu mục [1]

10 Tham khảo tài liệu mục [2]

Ngoài ra, n u mế ọi nơ ron của m t tộ ầng được k t n i v i mế ố ớ ọi nơ ron củ ầa t ng ti p ếtheo, ta gọi đó là kết n i hoàn toàn (fully connected) Mố ạng nơ ron với toàn kết

nối hoàn toàn ít được s d ng trong th c tử ụ ự ế Thay vào đó, có nhiều phương phápgiúp làm giảm độ ph c tứ ạp cũng như sự quá khớp ủa mô hình như giả c m s ốlượng k t n i (cho tr ng s b ng 0), lo i b ng u nhiên mế ố ọ ố ằ ạ ỏ ẫ ột vài nơ ron cho các

t ng ầ ẩn (kĩ thuật Dropout) ho c yêu c u m t s h s ph i giặ ầ ộ ố ệ ố ả ống nhau (để ả gi m

s h s c n tố ệ ố ầ ối ưu)

41

NGUY CƠ CHÁY RỪNG TẠI LÂM ĐỒNG 3.1 Vùng nghiên c u ứ

Lâm Đồng11nằm trong vùng kinh tế trọng điểm phía Nam – là khu vực năng động, có tốc độ tăng trưởng kinh tế cao và là thị trường có nhiều tiềm năng lớn.Tọa độ địa lý của tỉnh (Hình 10) từ 11°12’47” đến 120°19’01” vĩ độ Bắc và từ 107°16’23” đến 108°42’11” kinh độ Đông Diện tích 9.772,19 km2 với địa hình phức tạp Độ cao thay đổi trong khoảng từ 120 m đến 2280 m so với mực nước biển, với độ cao trung bình là 907,6 m và độ lệch chuẩn là 392,1 m

Hình 10 B ản đồ ỉnh Lâm Đồ t ng và nh ững điể m cháy r ừng trong năm 2013

Lâm Đồng nằm trong khu vực chịu ảnh hưởng của khí hậu nhiệt đới gió mùa biến thiên theo độ cao, trong năm có 2 mùa rõ rệt: mùa mưa từ tháng 5 đến tháng 11, mùa khô từ tháng 12 đến tháng 4 năm sau Nhiệt độ thay đổi rõ rệt giữa các khu

11 Tham khảo tài liệu mục [3]