Luận văn “Nghiên cứu và phát triển phương pháp phân lớp lúa ở đồng bằng sông hồng sử dụng ảnh vệ tinh landsat 8” được thực hiện nhằm mục đích sau: Tìm hiểu tình hình phát triển của phương pháp sử dụng ảnh viễn thám vào nghiên cứu hiện nay. Nghiên cứu và phát triển phương pháp phân loại lớp phủ đặc biệt là lớp lúa. Lập bản đồ lúa để phục vụ việc quản lý lương thực đồng bằng sông Hồng năm 2013,2014,2015,2016.
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN HOÀNG ANH NGHIÊN CỨU VÀ PHÁT TRIỂN PHƯƠNG PHÁP PHÂN LỚP LÚA Ở ĐỒNG BẰNG SÔNG HỒNG SỬ DỤNG ẢNH VỆ TINH LANDSAT LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS BÙI QUANG HƯNG Hà Nội 2017 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CƠNG NGHỆ NGUYỄN HỒNG ANH NGHIÊN CỨU VÀ PHÁT TRIỂN PHƯƠNG PHÁP PHÂN LỚP LÚA Ở ĐỒNG BẰNG SÔNG HỒNG SỬ DỤNG ẢNH VỆ TINH LANDSAT NGÀNH: CÔNG NGHỆ THÔNG TIN CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN MÃ SỐ: 60480104 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS BÙI QUANG HƯNG Hà Nội 2017 LỜI CAM ĐOAN Tôi xin cam đoan nội dung luận văn “nghiên cứu phát triển phương pháp phân lớp lúa đồng sông hồng sử dụng ảnh vệ tinh landsat 8” sản phẩm thực hướng dẫn TS Bùi Quang Hưng Trong toàn nội dung luận văn, điều trình bày nghiên cứu từ tài liệu tham khảo Tất tài liệu tham khảo có xuất xứ rõ ràng trích dẫn hợp pháp Tôi xin chịu trách nhiệm cho lời cam đoan Hà Nội, ngày tháng năm 2017 Người cam đoan Nguyễn Hồng Anh LỜI CẢM ƠN Tơi xin bày tỏ lòng biết ơn sâu sắc đến thầy hướng dẫn ,TS Bùi Quang Hưng Thầy giúp tơi có hội để theo đuổi nghiên cứu lĩnh vực u thích Trong suốt q trình thực luận văn, thầy tận tình hướng dẫn cho tơi, góp ý cho tơi đường lối, đồng thời đưa lời khuyên bổ ích để tơi hồn thành luận văn Tiếp đến, xin chân thành cảm ơn thầy cô giáo Khoa Công nghệ Thông tin, Đại học Công nghệ - Đại học Quốc gia Hà Nội, Trung tâm FIMO truyền đạt cho kiến thức kinh nghiệm vơ q báu q trình học tập nghiên cứu Cám ơn đề tài "Xây dựng hệ thống theo dõi định kỳ biến động sản xuất lúa vùng Đồng sông Hồng" Trung tâm FIMO(mã số QG.17.41) Tôi muốn cảm ơn bạn lớp đồng nghiệp cho tơi lời động viên, hỗ trợ góp ý mặt chuyên môn Hà Nội, tháng 12 năm 2017 Nguyễn Hoàng Anh MỤC LỤC CHƯƠNG I TỔNG QUAN NHỮNG VẤN ĐỀ NGHIÊN CỨU Giới thiệu Tổng quan viễn thám 10 a Giới thiệu viễn thám 10 b Dữ liệu ảnh vệ tinh viễn thám 10 c Những nghiên cứu phân loại lúa ngày 13 Khu vực nghiên cứu liệu 15 a Khu vực nghiên cứu 15 b Dữ liệu ảnh 16 c Dữ liệu tham chiếu- liệu phụ trợ 20 CHƯƠNG II PHƯƠNG PHÁP PHÂN LỚP 22 Thu thập liệu tiền xử lý liệu ảnh Landsat 22 a Cắt ảnh landsat theo địa giới đồng sông Hồng 23 b Xử lý ảnh với mặt nạ mây (CloudMask) 24 c, Xử lý chất lượng ảnh Cfmask ảnh landsat qua năm 2013,2014,2015,2016 24 Tập hợp liệu ảnh ghép theo tháng 25 Trích xuất đặc trưng 26 Phương pháp phân loại đánh giá 27 Các số đánh giá 28 CHƯƠNG III XÂY DỰNG HỆ THỐNG THỰC NGHIỆM 32 Kết thu thập liệu phụ trợ 32 a Dữ liệu khu vực nghiên cứu thu thập tổng hợp 32 b Dữ liệu sau tiền xử lý thống kê 35 Kết phân lớp 37 Kiểm nghiệm liệu thống kê 40 KẾT LUẬN 48 THAM KHẢO 49 HỆ THỐNG HÌNH ẢNH Hình Bản đồ vùng đồng sông Hồng 16 Hình Ảnh vệ tinh landsat qua năm 16 Hình Vệ tinh LDCM (Landsat 8) 17 Hình Ảnh Landsat bao gồm khu vực ảnh phủ rộng Đồng Bằng Sông Hồng 19 Hình Luồng xử lý Phương pháp đề xuất 22 Hình Hình ảnh giao diện hỗ trợ việc thu thập liệu 23 Hình Quy trình tiền xử lý ảnh 23 Hình Ảnh cắt theo địa giới đồng Sơng Hồng 24 Hình Ảnh mặt lạ mây (cfmask) trước sau xử lý 25 Hình 10 Phương pháp lấy trung bình 26 Hình 11 Phần trăm mây theo tháng ảnh ghép từ năm 2013 đến 2016, 36 Hình 12 Phân bố số lần quan sát điểm ảnh năm từ năm 2013 đến năm 2016, Số liệu thống kê từ hình ảnh ghép hàng tháng, pixel có quan sát tối thiểu 12 quan sát tối đa, 36 Hình 13 Phân bố số lần quan sát điểm ảnh năm từ năm 2013 đến năm 2016 thể đồ, 37 Hình 14 Ảnh ghép theo tháng giai đoạn vùng canh tác Lúa, 39 Hình 15 Số liệu cho năm 2013, 2014, 2015 2016 Người ta nhận thấy lúa chiếm diện tích lớn đồng sông Hồng phân bố dọc theo sơng Hồng thể từ đồ,Bản đồ lúa với lớp lúa (màu vàng) lớp khác (màu đen), 47 HỆ THỐNG BẢNG BIỂU Bảng 1: Số lượng ảnh Landsat surface năm 20 Bảng 2: Tập liệu kiểm thử tập huấn huyện 21 Bảng 3: Các phân lớp 28 Bảng 4: Vụ lúa đông xuân khu vực Đồng sông hồng 33 Bảng 5: Vụ lúa mùa khu vực đồng Sông hồng 33 Bảng 6: Diện tích canh tác lúa đông xuân khu vực Đồng sông Hồng 34 Bảng 7: Diện tích canh tác vụ lúa mùa khu vực Đồng sông hồng 35 Bảng 8: Chỉ số OA, Kappa, F1 cho phân lớp năm 38 Bảng 9: Số liệu thống kê độ xác độ nhạy cho lớp lúa lúa nhận dạng năm 2013,2014,2015 2016 40 Bảng 10: Tương quan vùng nhận dạng lúa thống kê liệu cấp tỉnh bốn năm phân loại 42 Bảng 11: Chi tiết so sánh vùng nhận dạng lúa liệu thống kê cấp Tỉnh 43 TÓM TẮT Luận văn “Nghiên cứu phát triển phương pháp phân lớp lúa đồng sông hồng sử dụng ảnh vệ tinh landsat 8” thực nhằm mục đích sau: - Tìm hiểu tình hình phát triển phương pháp sử dụng ảnh viễn thám vào nghiên cứu - Nghiên cứu phát triển phương pháp phân loại lớp phủ đặc biệt lớp lúa - Lập đồ lúa để phục vụ việc quản lý lương thực đồng sông Hồng năm 2013,2014,2015,2016 Lúa lương thực đặc trưng vùng cận nhiệt đới Cây lúa gắn bó với đời sống người dân Việt Nam từ xưa đến với văn minh lúa nước Với vai trò lương thực người dân,việc canh tác lúa Việt Nam cần giám sát để đảm bảo an ninh lương thực quốc gia ảnh hưởng đến thay đổi hệ sinh thái chung Do vậy, việc lập đồ khu vực trồng lúa yêu cầu quan trọng cho cấp quản lý, tổ chức nông nghiệp Để xây dựng đồ lúa, phương pháp truyền thống thường sử dụng quan nông nghiệp lấy thông tin sản xuất lúa thời điểm cách tác theo tỉnh, sau thống kê lại trở thành báo cáo chung Cách thức yêu cầu đòi hỏi phải khảo sát thực tế thực địa để có kết xác cho khu vực nhỏ, vấn đề bất cập khu vực canh tác nhiều đề tài có số liệu xác diện tích sản lượng phải trả chi phí lớn lượng người chịu trách nhiệm thống kê tỉnh nhiều việc thống kê có độ xác cao Trong nghiên cứu này, tơi trình bày kết nghiên cứu lập đồ lúa sử dụng cách tiếp cận sử dụng liệu ảnh vệ tinh, khu vực nghiên cứu vùng đồng sông Hồng, hai khu vực trồng lúa lớn Việt Nam Ưu điểm lớn phương pháp chi phí cho khảo sát thấp, sử dụng ảnh vệ tinh có sẵn để giải việc thành lập đồ lúa nhanh chóng với độ xác cao Việc giám sát qua ảnh vệ tinh giúp cập nhật tình hình lúa sinh trưởng thu hoạch liên tục Trong nghiên cứu này, tiến hành tiếp cận với ảnh vệ tinh cách sử dụng toàn liệu ảnh vệ tinh Landsat Surface tải từ USGS Earth Explorer[12] Tơi thu thập tồn ảnh phân loại theo năm, theo tháng để phân tích theo thời gian tập dự liệu có sẵn Sau tồn liệu sử dụng để thực nghiên cứu với phương pháp phân loại lớp phủ với hai thao tác : tiền xử lý ảnh, ghép ảnh theo tháng đưa đánh giá dựa vào đối chiếu liệu thu thập với liệu nhận dạng từ đồ Tiền xử lý ảnh với cách thức xử lý toàn liệu thu nhận cắt ảnh theo địa giới Đồng Sơng Hồng Kết đưa ảnh có chứa lãnh thổ Đồng Sông Hồng Công việc ghép ảnh tháng năm thiết kế đặc trưng sau xử lý phân lớp lúa Tất ảnh quang học mà vệ tinh Landsat thu nhận bao phủ vùng Đồng sông Hồng, kể ảnh bị che phủ đám mây tập hợp lại để xây dựng đồ lúa hàng năm từ năm 2013 đến năm 2016 Trong luận văn, tơi đưa quy trình cho việc phân loại lúa bao gồm hai giai đoạn Đầu tiên, tất hình ảnh quang học Landsat năm phân loại sử dụng cách ghép tất ảnh thu nhận tháng Sau đó, việc phân lớp theo thời gian sử dụng phân lớp eXtreme Gradient Boosting (XGBoost) Kết đánh giá thực nghiệm cho thấy độ xác tổng quan (Overall Accuracy) 89.42- 91.53%, số kappa 0.76- 0.79 số F1 0.90 – 0.92 Dữ liệu diện tích lúa tính từ đồ phân lớp so sánh với liệu thống kê từ quan thống kê nông nghiệp mức tỉnh Kết đạt số tương quan R2 từ 0.96 -0.98 sai số 7.06% đến 15.42% dựa sai số diện tích canh tác lúa so với liệu CHƯƠNG I TỔNG QUAN NHỮNG VẤN ĐỀ NGHIÊN CỨU Giới thiệu Lúa trồng phổ biến toàn giới Hiện nay, lúa thực phẩm thiểu 90 triệu người [1] Ở Việt Nam, lúa trồng liên tục thời điểm năm ln nguồn cung cấp lượng cho người dân Trong năm gần đây, diện tích canh tác lúa gạo giảm q trình thị hóa cơng nghiệp hóa nhanh tác động tiêu cực biến đổi khí hậu hai khu vực tơi dựa vào báo cáo diện tích lúa tổng cục thống kê đưa qua năm theo báo cáo quy hoạch sử dụng đất trồng lúa đến năm 2020 - tầm nhìn 2030 Bộ Nông nghiệp Phát triển nông thôn Để đảm bảo an ninh lương thực, nhà nước ta đưa nhiều hình thức quản lý cấp nhà nước đến tận vùng canh tác lúa báo cáo kịp thời hoạt động sản xuất lúa theo dõi sản lượng hàng năm Nhưng việc quản lý tới địa phương toán lớn cho đơn vị quan chức quản lý lương thực thực khó khăn giám sát Do đó, tốn giám sát khu vực trồng lúa áp dụng công nghệ hướng hiệu cần thiết đảm bảo an ninh lương thực Việt Nam Việc khảo sát hệ thống thông tin địa lý cung cấp cho người dùng kết việc phân tích ảnh vệ tinh mang tính khách quan khơng bị chi phối ý nghĩ chủ quan người điều tra, liệu ảnh vệ tinh đánh giá mức đột thiệt hại lúa dịch hại gây xảy dịch Việc khai tách ứng dụng hệ thống thơng tin địa lý giúp nhanh chóng bắt tiến độ xuống giống, tiến độ thu hoạch lúa, tình hình sâu bệnh, tình hình thiên tai vụ lúa đề có kế hoạch đạo sản xuất kịp thời, khuyên cáo, định hướng cho bà nông dân lịch gieo cấy sử dụng giống thích hợp nhằm nâng cao hiệu sản xuất lúa Nắm bắt xác tiến độ sản xuất để thực sách hỗ trợ sản xuất lúa Chính phủ lúc, chỗ Theo dõi biến động cấu giống lúa qua năm để tìm hiểu nguyên nhân, đánh giá giá trị giống lúa, có sách khuyến khích cần thiết đề bà nông dân sử dụng giống đem lại lợi ích cao Theo dõi, nắm bắt hướng chuyển dịch công trồng bà nông dân để có sách điều chỉnh cần thiết Trong trường hợp này, đồ lúa mà hệ thống 14 2009 để lập đồ lúa đồng sông Hồng với độ phân giải không gian 500m Tác giả so sánh diện tích lúa họ với liệu thống kê cấp tỉnh đạt tương quan R2 = 0,8911, nhiên khơng có báo cáo độ xác đồ [7] Dữ liệu ảnh quang học (MODIS, Landsat) nhận ý so với liệu radar Điều liệu quang học chịu ảnh hưởng mây ảnh radar không bị [8],[9] Một số nghiên cứu sử dụng liệu quang radar để lập đồ lúa gạo Nathan Torbick cộng sử dụng ảnh Landsat 8, Sentinel 1A PALSAR-2 để lập đồ lúa hàng năm cho Đồng Sông Hồng năm 2015 với độ xác OA=95.9% R2 0,97 mức tỉnh [10] Bản đồ lúa sau sử dụng lần đầu vào đánh giá hiệu ứng nhà kính khu vự Dữ liệu ảnh vệ tinh ảnh quang học ảnh radar hay kết hợp hai Xudong Guan cộng sử dụng ảnh ghép ngày ảnh MODIS cho nhận dạng lúa Việt Nam với ảnh độ phân giải 500 m vào năm 2010 Tác giả luận văn luận văn báo cáo số với OA đạt 70.7 -74.9% với R2 = 0.809% [3] Nguyen Thanh Sơn cộng sử dụng ảnh ghép ngày ảnh MODIS từ năm 2000 đến năm 2012 để nhận dạng lúa cắt vùng Đồng Sông Hồng với số khớp OA 80.6 – 85.5% R2 0.89-0.97 [4] Hiện với ảnh có độ phân giải cao, Ảnh Landsat 8(30 mét), Sentinel 1A/B (10 -30m) khai thác để nhận dạng lúa chất lượng phân giải cao Nguyễn Duy Bá cộng sử dụng liệu Sentinel 1A để tạo đồ vụ mùa lúa nhận dạng ỏ độ phân giải 10 mét năm 2015 cho Đồng sông hồng Tác giả đưa báo cáo số chỉnh xác 85.3 % R2 = 0.98 [5] Caitlin Kontgis cộng sử dụng ảnh Landsat dựa diện tích Đồng Sông Hồng từ năm 2009 đến 2014 để nhận dạng lúa cho lân cận năm 2010 với báo cáo độ xác OA= 90% [1] Tuy nhiên, chưa có nghiên cứu đưa tiềm thực ảnh vệ tinh Landsat để nhận dạng lúa Đồng Sông Hồng, nơi vùng trồng lúa chịu ảnh hưởng lớn vấn đề gia tăng nhanh thị hóa cơng nghiệp hóa [6] 15 Khu vực nghiên cứu liệu a Khu vực nghiên cứu Đồng Sông Hồng (ĐBSH) nằm phía bắc Việt Nam, có diện tích 14,763 km2, trải dài từ 21°34´ Bắc đến 19°5´ Nam 105°17´ Tây to 107°7´ Tây Đồng Sông Hồng chia thành 11 tỉnh bao gồm: Vĩnh Phúc, thủ đô Hà Nội, Bắc Ninh, Quảng Ninh, Hà Nam, Hưng n, Hải Dương, Hải Phòng, Thái Bình, Nam Định Ninh Bình Dân số ĐBSH đạt gần 19 triệu người với mật độ dân số khoảng 939 người ki lô mét vuông theo số liệu năm 2016 Đồng sơng hồng có khí hiệu nhiệt đới cận nhiệt đới với mùa năm, nhiều độ trung bình từ 22.5 đến 23.5 độ C lượng mưa trung bình tù 1400 đến 2000 mi li mét[7] Hiện nay, Việt nam xếp hạng nước đứng đầu xuất gạo giới[11] Và đồng Sông Hồng khu vực trồng lúa quan trọng Việt Nam, sau Vùng Đồng Mê Kông Lúa gạo trồng thường xuyên lần năm từ Tháng / tháng đến tháng ( vụ đông - xuân) tháng / tháng đến tháng 10 (mùa hè thu) Theo số liệu thống kê thức, vào năm 2016, diện tích trồng lúa đồng sơng Hồng hai mùa trồng lúa 531.590 524.620 Sản lượng đạt 3,5 triệu cho vụ đông xuân (~ 65,34 / ha) 2,7 triệu vụ hè thu (~ 54,86 / ha) Tuy nhiên, diện tích trồng lúa giảm dần năm gần q trình cơng nghiệp hóa nhanh thị hóa đồng sơng Hồng 16 Hình Bản đồ vùng đồng sơng Hồng b Dữ liệu ảnh Vệ tinh hệ thứ - Landsat Mỹ phóng thành cơng lên quỹ đạo vào ngày 11/02/2013 với tên gọi gốc Landsat Data Continuity Mission (LDCM) Đây dự án hợp tác NASA quan đo đạc Địa chất Mỹ Landsat tiếp tục cung cấp ảnh có độ phân giải trung bình (từ 15 - 100 mét), phủ kín vùng cực vùng địa hình khác trái đất Nhiệm vụ Landsat cung cấp thông tin quan trọng nhiều lĩnh vực quản lý lượng nước, theo dõi rừng, giám sát tài nguyên môi trường, quy hoạch đô thị, khắc phục thảm họa lĩnh vực nông nghiệp Hình Ảnh vệ tinh landsat qua năm 17 Hình Vệ tinh LDCM (Landsat 8) Landsat (LDCM) mang theo cảm: thu nhận ảnh mặt đất (OLI Operational Land Imager) cảm biến hồng ngoại nhiệt (TIRS - Thermal Infrared Sensor) Những cảm thiết kế để cải thiện hiệu suất độ tin cậy cao so với cảm Landsat hệ trước Landsat thu nhận ảnh với tổng số 11 kênh phổ, bao gồm kênh sóng ngắn kênh nhiệt sóng dài xem chi tiết Bảng Hai cảm cung cấp chi tiết bề mặt Trái Đất theo mùa độ phân giải không gian 30 mét (ở kênh nhìn thấy, cận hồng ngoại, hồng ngoại sóng ngắn); 100 mét kênh nhiệt 15 mét kênh toàn sắc Dải quét LDCM giới hạn khoảng 185 km x 180 km Độ cao vệ tinh đạt 705 km so với bề mặt trái đất Bộ cảm OLI cung cấp hai kênh phổ mới, Kênh dùng để quan trắc biến động chất lượng nước vùng ven bờ Kênh dùng để phát mật độ dày, mỏng đám mây ti (có ý nghĩa khí tượng học), cảm TIRS thu thập liệu hai kênh hồng ngoại nhiệt sóng dài (kênh 10 11) dùng để đo tốc độ bốc nước, nhiệt độ bề mặt Bộ cảm OLI TIRS thiết kế cải tiến để giảm thiểu tối đa nhiễu khí (SNR), cho phép lượng tử hóa liệu 12 bit nên chất lượng hình ảnh tăng lên so với phiên trước 18 Vệ tinh Kênh Bước sóng (micrometers) Độ phân giải (meters) LDCM – Landsat (Bộ cảm OLI TIRs) Band - Coastal aerosol 0.433 - 0.453 30 Band - Blue 0.450 - 0.515 30 Band - Green 0.525 - 0.600 30 Band - Red 0.630 - 0.680 30 Band - Near Infrared (NIR) 0.845 - 0.885 30 Band - SWIR 1.560 - 1.660 30 Band - SWIR 2.100 - 2.300 30 Band - Panchromatic 0.500 - 0.680 15 Band - Cirrus 1.360 - 1.390 30 Band 10 - Thermal Infrared (TIR) 10.3 - 11.3 100 Band 11 - Thermal Infrared (TIR) 11.5 - 12.5 100 Dữ liệu vệ tinh landsat tạo ra, lưu trữ phân phối Cục điều tra địa chất Hòa kỳ (USGS) từ năm 1972 Người sử dụng dựa vào liệu vệ tinh để nghiên cứu lịch sử thay đổi bề mặt đất u cầu liệu vơ tuyến thích hợp sử dụng theo tiêu chuẩn cao Để hỗ trợ hướng dẫn xây dựng dựa Hệ thống quan sát khí hậu tồn cầu USGS bắt tay vào sản xuất sản phẩm liệu ảnh landsat có chất lượng tốt để hỗ trợ việc nghiên cứu thay đổi bề mặt trái đất Một sản phẩm ảnh Landsat Surface Reflectance (ảnh phản xạ bề mặt vệ tinh landsat) Các sản phẩm liệu phản xạ bề mặt tương đương với cảm biển từ bề mặt trái đất mà khơng có vật từ bầu khí quyển, ảnh sáng vật thể Việc loại bỏ vật khí làm tăng tính thống khả tương phản 19 hình ảnh bề mặt Trái đất chụp vào khoảng thời gian khách Nhiều sản phẩm không gian địa lý mức cao bao gồm số thực vật, albedo, số diện tích LAI , vùng đất khơ hạn, mặt phủ, thay đổi bề mặt che phủ, dựa vào sản phẩm ảnh Surface reflectance Tơi sử dụng tồn ảnh phản xạ bề mặt Landsat 8( Landsat Surface Reflectance -L8SR) từ năm 2013 2016 phủ rộng Đồng Sông Hồng cho việc phân loại Lúa Ảnh Landsat Surface tải từ USGS Earth Explorer[12] Ảnh L8SR đươc tạo từ ảnh Landsat OLI sử dụng LaSRC[6] Ảnh L8SR bao gồm phổ bao gồm Aerosol, Blue, Green, Red, Near Infrared, SWIR1 and SWIR2 Ngoài mặt nạ mây cung cấp để phụ trợ liệu Hình Ảnh Landsat bao gồm khu vực ảnh phủ rộng Đồng Bằng Sông Hồng Đồng Bằng Sông Hồng nằm trọn bốn khung hình ảnh ảnh L8SR hình khớp đường Vệ tinh với đường số 126, 127 hàng 045,046 Hai 20 vùng ảnh có chung đường lấy ngày Mỗi khung nhìn có nhiều ảnh chồng ghép lên Tổng ảnh L8SR lấy liệt kê bảng Bảng 1: Số lượng ảnh Landsat surface năm Năm Số lượng ảnh 2013 61 2014 91 2015 93 2016 92 Tổng 337 c Dữ liệu tham chiếu- liệu phụ trợ Thứ nhất, số liệu thống kê thức Bộ Nông nghiệp Phát triển Nông thôn đưa [13] Dữ liệu cung cấp diện tích trồng lúa hai mùa cho 10 tỉnh giai đoạn từ năm 2013 đến năm 2016 Dữ liệu sử dụng để xác nhận khu vực có nguồn gốc từ vệ tinh Bên cạnh đó, số liệu sử dụng đất Bộ Tài nguyên Môi trường (MONRE) cung cấp năm 2010 sử dụng để hỗ trợ liệu học máy thu thập liệu thử nghiệm Dữ liệu sử dụng đất có chứa thông tin sử dụng đất Đồng Sông Hồng bao gồm khu vực trồng lúa Một liệu bổ sung khác Bản đồ lớp phủ năm 2015 JAXA cung cấp mô tả 10 lớp phủ đất bao gồm gạo độ phân giải 15m [14] Dữ liệu thử nghiệm chia thành tập liệu huấn luyện, liệu kiểm tra thu thập cách độc lập Các liệu thu thập theo sơ đồ chọn mẫu ngẫu nhiên phân lớp Hai lớp tạo từ liệu lớp lúa khơng phải lúa sau sử dụng để ngẫu nhiên tạo điểm kiểm nghiệm Các điểm sau gắn nhãn dựa kiến thức đặc điểm lúa hình ảnh có độ phân giải cao từ đồ Google Earth Dữ liệu thực nghiệm chọn dựa theo phương pháp lấy mẫu stratified Việc lấy 21 mẫu làm riêng rẽ cho liệu huấn luyện liệu kiểm tra Tập huấn luyện tập kiểm tra đảm bảo không điểm trùng lặp khu vực nghiên cứu Có hai strata lúa khơng phải lúa Thông tin strata lấy từ đồ lớp phủ JAXA năm 2015, có lớp lúa số lớp khác Các điểm mẫu ngẫu nhiên sinh từ hai tập sau gán nhãn dựa ảnh Google Earth liệu thực địa Cuối cùng, tổng kết số lượng điểm hai tập huấn luyện kiểm tra cho lớp lúa, lúa Chi tiết liệu huấn luyện kiểm tra liệt kê Bảng Bảng 2: Tập liệu kiểm thử tập huấn huyện Lúa Các lớp khác Tập huấn luyện 530 747 Tập kiểm tra 108 270 22 CHƯƠNG II PHƯƠNG PHÁP PHÂN LỚP Phương pháp đề cập tơi thể hình số Phương pháp chia làm bước Đầu tiên, tất ảnh L8SR phân loại theo năm sử dụng để ghép ảnh theo tháng vùng Đồng Sông Hồng Ảnh ghép mang đặc tính thời gian Sau phân lớp XGBoost huấn luyện tập liệu huấn luyện Cuối cùng, Tôi đánh giá lại tập liệu với liệu kiểm tra đối chiếu liệu thống thu thập khác Hình Luồng xử lý Phương pháp đề xuất Thu thập liệu tiền xử lý liệu ảnh Landsat Dữ liệu đầu vào phương pháp ảnh Landsat Surface cách thu thập miễn phí từ trang quan khoa học phủ liên bang Hoa Kỳ- Cục Khảo sát Địa chất Hoa Kỳ 23 Hình Hình ảnh giao diện hỗ trợ việc thu thập liệu Để có liệu chuẩn tồn vùng đồng sông Hồng, Tiền xử lý liệu cần thiết giúp đưa ảnh liệu ban đầu xác Sau thu thập liệu ảnh Lansat từ năm 2013 đến năm 2016 tiến hành bước sau để tạo liệu ảnh xác để đưa phân tích đánh giá: Hình Quy trình tiền xử lý ảnh a Cắt ảnh landsat theo địa giới đồng sông Hồng Mục đích cơng đoạn để tách phần ảnh khu vực nghiên cứu Trong nghiên cứu ảnh cắt theo ranh giới đồng sông Hồng với thơng số giữ ngun với ảnh cũ: 24 Hình Ảnh cắt theo địa giới đồng Sông Hồng b Xử lý ảnh với mặt nạ mây (CloudMask) Trong trình xử lý ảnh gốc, tơi cần loại bỏ điểm ảnh có liên quan đến mây để việc gép ảnh thuộc cung đường vệ tinh Landsat đưa xác không ảnh hưởng tham số mây c, Xử lý chất lượng ảnh Cfmask ảnh landsat qua năm 2013,2014,2015,2016 Phương pháp sử dụng điểm mặt nạ mây đối chiếu điểm nguồn ảnh srmask với tham số có trị số 1,2,8 giá trị cfmask gán với giá trị nhằm kiểm tra xác mây, đầy đủ loại mây 25 a, Trước Hình b, sau Ảnh mặt lạ mây (cfmask) trước sau xử lý Ảnh mặt lạ mây cfmask đầy đủ cập nhật thêm điểm mây mà ảnh cfmask bổ sung từ ảnh srmask Tập hợp liệu ảnh ghép theo tháng Một phần ảnh L8SR phủ Đồng Sông Hồng Một vùng có nhiều ảnh có nhiều điểm quan sát so với vùng khác Để tạo liệu thống để phân loại, Dữ liệu ảnh gép theo tháng tạo từ tất hình ảnh riêng lẻ đảm bảo liệu ảnh tháng Những ảnh gép bao phủ trọn vùng Đồng Sông Hồng quan sát tương pixel Để làm điều đó, Ảnh L8SR phân loại nhóm theo tháng Sau ảnh cắt theo đường bao địa giới Đồng Sông Hồng Tiếp theo, giá trị pixel đại diện tính tốn cách lấy trung bình điểm mà tơi quan sát Phương pháp trung bình xác định giá trị pixel trung bình từ hai liệu raster xếp chồng lên Kết tranh gép lại có giá trị đầu dạng Float hình minh họa bên 26 Hình 10 Phương pháp lấy trung bình Phương thức trung bình áp dụng với nhiều raster với cách thức thực nhiều raster lúc ta xử lý tương tự cách lấy giá trị trung bình raster cộng lại chia trọng số raster ta thu thập Với giá trị đầu vào Integer giá trị ảnh gép làm tròn Công thức : = + + ⋯+ Với : PM giá trị đại điện cho ảnh ghép Pn giá trị pixel với raster n số raster cần xử lý Phương pháp thực cho tất phổ thu thập Nếu điểm ảnh khơng quan sát tháng Thì giá trị đại diện xác lập giá trị cho tất dải phổ quang Tóm tắt chung điểm ảnh có số lượng có đến điểm quan sát tháng Cuối cùng, Giá trị điểm ảnh đại diện thay cho điểm quan sát ảnh ghép dại diện cho tháng Trích xuất đặc trưng Lúa trồng có biến động cao thay đổi cao[15] Đặc điểm quang phổ lúa gạo thay đổi lớn suốt vòng sinh trưởng lúa từ lúa nước đến chín vàng thu hoạch Việc lập đồ xác gạo đòi hỏi phải có nhiều quan sát đồng lúa Trong nghiên cứu này, tơi sử dụng hình ảnh ghép L8SR hàng tháng để lập đồ lúa Sau ghép hình ảnh cho Đồng Sơng Hồng, hình ảnh ghép chồng lên từ 27 tháng Giêng đến tháng Mười Hai để tạo tập hợp hình ảnh ghép Các đặc điểm tập hợp phổ từ đến tất hình ảnh ghép lại với Số đặc trưng tổng hợp lại với tính số ảnh đại diện có năm Mỗi năm thu thập nhiều 12 ảnh đại diện cho 12 tháng năm Mỗi tháng có chứa liệu đặc trưng lúa thời điểm tháng có kênh phổ tương ứng với kênh ảnh Landsat SR Tồn ảnh khơng tính liệu chứa mây coi điểm có mây khơng giá trị khơng đưa vào tính tốn điểm đại diện ảnh đại diện tháng năm • tháng : có kênh dải phổ • Ảnh đại diện năm : 12 x Số ảnh hàng tháng = số đặc trưng có cho việc phân lớp • Dữ liệu pixcel mây coi khơng có liệu cho việc phân lớp Phương pháp phân loại đánh giá Để phân lớp, phân lớp XGBoost nghiên cứu đề xuất sử dụng [16] XGBoost phân lớp chứng minh hiệu tốt nhiều lĩnh vực khác Tuy nhiên, XGBoost chưa ứng dụng phân lớp lớp phủ XGBoost cài đặt nguyên lý Gradient Boosting Machines (GBM) với số ưu điểm như: huấn luyện song song có khả mở rộng, bị overfitting Bên cạnh đó, XGBoost hoạt động tốt liệu thưa (sparse data), thích hợp cho việc phân loại liệu vệ tinh Đồng sơng Hồng bị mát nhiều mây Mơ hình XGBoost biểu diễn tổng học sở sau: Φ(xi) = ( ), ∈ (1) Trong đó, F khơng gian hàm học sở, xi vector liệu đầu vào, Φ hàm model Để xây dựng học sở cần có hàm mục tiêu Trong XGBoost, hàm mục tiêu biểu diễn theo công thức sau: ( )= ( ′, ) + Ω( ) (2) 28 Trong Ω( ) = + λ|| || phần regularization để kiềm chế overfitting, T số cây, w trọng số cho lá, λ số chọn trước (hyper- parameters) Trong XGBoost, sử dụng định dạng hàm mục tiêu trên, người dùng chọn hàm mát khác theo toán/thiết kế cá nhân Hơn nữa, người dùng định nghĩa học sở (thường decision trees) Để tối ưu hóa siêu tham số cho XGBoost, kỹ thuật 10-fold cross validation (thẩm định chéo) tập liệu huấn luyện sử dụng Tham số thẩm định chéo tốt sau sử dụng để huấn luyện XGBoost toàn tập huấn luyện Mơ hình phân lớp cuối kiểm tra lại tập liệu kiểm tra Các thực nghiệm nghiên cứu tổng kết Bảng Bảng 3: ID Năm Các phân lớp Số lượng ảnh ghép Số đặc điểm Bộ phân lớp theo tháng 2013 63 2014 12 84 2015 12 84 2016 12 84 XGBoost Các số đánh giá Để đánh giá hiệu nghiên cứu dùng số sau để so sánh: độ xác tổng thể (OA), số kappa , precision(độ xác) recall( độ hồi quy) , số R2 điểm số F1 (F1) sử dụng làm số liệu đánh giá nghiên cứu (Russell G Congalton 2008; POWERS 2011), số độ chênh lệch diện tích - diff(ha), diff(%) Ngồi ra, đồ lúa gạo sản xuất dùng để xác minh đồ so với liệu thống kê kiểm nghiệm mắt vùng sản xuất lúa ... lớp lúa đồng sông hồng sử dụng ảnh vệ tinh landsat 8 thực nhằm mục đích sau: - Tìm hiểu tình hình phát triển phương pháp sử dụng ảnh viễn thám vào nghiên cứu - Nghiên cứu phát triển phương pháp. .. ĐẠI HỌC CÔNG NGHỆ NGUYỄN HOÀNG ANH NGHIÊN CỨU VÀ PHÁT TRIỂN PHƯƠNG PHÁP PHÂN LỚP LÚA Ở ĐỒNG BẰNG SÔNG HỒNG SỬ DỤNG ẢNH VỆ TINH LANDSAT NGÀNH: CÔNG NGHỆ THÔNG TIN CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN... 60 480 104 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS BÙI QUANG HƯNG Hà Nội 2017 LỜI CAM ĐOAN Tôi xin cam đoan nội dung luận văn nghiên cứu phát triển phương pháp phân lớp