Nghiên cứu nền tảng công nghệ google earth engine, ứng dụng xây dựng phần mềm phân tích, khai thác dữ liệu từ ảnh vệ tinh dành cho sinh viên, học viên đại học lâm nghiệp

TRƯỜNG ĐẠI HỌC LÂM NGHIỆP KHOA KINH TẾ VÀ QUẢN TRỊ KINH DOANH ===o0o== KHÓA LUẬN TỐT NGHIỆP ĐỀ TÀI: NGHIÊN CỨU NỀN TẢNG CÔNG NGHỆ GOOGLE EARTH ENGINE, ỨNG DỤNG XÂY DỰNG PHẦN MỀM PHÂN TÍCH, KHAI THÁC DỮ LIỆU TỪ ẢNH VỆ TINH DÀNH CHO SINH VIÊN, HỌC VIÊN ĐẠI HỌC LÂM NGHIỆP Giảng viên hướng dẫn: Ths Trần Xuân Hòa Sinh viên thực hiện: Lương Văn Hiếu Mã sinh viên: 1851070141 Lớp: K63 - HTTT Hà Nội, 2022 MỤC LỤC MỤC LỤC i DANH MỤC HÌNH ẢNH iv LỜI CẢM ƠN vi CHƯƠNG TỔNG QUAN VỀ ĐỀ TÀI NGHIÊN CỨU Lý chọn đề tài 1.1.1 Mục đích chọn đề tài 1.1.2 Ý nghĩa thực tiễn đề tài 1.1.3 Ý nghĩa khoa học đề tài Mục tiêu 1.2.1 Mục tiêu chung 1.2.2 Mục tiêu cụ thể Nội dung nghiên cứu Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu CHƯƠNG CƠ SỞ LÝ THUYẾT Khảo sát thực trạng Đặc tả yêu cầu toán Lựa chọn giải pháp lập trình, cơng nghệ tảng phát triển Lựa chọn kiến trúc hệ thống, mơ hình phát triển Tìm hiểu tảng Google Earth Engine 2.5.1 Khái niệm 2.5.2 Google Earth Engine hoạt động 2.5.3 Google Earth Engine viễn thám Những lợi ích Google Earth Engine 10 Giới thiệu ảnh vệ tinh Landsat 13 i Giới thiệu ảnh vệ tinh Sentinal-2 13 Giới thiệu ảnh viễn thám Modis 14 Một số công nghệ khác sử dụng 14 2.10.1 Python 14 2.10.2 Django Framework 15 2.10.3 PostgreSQL, Navicat 18 2.10.4 RestAPI 19 2.10.5 HTML 21 2.10.6 CSS 22 2.10.7 JavaScript 23 2.10.8 Bootstrap 24 CHƯƠNG XÂY DỰNG WEBSITE QUẢN LÝ HIỆN TRẠNG RỪNG 25 Xác định tác nhân 25 Danh sách Use Case (UC) 25 Biểu đồ Use Case 26 3.3.1 Biểu đồ Use Case tổng quát chức hệ thống 26 Đặc tả Use Case 27 3.4.1 UC Đăng nhập 27 3.4.2 UC quản lí liệu ranh giới cấp Tỉnh/Huyện/Xã 28 3.4.3 UC phân tích ảnh vệ tinh 29 3.4.4 UC Gửi nhận Email 30 3.4.5 UC phân tích độ cao, hướng dốc 30 Mơ hình hoạt động 31 Xây dựng biểu đồ hoạt động 32 3.6.1 Đăng nhập 32 3.6.2 Quản lí liệu ranh giới cấp Tỉnh/Huyện/xã 32 ii 3.6.3 Phân tích ảnh vệ tinh 33 3.6.4 Gửi nhận Email 34 3.6.5 Phân tích độ cao hướng dốc 34 Xây dựng biểu đồ trình tự 35 3.7.1 Đăng nhập 35 3.7.2 Biểu đồ trình tự quản lí liệu ranh giới cấp Tỉnh/Huyện/xã 36 3.7.3 Biểu đồ trình tự phân tích ảnh vệ tinh 37 3.7.4 Biểu đồ trình tự xác định độ dốc – độ cao - hướng dốc 38 Thiết kế sở liệu 39 3.8.1 Xác định thực thể, thuộc tính 39 Mơ hình liệu quan hệ 40 Cấu trúc ứng dụng 41 Một số hàm xử lý 41 Kết xây dựng ứng dụng 44 Kiểm thử chức phần mềm 47 CHƯƠNG KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN 49 Những kết đạt 49 Một số hạn chế sản phẩm 49 Hướng phát triển tương lai 49 DANH MỤC CÁC TÀI LIỆU THAM KHẢO 50 iii DANH MỤC HÌNH ẢNH Hình 1: Mơ hình kiến trúc tổng thể Hình 2: Mơ hình triển khai phần mềm Hình 3: Google Earth Engine Hình 4: Earth Engine hoạt động Hình 5: Google Earth Engine viễn thám Hình 6: Google Earth Engine viễn thám Hình 7: Biên độ dải sóng 10 Hình 8: Mất rừng tỉnh Riau Sumatra, Indonesia, 2000 – 2012 11 Hình 9: Dữ liệu public Earth Engine 11 Hình 10: Tải lên liệu cá nhân 12 Hình 11: Ảnh chụp vệ tinh 13 Hình 12: mơ hình MVT Django 16 Hình 13: cấu trúc thư mục chương trình Django 17 Hình 14: REST API 20 Hình 15: Cấu trúc đoạn CSS 22 Hình 16: Biểu đồ Use Case tổng quát chức hệ thống 26 Hình 17: Mơ hình hoạt động hệ thống 31 Hình 18: Biểu đồ hoạt động đăng nhập 32 Hình 19: biểu đồ hoạt động quản lí ranh giới ấp Tỉnh/Huyện/Xã 32 Hình 20: biểu đồ hoạt động phân tích ảnh vệ tinh 33 Hình 21: biểu đồ hoạt động nhận gửi Email 34 Hình 22: biểu đồ hoạt động phân tích độ cao hướng dốc 34 Hình 23: biểu đồ trình tự đăng 35 Hình 24: biểu đồ trình tự quản lí liệu ranh giới cấp Tỉnh/Huyện/xã 36 Hình 25: Biểu đồ trình tự phân tích ảnh vệ tinh 37 Hình 26: Biểu đồ trình tự xác định độ dốc – độ cao - hướng dốc 38 Hình 27: Biểu đồ trình tự xác định độ dốc – độ cao - hướng dốc 40 Hình 28: Giao diện trang chủ 44 iv Hình 29: Chức chọn khu vực quan tâm 44 Hình 30: Chức phân tích ảnh vệ tinh 45 Hình 31: Chức chia sẻ thơng tin 45 Hình 32: Ứng dụng xác định độ dốc, độ cao, hướng dốc 46 v LỜI CẢM ƠN Quá trình thực luận văn tốt nghiệp giai đoạn quan trọng quãng đời sinh viên Luận văn tốt nghiệp tiền đề nhằm trang bị cho em kỹ nghiên cứu, kiến thức quý báu trước lập nghiệp Trong thời gian nghiên cứu viết báo cáo em nhận giúp đỡ nhiệt tình tập thể, cá nhân trường Trước hết em xin gửi lời cảm ơn chân thành sâu sắc thầy cô trường, thầy cô khoa Kinh tế Quản trị kinh doanh, thầy cô ngành Hệ thống thông tin Trường Đại học Lâm Nghiệp giúp đỡ dạy em trình học tập trường Đặc biệt em xin chân thành cảm ơn đến thầy Trần Xuân Hòa Người tận tình giúp đỡ, định hướng cách tư cách làm việc khoa học Đấy góp ý quý báu để em hoàn thành tốt đề tài khóa luận tốt nghiệp: “Nghiên cứu tảng cơng nghệ Google Earth Engine, ứng dụng xây dựng phần mềm phân tích, khai thác liệu từ ảnh vệ tinh dành cho sinh viên học viên đại học Lâm Nghiệp” Do kiến thức khả lý luận nhiều hạn chế nên khóa luận cịn thiếu sót định Em mong nhận đóng góp thầy giáo, giáo để khóa luận tốt nghiệp em hoàn thiện Cuối em xin kính chúc thầy giáo khoa Kinh tế Quản trị kinh doanh, Ban giám hiệu Nhà trường mạnh khỏe, hạnh phúc thành công nghiệp giảng dạy Em xin chân thành cảm ơn! Xuân Mai, ngày… tháng … năm 2022 Sinh viên Lương Văn Hiếu vi CHƯƠNG TỔNG QUAN VỀ ĐỀ TÀI NGHIÊN CỨU Lý chọn đề tài Hiện nay, q trình hội nhập phát triển, tiến đến cơng nghệ 4.0, đặc thù sinh viên ngành lâm nghiệp nói riêng lĩnh vực viễn thám, tài nguyên môi trường cần khai thác nhiều liệu địa lý không gian, liệu vệ tinh dùng hoạt động nghiên cứu đánh giá Thông qua trao đổi khảo sát thực tế từ khóa sinh viên qua ý kiến thầy cô trường Đại học Lâm nghiệp em nhận thấy tảng Google Earth Engine tảng mạnh mẽ ứng dụng nhiều hoạt động nghiên cứu Tuy nhiên, sinh viên không thuộc ngành cơng nghệ thơng tin có khó khăn định kĩ lập tạo ứng dụng khai thác nguồn liệu để phục vụ học tập Vì lý trên, với mong muốn hỗ trợ sinh viên trường Đại học Lâm nghiệp dễ dàng việc nghiên cứu, hướng dẫn thầy Trần Xuân Hòa em chọn đề tài: “Nghiên cứu tảng công nghệ Google Earth Engine, ứng dụng xây dụng phần mềm phân tích, khai thác sữ liệu từ ảnh vệ tinh dành cho sinh viên học viên Đại học Lâm Nghiệp” để làm đề tài nghiên cứu khóa luận tốt nghiệp 1.1.1 Mục đích chọn đề tài Em mong muốn làm chủ cơng nghệ mới, tạo công cụ giúp sinh viên trường Đại học Lâm nghiệp tiếp cận, thao tác, nghiên cứu với nguồn liệu khổng lồ tảng Google Earth Engine 1.1.2 Ý nghĩa thực tiễn đề tài Qua đề tài trên, em muốn hiểu rõ, nắm bắt phương thức hoạt động, thành phần ưu, cách thao tác với tảng Google Earth Engine Giúp sinh viên dễ dàng thu thập, đánh giá số tự nhiên thông qua liệu mà tảng mang lại 1.1.3 Ý nghĩa khoa học đề tài Trực quan hóa liệu vệ tinh, từ đưa giải pháp giải vấn đề liên quan tới môi trường, kinh tế xã hội… Mục tiêu 1.2.1 Mục tiêu chung Sử dụng tảng công nghệ Google Earth Engine để tạo ứng dụng giúp sinh viên Lâm Nghiệp tiếp cận, khai thác liệu ảnh vệ tinh 1.2.2 Mục tiêu cụ thể Để tới mục tiêu chung, mục tiêu cụ thể sau cần đạt được:  Hiểu tảng công nghệ Google Earth Engine  Thử nghiệm ứng dụng Nội dung nghiên cứu Để đạt mục tiêu trên, đề tìa tiến hành nghiên cứu nội dung sau:  Nội dung 1: khảo sát thực trạng - Sau khảo sát trường Đại học Lâm Nghiệp, em thấy sản phẩm quan sát biến đổi diện tích rừng hữu ích cần thiết  Nội dung 2: nghiên cứu công nghệ: - Nghiên cứu tảng công nghệ Google Earth Engine - Nghiên cứu công nghệ web phát triển backend: Python, Django, Restfull API… - Nghiên cứu công nghệ web phát triển front-end: HTML, CSS, Javascript, Bootstrap Đối tượng phạm vi nghiên cứu  Đối tượng nghiên cứu - Đối tượng mặt công nghệ: tảng Google Earth Engine - Đối tượng mặt liệu: Dữ liệu ảnh vệ tinh - Đối tượng mặt người: Sinh viên Trường Đại học Lâm nghiệp  Phạm vi nghiên cứu - Phạm vi công nghệ: nghiên cứu công cụ công nghệ phát triển ứng dụng Web công nghệ Google Earth Engine - Phạm vi không gian thời gian: Từ ngày 15 tháng 02 năm 2022 đến ngày 20 tháng 07 năm 2022 - Phạm vi người: nghiên cứu khảo sát mong muốn sinh viên trang ứng dụng thu thập liệu từ ảnh vệ tinh Phương pháp nghiên cứu  Phương pháp thu thập liệu - Thu thập liệu nhu cầu người dùng qua bảng khảo sát câu hỏi vấn  Phương pháp xử lý số liệu - Thông tin số liệu xử lý công cụ lập trình phần mềm máy tính  Phương pháp phân tích số liệu: - Phương pháp so sánh đối chiếu: sử dụng để kiểm tra độ xác thơng tin liệu  Các phương pháp khác: - Phương pháp chuyên gia: Tham khảo ý kiến thầy hướng dẫn Trần Xn Hịa thầy ngành Hệ thống thông tin - Phương pháp kế thừa: Kế thừa kết nghiên cứu, ứng dụng thông tin liệu viết Google Earth Engine 3.7.2 Biểu đồ trình tự quản lí liệu ranh giới cấp Tỉnh/Huyện/xã Hình 24: biểu đồ trình tự quản lí liệu ranh giới cấp Tỉnh/Huyện/xã 36 3.7.3 Biểu đồ trình tự phân tích ảnh vệ tinh Hình 25: Biểu đồ trình tự phân tích ảnh vệ tinh 37 3.7.4 Biểu đồ trình tự xác định độ dốc – độ cao - hướng dốc Hình 26: Biểu đồ trình tự xác định độ dốc – độ cao - hướng dốc 38 Thiết kế sở liệu 3.8.1 Xác định thực thể, thuộc tính  tb_Province Tên trường Mơ tả Kiểu liệu matinh Mã tỉnh Integer tinh Tên tỉnh integer tinhvt Tên tỉnh viết tắt integer dtich Diện tích Float geom Bản đồ Multipolygon Ràng buộc Khóa  tb_District Tên trường Mô tả Kiểu liệu mahuyen Mã huyện Integer huyen Tên huyện integer huyenvt Tên huyện viết tắt integer matinh_id Mã tỉnh Interger dtich Diện tích Float geom Bản đồ Multipolygon 39 Ràng buộc Khóa Khóa ngoại  tb_Commune Tên trường Mơ tả Kiểu liệu Ràng buộc maxa Mã xã Integer xa Tên xã integer xavt Tên xã viết tắt integer mahuyen_id Mã huyện Interger Khóa ngoại matinh_id Mã tỉnh Interger Khóa ngoại dtich Diện tích Float geom Bản đồ Multipolygon Mơ hình liệu quan hệ Hình 27: mơ hình liệu quan hệ 40 Khóa Cấu trúc ứng dụng Thành phần cấu trúc ứng dụng xây dựng theo mơ hình dịch vụ cấu thành ứng dụng (bắt đầu thành tố app_*) Mỗi ứng dụng cung cấp dịch vụ API theo chuẩn REST Thông tin ứng dụng thành phần cụ thể sau: TT Ứng dụng thành phần Mô tả app_quanlyranhgioi Cung cấp chức quản lý liệu ranh giới cấp Tỉnh/Huyện/Xã app_email Cung cấp chức xử lý gửi/nhận email app_bando Cung cấp chức hiển thị tương tác đồ app_phantichanh Cung cấp chức lõi phân tích xử lý ảnh vệ tinh app_docaohuongdoc Cung cấp chức phân tính mơ hình số độ cao DEM xác định độ cao, hướng dốc app_sms Cung cấp chức dịch vụ gửi SMS qua SMS Gateway Một số hàm xử lý  Hàm xử lý mây cho ảnh Sentinel def maskSE2clouds(image): qa = image.select('QA60') # Bits 10 and 11 are clouds and cirrus, respectively cloudBitMask =