XÂY DỰNG mô HÌNH dự báo, dự đoán TÌNH HÌNH THỜI TIẾT dựa TRÊN các THÔNG số

lOMoARcPSD|11598335 HỌC VIỆN NGÂN HÀNG KHOA HỆ THỐNG THÔNG TIN QUẢN LÝ BÀI TẬP LỚN Học phần: Trí tuệ nhân tạo kinh doanh Đề tài: “XÂY DỰNG MƠ HÌNH DỰ BÁO, DỰ ĐỐN TÌNH HÌNH THỜI TIẾT DỰA TRÊN CÁC THƠNG SỐ” Giảng viên hướng dẫn: Ngơ Thuỳ Linh Nhóm thực hiện: 06 Nhóm lớp: IS42A16 Hà Nội, tháng năm 2022 lOMoARcPSD|11598335 PHÂN CHIA CÔNG VIỆC CỦA THÀNH VIÊN Họ tên Đoàn Thị Thảo Diệp Mã sinh viên 22A407002 Mức độ Số điện thoại Công việc đóng góp Nghiên cứu code, 0565442336 chạy Google Colab, 20% làm word phần Nghiên cứu code, Nguyễn Mai Hương 22A407010 chạy Google Colab, 0364179419 làm word phần 1, 20% phần tổng hợp word Khởi chạy chương Chử Mạnh Bảo 22A407016 0866125006 trình, check code, chạy Google Colab, 20% làm word phần Nguyễn Diệu Ngọc Nguyễn Hạnh Dung 22A401057 22A401092 Nghiên cứu code, 0962411068 chạy Google Colab, 20% làm word phần Nghiên cứu code, 0964982037 chạy Google Colab, làm word phần 20% lOMoARcPSD|11598335 MỤC LỤC LỜI MỞ ĐẦU PHẦN I: GIỚI THIỆU VỀ BÀI TOÁN Giới thiệu khái quát chung Phát biểu toán lý chọn toán Mục đích mơ hình PHẦN II: PHÂN TÍCH THU THẬP DỮ LIỆU A Giới thiệu cách thức thu thập liệu trình bày phần liệu thu thập Thực tiền xử lý liệu trước đưa vào mơ hình .7 Thu thập liệu (data) .7 Tiền xử lý liệu .8 B Phân tích, xác định tên thuộc tính liệu cần thu thập, kiểu liệu giá trị minh họa PHẦN III: GIỚI THIỆU VỀ THUẬT TOÁN VÀ CÁC KHỐI LỆNH TRONG CHƯƠNG TRÌNH 10 A Giới thiệu tổng quan thuật toán sử dụng .10 B Mô tả ngắn gọn ý nghĩa khối lệnh chương trình: 11 PHẦN IV: ĐÁNH GIÁ MƠ HÌNH 18 Ý nghĩa khả thi thực tế ứng dụng 18 Ưu – nhược điểm mơ hình 18 KẾT LUẬN 20 TÀI LIỆU THAM KHẢO .21 LỜI MỞ ĐẦU Đời sống xã hội ngày phát triển nâng cao, khơng nằm ngồi xu hướng phát triển cách mạng khoa học – công nghệ (cuộc cách mạng công nghiệp lần thứ 4), năm qua việc ứng dụng trí tuệ nhân tạo, kĩ thuật tiên tiến vào lĩnh vực dự báo thời tiết địa bàn nước cho thấy giải pháp tối ưu việc giảm nhẹ tác động thiên tai gây Sạt lở, lũ quét, hạn hán… vấn đề nhức nhối, dấu chấm hỏi lớn đặt cho nhà nước, phủ doanh nghiệp tư nhân cần phải đưa giải pháp phù hợp cảnh báo cấp thiết tới người dân địa phương để kịp thời ứng phó Có thể nói thời gian qua, thị trường cơng nghệ phục vụ lĩnh vực dự báo thời tiết phần lớn tham gia trung tâm, sở nghiên cứu Nhà nước Tuy nhiên, nắm bắt tiềm phân khúc thị trường này, số đơn vị tư nhân bắt đầu nghiên cứu, cung cấp ứng dụng cơng nghệ hữu ích hiệu Từ thấy, vấn đề thời tiết đặt lên hàng đầu đời sống hàng ngày, nhờ có dự báo thời tiết, đời sống người trở nên ổn định có biện pháp nhanh chóng ứng biến với thiên tai, hạn chế rủi ro ập đến lúc PHẦN I: GIỚI THIỆU VỀ BÀI TOÁN Giới thiệu khái quát chung Dự báo thời tiết ứng dụng khoa học – công nghệ để dự đốn trạng thái khí thời gian tương lai thời điểm định Cảnh báo thời tiết dự báo quan trọng cung cấp thông tin nhằm bảo vệ sống người tài sản hoạt động trời Dự báo thời tiết đời sống phát triển với tiến to lớn công nghệ, giúp lĩnh vực kinh tế - xã hội ngày nâng cao, có lĩnh vực hàng không, giúp cho chuyến bay di chuyển thuận lợi đến nơi an toàn Các tác hại thiên tai gây động đất, sạt lở, hạn hán, hay điển lũ lụt tỉnh miền Trung, Việt Nam, thấy, khơng có dự báo thời tiết, người dân rơi vào bị động, khơng kịp ứng phó thiên tai bất ngờ ập đến Đây vấn đề cấp thiết cập nhật báo cáo hàng ngày tới toàn người dân địa phương để có đề xuất, giải pháp chủ động chuẩn bị đối phó Phát biểu toán lý chọn toán Dự báo thời tiết tốn khó phức tạp Đặc biệt nước vùng nhiệt đới Việt Nam Trong báo viết: “Việt Nam nước dễ bị tổn thương giới biến đổi khí hậu, trẻ em phụ nữ nhóm đặc biệt có nguy cao.” Trên tồn cầu, Việt Nam quốc gia xếp thứ sáu chịu ảnh hưởng nặng nề biến đổi khí hậu Mỗi năm, diễn biến thời tiết ngày phức tạp dự báo trước gây tỷ lệ tử vong thiệt hại cho sở hạ tầng cao Chính thế, dự báo trước thời tiết điều vô cần thiết Hàng ngày, thấy tin dự báo thời tiết, quan trọng giúp người lập kế hoạch lao động, sản xuất, du lịch tham quan hoạt động trời Biết trước tượng thời tiết cực đoan xảy để có biện pháp thích nghi ứng phó kịp thời Giải pháp giúp cho đời sống người dân cải thiện nâng cao, kinh tế - văn hố – xã hội ngày lên ứng dụng công nghệ kĩ thuật việc chuẩn đoán thời tiết, đưa số cụ thể cảnh báo tình hình thiên tai kịp thời, lúc Do đó, nhóm xây dựng mơ hình dự báo, dự đốn tình hình thời tiết dựa thơng số Từ đó, áp dụng thuật tốn, mơ hình học máy, áp dụng cơng nghệ trí tuệ nhân tạo nhằm giúp việc dự báo thời tiết người dân trở nên hữu ích thuận tiện Mục đích mơ hình  Mục đích xây dựng mơ hình chuẩn đốn tình hình thời tiết qua thông số  Đưa dự báo tình trạng thời tiết dựa thơng số ngưng tụ nước, nhiệt độ, sức gió  Việc xây dựng mơ hình giúp chủ động đưa lựa chọn phù hợp với tình hình thời tiết dự báo, dự đoán PHẦN II: PHÂN TÍCH THU THẬP DỮ LIỆU A Giới thiệu cách thức thu thập liệu trình bày phần liệu thu thập Thực tiền xử lý liệu trước đưa vào mơ hình Thu thập liệu (data) Dữ liệu yếu tố bắt buộc tất toán Machine Learning Với toán dự báo thời tiết dựa thơng số cho trước, tìm kiếm download liệu trang Kaggle để phục vụ cho việc tiến hành thu thập liệu khởi chạy chương trình Dữ liệu cần thu thập số thơng tin thời tiết, thông số, ngày tháng ghi chép liệu, cụ thể: - Thời điểm ghi chép liệu: ngày tháng cụ thể mẫu thời tiết ghi lại rõ ràng, có thứ tự - Độ ngưng tụ nước đánh giá dựa thang đo từ mức - Nhiệt độ (chia làm nhiệt độ cao nhỏ nhất): nhiệt độ đo trạm khí tượng cung cấp số liệu báo cáo, đơn vị đo ºC - Sức gió - Trạng thái thời tiết Tiền xử lý liệu Sau tiến hành thu thập liệu, nhóm kiểm tra tổng quan liệu thấy số liệu ổn định, khơng có rối loạn số liệu Do liệu nhóm thu thập dạng số, nên khơng cần chuẩn hố liệu dạng số (ví dụ: Nam/nữ: 0/1) B Phân tích, xác định tên thuộc tính liệu cần thu thập, kiểu liệu giá trị minh họa Loại liệu Kiểu liệu Thời gian ghi liệu object Độ ngưng tụ nước (precipitation) float64 Nhiệt độ cao (temp_max) float64 Nhiệt độ thấp (temp_min) float64 Sức gió (wind) float64 Thuộc tính mơ tả Thuộc tính nhãn Loại thời tiết: - Mưa - Nắng - Mưa phùn - Sương mù - Tuyết object 10 PHẦN III: GIỚI THIỆU VỀ THUẬT TOÁN VÀ CÁC KHỐI LỆNH TRONG CHƯƠNG TRÌNH A Giới thiệu tổng quan thuật tốn sử dụng - Logistic regression Logistic Regression thuật toán phân loại dùng để gán đối tượng cho tập hợp giá trị rời rạc (như 0, 1, 2, ) Một ví dụ điển hình phân loại Email, gồm có email cơng việc, email gia đình, email spam, Giao dịch trực tuyến có an tồn hay khơng an tồn, khối u lành tính hay ác tình - Naive Bayes Naive Bayes Classifications (NBC) thuật toán dựa định lý Bayes lý thuyết xác suất để đưa phán đoán phân loại liệu dựa liệu quan sát thống kê Định lý Bayes giúp ta tính xác suất xảy giả thuyết cách thu thập chứng quán không quán với giả thuyết Khi chứng tích lũy, mức độ tin tưởng vào giả thuyết thay đổi Khi có đủ chứng, mức độ tin tưởng thường trở nên cao thấp, tức xác xuất sảy giả thuyết thay đổi chứng liên quan đến thay đổi - Decision tree Thuật toán tiền đề để đời phương pháp dự báo theo dòng Treebased method là: Random Forest, Bagging, AdaBoost, Gradient Boosting Machine (GBM) Extreme Gradient Boosting (XGBoost) Cây định ứng dụng phổ biến toán thuộc lĩnh vực ngân hàng vài lĩnh vực khác Một Decision Tree bao gồm thành phần sau:  Root Node: Nhánh chia Decision Tree  Internal Node: Các nhánh chia Decision Tree  Leaf Node: Các nhánh cuối định  Dept: số tầng 11 B Mô tả ngắn gọn ý nghĩa khối lệnh chương trình:  Đọc liệu, tiền xử lý liệu: Khai báo thư viện Khai báo thư viện hàm sử dụng bài: Pandas Khai báo thư viện hỗ trợ đọc phân tích liệu dạng bảng, đa chiều, có tiềm khơng đồng nhất) liệu chuỗi thời gian Matplotlib Là thư viện Python sử dụng Python Script để giúp tạo đồ thị 2D Thư viện có hỗ trợ tạo nhiều giao điểm hai trục số lúc Ngồi dùng Matplotlib để thao tác trực tiếp đến đặc điểm khác đồ thị Seaborn Là thư viện Python đánh giá cao giới xây dựng nhằm mục đích tạo hình ảnh trực quan đẹp mắt Nó coi phần mở rộng thư viện khác có tên Matplotlib xây dựng Sklearn Là thư viện mạnh mẽ dành cho thuật tốn học máy viết ngơn ngữ Python Thư viện cung cấp tập công cụ xử lý toán machine learning statistical modeling gồm: classification, regression, clustering, 12 dimensionality reduction Đọc liệu Để chạy bước tiếp theo, ta cần tải file data máy thực thao tác hình đây: Sau tải file lên thành công bước trên, để đọc dữ liệu từ file csv cần thực thao tác với Google Colab: Tiền xử lý liệu Bước in để khái quát liệu kiểm tra độ xác liệu đầu vào 13 Hiển thị liệu cần sử dụng biểu đồ thể tổng số ngày phần tử cột Weather: ⇨ Dựa vào biểu đồ thấy ngày mưa nắng khoảng 600 ngày, ngày có tuyết mưa phùn 100 ngày, ngày nhiều sương 100 ngày 14 ● Lấy liệu cần thiết: Trong bảng liệu gốc bao gồm liệu điều kiện (Precipitation, temp_max, temp_min, wind) kết (weather) Để dự đoán kết ta sử dụng phần liệu điều kiện để dự đoán nên ta sử dụng lệnh x = df.drop(colums = [‘weather’,’date’] tức lấy tất df ngoại trừ cột hàng weather date Sau lấy cột kết ‘Weather’ cột date khơng ảnh hưởng đến kết mưa hay nắng ) để loại trừ phần kết Data bao gồm giá trị df (các giá trị cột ‘Weather’) Chia liệu thành phần: train lấy 75% test 25% để quan sát ● Chuẩn hóa liệu: StandarScaler: phương pháp chia tỷ lệ dựa trung bình Cơng thức StandardScaler (Xi-Xmean) / Xstd, điều chỉnh giá trị trung bình StandardScaler dễ bị tác động ảnh hưởng ngoại lệ ngoại lệ ảnh hưởng tác động đến giá trị trung bình  Xử lý liệu nhanh chóng 15 ● Xây dựng mơ hình Sử dụng mơ hình khác Bayes, Logic Tree Đưa liệu điều kiện có sẵn kết tương ứng để mơ hình học nhận biết Ý nghĩa lệnh mơ hình học liệu train ● - Sau train xong, đưa liệu điều kiện khác để tiến hành kiểm tra kết dự đốn mơ hình - ypred dự đốn ytest mơ hình Đánh giá độ xác mơ hình Sau tiến hành kiểm tra, mơ hình đưa kết dự đoán ypred So sánh trùng hợp ypred ytest để đánh giá độ xác mơ hình Từ chấm điểm xác mơ hình 16 Lệnh để in điểm độ xác mơ hình Sau thực lệnh, kết bảng đây: Trong bảng kết mơ hình: Hàng giá trị ypred (giá trị bot dự đoán), cột giá trị ytest (giá trị thực tế) Theo thứ tự từ trái sang phải, loại thời tiết ứng với cột là: drizzle, fog, sun, snow, rain Tương tự, theo thứ tự từ xuống dưới, loại thời tiết ứng với hàng là: drizzle, fog, sun, snow, rain Như thấy, vị trí bot đốn (ytest ypred trùng nhau) hàng chéo bảng trên, giá trị ô hàng chéo số lần bot đốn Vậy giá trị cịn lại bảng số lần bot đốn sai 17  Giá trị ô hàng chéo khác nhiều, mơ hình có tỉ lệ dự đốn cao ● Sử dụng mơ hình thử dự báo với giá trị liệu Thử đưa data ngẫu nhiên để mơ hình dự đoán Gán data_need_to_predict với giá trị cần đoán ứng với điều kiện Precipitaton, temp_max, temp_min, wind Kết ta phần dự đoán thời tiết ngày hơm điều kiện liệu đưa vào ngẫu nhiên 18 PHẦN IV: ĐÁNH GIÁ MƠ HÌNH Ý nghĩa khả thi thực tế ứng dụng Ứng dụng mơ hình dự báo, dự đốn tình hình thời tiết qua thơng số giống mơ hình cơng nghệ trí tuệ nhân tạo khác áp dụng lĩnh vực Tình hình thời tiết ln vấn đề người dân, Nhà nước quan tâm hàng đầu Mơ hình này, thơng qua thơng số cập nhật chuẩn đốn thời tiết hơm nào, từ giúp người chủ động công việc, hoạt động sinh hoạt đời thường, đặc biệt thị trường hàng không, hạn chế rủi ro cho chuyến bay tránh thời tiết xấu, đem đến cho khách hàng an tâm, đồng thời phát triển kinh tế hàng khơng nói riêng kinh tế đất nước nói chung Cụ thể, mơ hình giúp mang lợi ích ví dụ sau:  Đối với đời sống sinh hoạt: + Để dễ dàng xếp lịch + Để dễ dàng tận dụng (phơi đồ…)  Đối với đời sống sản xuất: + Lên kế hoạch xử lí nơng sản + Để dễ dàng theo dõi tình hình bệnh tình đồng ruộng (dự báo thời tiết nông vụ)  Đối với an ninh, tình hình: + Ứng biến kịp thời với thiên tai + Đảm bảo an toàn cho tàu thuyền, ngư dân đánh bắt  Ứng dụng khả thi có ý nghĩa quan trọng đời sống hoạt động thường ngày Ưu – nhược điểm mơ hình  Ưu điểm chung: Cả mơ hình xử nhanh liệu chuẩn hóa, đưa kết sát so với thực tế với tỉ lệ mô hình lên đến 70% 19  Nhược điểm chung: Dữ liệu đầu vào thực tế có thiết hụt chênh lệnh lớn thuộc tính nhãn nên việc sai sót khơng thể tránh khỏi Tỉ lệ dự đốn sai mơ hình lên thuộc tính nhãn cao Ưu điểm Nhược điểm Mơ hình Có tỉ lệ cao Những thuộc tính nhãn có Naive Bayes mơ hình liệu dự đốn gần sai hết Mơ hình Những thuộc tính nhãn có Logistic liệu khơng dự đốn regression Các thuộc tính nhãn Mơ hình Tỉ lệ thấp mơ liệu có khả Decision Tree hình dự đốn 20 KẾT LUẬN Mơ hình dự báo, dự đốn tình hình thời tiết qua thơng số ứng dụng hiệu tiện ích đời sống Dự báo thời tiết có vai trò to lớn đời sống kinh tế, xã hội Dự báo giúp người đưa định đắn, dự báo sai mang lại hậu vô khủng khiếp Một xã hội văn minh, đại, đời sống người dân ấm no hạnh phúc phụ thuộc vào nhiều yếu tố Dự báo thời tiết xác bước đẩy quan trọng giúp cho tự chủ hành động, tránh rủi ro xấu xảy lúc Thay dự báo thời tiết qua kinh nghiệm dân gian xưa như: quan sát hình dạng đám mây hướng di chuyển chúng, quan sát trăng hay quan sát cách di chuyển đường bay chuồn chuồn… ứng dụng mang đến hiệu khoa học xác tiện lợi Có thể thấy, dự báo thời tiết khơng giúp ích cho đời sống người dân mà cịn làm tăng lợi ích kinh tế - xã hội đất nước lên đáng kể Biết trước thay đổi thời tiết bước quan trọng cơng xây dựng, hồn thiện văn minh đại, ấm no phồn thịnh 21 TÀI LIỆU THAM KHẢO Cuộc sống khơng có dự báo thời tiết, 15/06/2022 Khoa hệ thống thông tin quản lý, Slide trí tuệ nhân tạo kinh doanh Lavender (2018), Machine Learning – Thử làm nhà thiên văn dự báo thời tiết KHOA HỌC & CÔNG NGHỆ - 11:44 13/06/2019, Công nghệ 4.0: Cơ hội lớn cho ngành dự báo thời tiết Link data, code: Kaggle Như Huyền, 31/10/2021, Khoa học – công nghệ, Công nghệ dự báo thời tiết xác AI 22 ... chuẩn đoán thời tiết, đưa số cụ thể cảnh báo tình hình thiên tai kịp thời, lúc Do đó, nhóm xây dựng mơ hình dự báo, dự đốn tình hình thời tiết dựa thơng số Từ đó, áp dụng thuật tốn, mơ hình học... việc dự báo thời tiết người dân trở nên hữu ích thuận tiện Mục đích mơ hình  Mục đích xây dựng mơ hình chuẩn đốn tình hình thời tiết qua thơng số  Đưa dự báo tình trạng thời tiết dựa thông số. .. GIÁ MƠ HÌNH Ý nghĩa khả thi thực tế ứng dụng Ứng dụng mơ hình dự báo, dự đốn tình hình thời tiết qua thơng số giống mơ hình cơng nghệ trí tuệ nhân tạo khác áp dụng lĩnh vực Tình hình thời tiết