KHAI PHÁ DỮ LIỆU TỈ LỆ MẮC VÀ TỬ VONG DO VIRUS COVID 19 BẰNG THUẬT TOÁN PHÂN CỤM k MEANS

lOMoARcPSD|11424851 TRƯỜNG ĐẠI HỌC ĐIỆN LỰC KHOA CÔNG NGHỆ THÔNG TIN BÁO CÁO MÔN HỌC KHAI PHÁ DỮ LIỆU ĐỀ TÀI: KHAI PHÁ DỮ LIỆU TỈ LỆ MẮC VÀ TỬ VONG DO VIRUS COVID-19 BẰNG THUẬT TOÁN PHÂN CỤM K-MEANS Sinh viên thực hiện: ĐỒN THỊ HỊA VŨ THỊ MINH THƯƠNG Giảng viên hướng dẫn Khoa Chuyên ngành Lớp Khóa TRỊNH THỊ HỒNG : VŨ VĂN ĐỊNH : CÔNG NGHỆ THÔNG TIN : HT THƯƠNG MẠI ĐIỆN TỬ : D13HTTMĐT1 : 2018-2023 lOMoARcPSD|11424851 Hà Nội, tháng 02 năm 2021 PHIẾU CHẤM ĐIỂM Sinh viên thực : Họ tên Chữ ký Điểm Chữ ký Ghi Đồn Thị Hịa Vũ Thị Minh Thương Trịnh Thị Hồng Giảng viên chấm : Họ tên Giảng viên 1: lOMoARcPSD|11424851 Giảng viên 2: lOMoARcPSD|11424851 MỤC LỤC LỜI CẢM ƠN TÓM TẮT CHƯƠNG 1: TỔNG QUAN ĐỀ TÀI 1.1 Đặt vấn đề 1.2 Cơ sở hình thành đề tài 1.3 Mục tiêu đề tài 1.4 Đối tượng phương pháp nghiên cứu 1.5 Ý nghĩa đề tài 1.5.1 Ý nghĩa khoa học 1.5.2 Ý nghĩa thực tiễn 1.6 Bố cục đề tài CHƯƠNG 2: KHAI PHÁ DỮ LIỆU 2.1 Tổng quan kỹ thuật Khai phá liệu(Data mining) 7 2.1.1 Khái niệm khai phá liệu 2.1.2 Quy trình khai phá liệu 2.1.3 Ứng dụng khai phá liệu 11 2.2 Tổng quan hệ hỗ trợ định 11 2.3 Phân cụm liệu ứng dụng 12 2.3.1 Mục đích phân cụm liệu 12 2.3.2 Các bước để phân cụm 13 2.3.3 Các loại đặc trưng 15 2.3.4 Các ứng dụng phân cụm 16 lOMoARcPSD|11424851 2.3.5 Phân loại thuật toán phân cụm 2.4 Cơ sở liệu Y khoa 18 20 2.4.1 Sơ lược Đại dịch covid-19 20 2.4.2 Sự lây truyền 21 2.4.3 Dấu hiệu triệu chứng 22 CHƯƠNG 3: KỸ THUẬT PHÂN CỤM VÀ THUẬT TOÁN K-MENAS 23 3.1 Giới thiệu kỹ thuật phân cụm Khai phá liệu 23 3.2 Thuật Toán K-Means 24 3.3 Áp dụng sử dụng thuật toán K-means vào dataset Covid-19 29 CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ 4.1 Xây dựng mô hình Weka 31 31 KẾT LUẬN 41 TÀI LIỆU THAM KHẢO 42 lOMoARcPSD|11424851 DANH MỤC HÌNH ẢNH Hình Knowledge Discovery in Databases 10 Hình 2 Sơ đồ hệ hỗ trợ định 12 Hình Các bước trình phân cụm 15 Hình Các kỹ thuật phân cụm……… …………………………………… 23 Hình Mơ tả thuật tốn K-Means 24 Hình 3 Tập liệu Covid-19 sau phân cụm 30 Hình Nhập liệu vào Weka .31 Hình Dữ liệu đưa vào phân đoạn – tiền xử lý 32 Hình Các thuộc tính liệu tỷ lệ nguwoif chết nhiếm virus triệu người 33 Hình 4 Đầu phân lớp 34 Hình Đầu phân cum K-means vói tất thuộc tính 35 Hình Biểu đồ tỷ lê cụm theo tồn thuộc tính tồn liệu 36 Hình Đầu phân cum K-means vói thuộc tính quốc gia tỷ lệ người chết 37 Hình Biểu đồ tỷ lê cụm theo thuộc tính quốc gia người chết tồn liệu 38 Hình Đầu phân cum K-means vói thuộc tính quốc gia tỷ lệ người mắc bệnh 39 Hình 10 Biểu đồ tỷ lê cụm theo thuộc tính quốc gia người chết tồn liệu 40 lOMoARcPSD|11424851 DANH MỤC BẢNG BIỂU Bảng Triệu chứng tỉ lệ mắc bệnh 22 Bảng Bảng phân tích liệu đầu với tất thuộc tính 35 Bảng Bảng phân tích liệu đầu với thuộc tính Quốc gia tỷ lệ nguời chết 37 Bảng Bảng phân tích liệu đầu với thuộc tính Quốc gia tỷ lệ nguời chết 39 lOMoARcPSD|11424851 LỜI CẢM ƠN Qua tập lớn này, chúng em xin gửi lời cảm ơn tới thầy cô khoa công nghệ thông tin, đặc biệt thầy Vũ Văn Định cho chúng em có hội tìm hiểu góc kiến thức mới, hay bổ ích với tận tâm dạy dỗ chúng em, giúp chúng em hồn thiện đề tài Trong q trình tìm hiểu hồn thiện, đề tài khơng thể tránh khỏi sai sót, khuyết điểm Vì vậy, nhóm thực chúng em hy vọng nhận đánh giá đóng góp nhiệt tình từ phía thầy bạn để nhóm chúng em hoàn thiện Qua tập lớn này, chúng em xin cảm ơn bạn bè lớp D13HTTMDT1 giúp đỡ chúng em trình học tập làm tập lớn, chia sẻ kinh nghiệm kiến thức bạn tạo nên tảng kiến thức cho chúng em Cuối cùng, chúng em xin gửi lời cảm ơn gia đình đặc biệt cha mẹ tạo điều kiện tốt cho có đủ khả thực tập lớn này, trang trải học phí, đơng viên tinh thần cho em để học tập môi trường đại học tuyệt vời Chúng em xin chân thành cảm ơn! Nhóm sinh viên thực ĐỒN THỊ HỊA VŨ THỊ MINH THƯƠNG TRỊNH THỊ HỒNG lOMoARcPSD|11424851 TÓM TẮT Ngành y tế giáo dục ln vấn đề sống cịn quốc gia giới Trong năm gần đây, phủ Việt nam đặc biệt đầu tư cho hai ngành mũi nhọn thơng qua sách , nguồn vốn dành cho trang thiết bị hạ tầng nghiên cứu khoa học Trong lĩnh vực kho học, ngày có nhiều cơng trình khoa học y tế Tuy nhiên nghiên cứu khoa học ứng dụng công nghệ thông tin để giải tốn y tế khơng nhiều Do nguy hiểm tình hình lây lan diễn biến phức tạm đại dịch Covid-19 xảy toàn giới, nên chúng e làm đề tài sử dụng môn học khai phá liệu để xác định đánh gía tỷ lệ mắc bệnh tử vong người dân 200 quốc gia vũng lãnh thổ thấy nguy hiểm nhóm nước bị ảnh hưởng nhiều Nghiên cứu tiến hành theo bước chính: (1) Tìm hiểu nghiệp vụ y tế liên quan đến virus corona (2) Thu nhập tiền xử lý liệu (3) Tìm hiểu tốn phân cụm khai phá liệu, lựa chọn thuật toán phù hợp với yêu cầu toán đặt liệu thu nhập (4) Hiện thực chương trình máy tính đánh giá ý nghĩa thực tiễn lOMoARcPSD|11424851 CHƯƠNG 1: TỔNG QUAN ĐỀ TÀI 1.1 Đặt vấn đề Ứng dụng công nghệ thông tin vào việc lưu trữ xử lý thông tin ngày áp dụng hầu hết lĩnh vực, điều tạo lượng lớn liệu lưu trữ với kích thước tăng lên khơng ngừng Đây điều kiện tốt cho việc khai thác kho liệu để đem lại tri thức có ích với cơng cụ truy vấn, lập việc khai thác kho liệu để đem lại tri thức có ích với cơng cụ truy vấn, lập bẳng biểu khai phá liệu Khai phá liệu kỹ thuật dựa tảng nhiều lý thuyết xác xuất, thống kê, máy học nhằm tìm kiếm tri thức tiềm ẩn kho liệu có kích thước lớn mà người dùng khó nhận biết kỹ thuật thông thường Nguồn liệu y khoa lớn, áp dụng khai phá liệu lĩnh vực mang lại nhiều ý nghĩa cho ngành y tế Nó cung cấp nững thơng tin q giá nhằm hỗ trợ việc chuẩn đoán điều trị sớm giúp bệnh nhân thoát đưuọc nhiều bệnh hiểm nghèo Trong lĩnh vực y khoa Việt Nam, tuyến y tế phường, xã, vùng sâu, vùng xa cịn thiếu nhân lực y tế có trình độ chun môn thiếu trang thiết bị cần thiết chuẩn đốn bệnh Vì xây dựng hệ thống chuẩn đoán cần thiết cho ngành y tế Việt Nam Hệ hỗ trợ kết hợp với cán y tế giúp chuẩn đoán sớm số bệnh phát sớm bệnh nguy hiểm giảm gánh nặng kinh tế cho gia đình bệnh nhân xã hội Để minh chứng cho lợi ích mà việc chuẩn đoán mang lại, đề tài chọn liệu virus corona để thử nghiệm đánh giá Ứng dụng kỹ thuật phân cụm liệu khai phá liệu nhằm xây dựng hệ thống đánh giá hướng nghiên cứu đề tài Sau phân tích số thuật tốn đặc điểm liệu thu nhập visrus lOMoARcPSD|11424851 Mỗi cột ma trận khoảng cách (D) đối tượng (cột thứ tương ứng với đối tượng A, cột thứ tương ứng với đối tượng B,…) Hàng thứ ma trận khoảng cách biểu diễn khoảng cách đối tượng đến tâm nhóm thứ (c1) hàng thứ ma trận khoảng cách biểu diễn khoảng cách đối tượng đến tâm nhóm thứ (c2) Ví dụ, khoảng cách từ loại thuốc C=(4,3) đến tâm c1(1,1) 3.61 đến tâm c2(2,1) 2.83 tính sau: Bước Nhóm đối tượng vào nhóm gần Ta thấy nhóm sau vịng lặp thứ gồm có đối tượng A nhóm gồm đối tượng cịn lại B,C,D Bước Tính lại tọa độ tâm cho nhóm dựa vào tọa độ đối tượng nhóm Nhóm có đối tượng A nên tâm nhóm khơng đổi, c1(1,1) Tâm nhóm tính sau: 26 Downloaded by nhung nhung (nhungnguyen949595@gmail.com) lOMoARcPSD|11424851 Bước Tính lại khoảng cách từ đối tượng đến tâm Bước Nhóm đối tượng vào nhóm Bước Tính lại tâm cho nhóm 27 Downloaded by nhung nhung (nhungnguyen949595@gmail.com) lOMoARcPSD|11424851 Bước Tính lại khoảng cách từ đối tượng đến tâm Bước 10 Nhóm đối tượng vào nhóm 28 Downloaded by nhung nhung (nhungnguyen949595@gmail.com) lOMoARcPSD|11424851 Ta thấy G2 = G1 (Khơng có thay đổi nhóm đối tượng) nên thuật toán dừng kết phân nhóm sau: Thuật tốn K-Means có ưu điểm đơn giản, dễ hiểu cài đặt Tuy nhiên, số hạn chế K-Means hiệu thuật tốn phụ thuộc vào việc chọn số nhóm K (phải xác định trước) chi phí cho thực vịng lặp tính tốn khoảng cách lớn số cụm K liệu phân cụm lớn 3.3 Áp dụng sử dụng thuật toán K-means vào dataset Covid-19 Tập liệu covid-19 bao gồm liệu 200 quốc gia gồm nước có người chết virus covid-19 nước chưa có nguời chết covid-19 Tập liệu bao gồm thuộc tính sau: Quốc Gia Tỉ lệ người nhiễm triệu người Tỷ lệ nguời chết triệu người Tổng số người kiểm tra tất nước Tỷ lệ kiểm tra triệu người Đây toán phân cụm sử dụng phương pháp phân cụm khác k-Medians, Expectation Maximization (EM) để phân loại cho kết tốt Chúng ta hình dung tập liệu thông qua biểu diễn dạng file CSV sau, cột từ đến tương ứng với số 29 Downloaded by nhung nhung (nhungnguyen949595@gmail.com) lOMoARcPSD|11424851 XXXXXXX Hình 3 Tập liệu Covid-19 sau phân cụm 30 Downloaded by nhung nhung (nhungnguyen949595@gmail.com) lOMoARcPSD|11424851 CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ 4.1 Xây dựng mơ hình Weka Hình Nhập liệu vào Weka Hình Dữ liệu đưa vào phân đoạn – tiền xử lý 31 Downloaded by nhung nhung (nhungnguyen949595@gmail.com) lOMoARcPSD|11424851 Hình Các thuộc tính liệu tỷ lệ người chết nhiễm virus triệu người 32 Downloaded by nhung nhung (nhungnguyen949595@gmail.com) lOMoARcPSD|11424851 Hình 4 Đầu phân lớp • Đầu phân lớp: Các thuộc tính: Quốc Gia Tỉ lệ người nhiễm triệu người Tỷ lệ người chết triệu người Tổng số người kiểm tra tất nước Tỷ lệ kiểm tra triệu người 33 Downloaded by nhung nhung (nhungnguyen949595@gmail.com) lOMoARcPSD|11424851 Hình Đầu phân cụm K-means với tất thuộc tính Bảng phân tích liệu: Tâm Quốc Spain USA Germany Brazil 1% 80% 13% Gia Tỷ lệ che phủ 6% toàn liệu Bàng Bảng phân tích liệu đầu với tất cac thuộc tính 34 Downloaded by nhung nhung (nhungnguyen949595@gmail.com) lOMoARcPSD|11424851 Hình Biểu đồ tỷ lệ cụm theo tồn thuộc tính tồn liệu Hình Đầu phân cụm K-means với thuộc tính quốc gia tỷ lệ người chết Bảng phân tích liệu 35 Downloaded by nhung nhung (nhungnguyen949595@gmail.com) lOMoARcPSD|11424851 Cluster Tâm Quốc International Cambodia Vatican China 7% 27% 59% Gia Tỷ lệ che phủ % toàn liệu Bàng Bảng phân tích liệu đầu với thuộc tính Quốc gia tỷ lệ nguời chết Hình Biểu đồ tỷ lệ cụm theo thuộc tính quốc gia người chết tồn liệu 36 Downloaded by nhung nhung (nhungnguyen949595@gmail.com) lOMoARcPSD|11424851 Hình Đầu phân cụm K-means với thuộc tính quốc gia tỷ lệ người mắc bệnh Bảng phân tích liệu: Cluster Tâm Quốc Bahamas International Bolivia China 17% 5% 8% 70% Gia Tỷ lệ che phủ toàn liệu Bàng Bảng phân tích liệu đầu với thuộc tính Quốc gia tỷ lệ nguời chết 37 Downloaded by nhung nhung (nhungnguyen949595@gmail.com) lOMoARcPSD|11424851 Hình 10 Biểu đồ tỷ lệ cụm theo thuộc tính quốc gia người chết toàn liệu 38 Downloaded by nhung nhung (nhungnguyen949595@gmail.com) lOMoARcPSD|11424851 KẾT LUẬN Sau thời gian thực hiện, chúng em thực số kết sau: • Tìm hiểu khai phá liệu • Vai trị khai phá liệu • Tìm hiểu thuật tốn K-Means • Tìm hiểu K-means giải toán phân cụm người mắc bệnh chết quốc gia Chúng em tìm hiểu lý thuyết xác suất đến thuật tốn K-means Tuy độ xác cịn chưa cao chất phương pháp tập liệu chưa đủ lớn mong thầy giúp đỡ để tốn chúng em hoàn thiện 39 Downloaded by nhung nhung (nhungnguyen949595@gmail.com) lOMoARcPSD|11424851 TÀI LIỆU THAM KHẢO [1] Các tài liệu tham khảo thầy Vũ Văn Định [2] https://tecktalk.vn [3] https://machinelearningcoban.com [4] https://tailieu.vn [5] https://bigdatauni.com 40 Downloaded by nhung nhung (nhungnguyen949595@gmail.com) ... Ý nghĩa khoa học 1.5.2 Ý nghĩa thực tiễn 1.6 Bố cục đề tài CHƯƠNG 2: KHAI PHÁ DỮ LIỆU 2.1 Tổng quan k? ?? thuật Khai phá liệu(Data mining) 7 2.1.1 Khái niệm khai phá liệu 2.1.2 Quy trình khai phá... bẳng biểu khai phá liệu Khai phá liệu k? ?? thuật dựa tảng nhiều lý thuyết xác xuất, thống k? ?, máy học nhằm tìm kiếm tri thức tiềm ẩn kho liệu có k? ?ch thước lớn mà người dùng khó nhận biết k? ?? thuật... lOMoARcPSD|11424851 K? ??T LUẬN Sau thời gian thực hiện, chúng em thực số k? ??t sau: • Tìm hiểu khai phá liệu • Vai trị khai phá liệu • Tìm hiểu thuật tốn K- Means • Tìm hiểu K- means giải toán phân