Đồ án môn học công nghệ dữ liệu lớn đề tài phân tích dữ liệu xu hướng toàn cầu về rối loạn sức khỏe tâm thần

TRƯỜNG ĐẠI HỌC TÀI NGUYÊN VÀ MÔI TRƯỜNG TP.HCM KHOA: HỆ THỐNG THÔNG TIN VÀ VIẾN THÁM BÁO CÁO ĐỒ ÁN MÔN HỌC: CÔNG NGHỆ DỮ LIỆU LỚN ĐỀ TÀI : PHÂN TÍCH DỮ LIỆU XU HƯỚNG TỒN CẦU VỀ RỐI LOẠN SỨC KHỎE TÂM THẦN Giảng viên hướng dẫn : Ths Lê Quang Thiện Nhóm : Thành Viên: Nguyễn Ngọc Tú Huỳnh Tấn Đạt Lớp: ĐHCNTT3 Khóa : 09 Tp Hồ Chí Minh, 12 tháng 01 năm 2023 Nhận xét giang viên …………………………………………………………………………………………… ……………………………………………………………………………………………… ……………………………………………………………………………………………… ……………………………………………………………………………………………… ……………………………………………………………………………………………… ……………………………………………………………………………………………… ……………………………………………………………………………………………… ……………………………………………………………………………………………… ……………………………………………………………………………………………… ……………………………………………………………………………………………… ……………………………………………………………………………………………… ……………………………………………………………………………………………… ……………………………………………………………………………………………… ……………………………………………………………………………………………… ……………………………………………………………………………………………… ……………………………………………………………………………………………… ……… , ngày….tháng… năm 2023 Giảng viên Lê Quang Thiện LỜI CÁM ƠN Nhóm xin gửi lời cảm ơn sâu sắc đến Ths Lê Quang Thiện hướng dẫn cho chúng em hiểu thêm ngôn ngữ Python hiểu nhiều big data (công nghệ liệu lớn) Giúp cho chúng em hiểu thêm nhiều kiến thức sau ứng dụng vào ngành mà chúng em theo học Với đồ án mơn học giúp chúng em tự tìm hiểu thêm kiến thức sâu rộng mà chúng em chưa kịp tiếp cận thử sức với việc phân tích liệu Nhân dịp tết đến xn em cung chúc thầy gia đình có nhiều điều may mắn sức khỏe năm mới, thàng công ,tiền tài đầy nhà Một lần nhóm xin cám ơn thầy nhiều chúc thầy có nhiều sức khỏe thành cơng cơng việc giảng dạy Nhóm sinh viên thực Nhóm MỤC LỤC LỜI CẢM ƠN ĐỀ TÀI : PHÂN TÍCH DỮ LIỆU XU HƯỚNG TOÀN CẦU VỀ RỐI LOẠN SỨC KHỎE TÂM THẦN CHƯƠNG I: TỔNG QUAN 1.1 Tổng quan công nghệ liệu lớn 1.1.1 Sự phát triển công nghệ liệu lớn 1.1.2 Một số ứng dụng tiêu biểu công nghệ liệu lớn 1.2 Tổng quan Python phần mềm Google Colab phân tích liệu 1.2.1 Python .9 Python phân tích liệu: Ưu nhược điểm 11 Ưu điểm việc sử dụng Python để phân tích liệu 11 Nhược điểm việc sử dụng Python để phân tích liệu: 12 1.2.2 Phần mềm Google Colab phân tích liệu 12 1.3 Giới thiệu đề tài 14 1.3.1 Lí chọn đề tài 14 1.3.2 Mục tiêu nghiên cứu 14 1.3.3 Mô tả liệu 15 CHƯƠNG II: MÔ TẢ MƠ HÌNH PHÂN LỚP DỮ LIỆU 17 2.1 Phương pháp phân lớp liệu .17 2.2 Các mơ hình phân lớp liệu 18 2.3 Quá trình phân lớp liệu 21 2.4 Tính hiệu mơ hình phân lớp liệu .23 CHƯƠNG III : PHÂN TÍCH VÀ TRỰC QUAN HĨA DỮ LIỆU 24 3.1 Xử lí liệu .24 3.1.1 Khai báo thư viện upload liệu 24 3.1.2 Kiểm tra kiểu liệu trùng lập 25 3.1.2 Loại bỏ hàng trùng lặp kiểm tra giá trị null 26 3.2 Phân tích trực quan hóa liệu 27 CHƯƠNG IV : KẾT LUẬN .41 4.1 Những công việc thực .41 4.1.1 Tóm tắt: 41 4.1.2 Kết đạt 41 4.2 Hướng phát triển kiến nghị .42 4.2.1 Hướng phát triển 42 4.2.2 Kiến Nghị .42 TÀI LIỆU THAM KHẢO ĐỒ ÁN PHÂN TÍCH DỮ LIỆU NHĨM CHƯƠNG I: TỔNG QUAN 1.1 Tổng quan công nghệ liệu lớn Khi giới hịa vào cơng Cánh mạng Công nghiệp 4.0, không kể đến lĩnh vực Công Nghệ Thông Tin - lĩnh vực đòi hỏi phát triển vượt bậc nhiều Khi ngày nhiều thông tin giới trao đổi online số hóa, nhà phân tích bắt đầu sử dụng thơng tin làm liệu Những thứ mạng xã hội, sách trực tuyến, âm nhạc, video, làm tăng đáng kể lượng liệu sẵn có để phân tích Khi khối lượng liệu lưu trữ ngày lớn, việc lưu trữ liệu, việc xử lý liệu ngày khó khăn, tốc độ xử lý liệu công nghệ ko đáp ứng được, giải pháp gì? Tất vấn đề đưa đến với lĩnh vực big data 1.1.1 Sự phát triển công nghệ liệu lớn  Định nghĩa: Big Data tập liệu có khối lượng lớn phức tạp Độ lớn đến mức phần mềm xử lý liệu truyền thống khơng có khả thu thập, quản lý xử lý liệu khoảng thời gian hợp lý Dữ liệu lớn - Big Data sử dụng để mô tả khối lượng khổng lồ liệu có cấu trúc phi cấu trúc, lớn đến mức khó xử lý kỹ thuật truyền thống Khái niệm Big Data tương đối quen thuộc với Nó đại diện cho số lượng liệu tăng lên loại liệu đa dạng khác thu thập Khi ngày nhiều thông tin giới trao đổi online số hóa, nhà phân tích bắt đầu sử dụng thơng tin làm liệu Những ĐỒ ÁN PHÂN TÍCH DỮ LIỆU NHĨM thứ mạng xã hội, sách trực tuyến, âm nhạc, video, làm tăng đáng kể lượng liệu sẵn có để phân tích Mọi thứ thao tác online lưu trữ theo dõi liệu Một điều quan trọng cần lưu ý, khái niệm Big Data khơng số lượng liệu mà tạo ra, cịn bao gồm tất dạng liệu khác nhau: Text, video, lượt khách hàng vào, số giao dịch,… - Tính chất Big Data ***Big Data bao gồm tính chất sau: Khối lượng (Volume): Đúng tên gọi, khối lượng Big Data lớn, chí cực lớn Với phát triển mạnh mẽ internet, thiết bị di động, mạng xã hội công nghệ IoT (Internet of Things), khối lượng liệu tạo tăng đáng kể hàng ngày, hàng Tốc độ (Velocity): Bên cạnh khối lượng liệu lớn, tốc độ xử lý nhanh điều kiện thiết yếu Các ứng dụng phổ biến lĩnh vực Internet, tài chính, ngân hàng, y tế - chăm sóc sức khỏe,… phần lớn liệu lớn xử lý real-time (thời gian thực) Công nghệ quản lý liệu lớn ngày tiên tiến cho phép xử lý trước lưu trữ vào sở liệu Đa dạng (Variety): Trước đây, hầu hết liệu thu thập gọn gàng bảng, liệu có cấu trúc Hiện nay, liệu chủ yếu xuất dạng phi cấu trúc viết mạng xã hội, âm thanh, video,… Công nghệ Big Data cho phép liên kết phân tích đa dạng chủng loại liệu với Độ xác (Veracity): Với đa dạng số lượng lớn, độ xác tính chất phức tạp Big Data Tính chất đề cập đến việc khai phá chất lượng tập liệu làm liệu cách hệ thống Từ ĐỒ ÁN PHÂN TÍCH DỮ LIỆU NHĨM làm tăng độ tin cậy xác, giúp ích cho việc phân tích Đây bước quan trọng Big Data Giá trị thơng tin (Value): Giá trị thơng tin tính chất quan trọng cơng nghệ Big Data Ví dụ: Một doanh nghiệp muốn ứng dụng Big Data cho tốn mơ hình hoạt động kinh doanh Trước tiên, doanh nghiệp cần xác định rõ giá trị thơng tin hữu ích Big Data mang lại việc giải nhu cầu doanh nghiệp - Sự phát triển Big Data Nghiên cứu việc sử dụng hiệu công nghệ thông tin truyền thơng cho mục đích phát triển (hay cịn gọi ICT4D) cho thấy công nghệ liệu lớn có nhiều đóng góp quan trọng thách thức phát triển quốc tế Những tiến phân tích liệu lớn giúp giảm chi phí cho việc định lĩnh vực quan trọng chăm sóc sức khoẻ, việc làm, suất kinh tế, tội phạm, an ninh, thiên tai quản lý tài nguyên Tuy nhiên, thách thức nước phát triển sở hạ tầng công nghệ ĐỒ ÁN PHÂN TÍCH DỮ LIỆU NHĨM khơng đầy đủ khan kinh tế nguồn nhân lực làm nghiêm trọng thêm mặt trái liệu lớn riêng tư vấn đề khác \ Ở Việt Nam, nhiều lĩnh vực, đơn vị có ý thức từ sớm việc sử dụng liệu lớn (DLL) công tác quản lý nhà nước, trình sản xuất kinh doanh Việt Nam sở hữu lợi cho trình chuyển đổi số, bắt đầu xây dựng DLL Lợi thứ nhất, kể đến tỷ lệ dân số sở hữu điện thoại thông minh, máy tính Việt Nam tăng nhanh qua năm, thuận lợi cho việc thu thập liệu Lợi thứ hai, cơng ty Việt Nam cịn trẻ, thế, họ bắt đầu xây dựng sở hạ tầng mà không bị ảnh hưởng từ hệ thống cũ tồn trước Đây lợi giúp cơng ty trẻ Việt Nam có sức bật nhanh chóng đầu tư cách nghiêm túc từ đầu Trong thời gian qua, Việt Nam có nhiều phương án để phát triển hạ tầng DLL - Một là, phát triển hạ tầng hệ thống lưu trữ máy chủ - Hai là, phát triển hạ tầng phần mềm quản lý, tích hợp liệu, phần mềm phân tích liệu - Ba là, xây dựng hạ tầng bảo mật ĐỒ ÁN PHÂN TÍCH DỮ LIỆU NHĨM 1.1.2 Một số ứng dụng tiêu biểu công nghệ liệu lớn Dữ liệu lớn làm cần có liệu lớn chắn câu hỏi nhiều người quan tâm Nhìn chung, lợi ích liệu lớn bao gồm: Giảm thiểu chi phí: Việc áp dụng cơng nghệ phân tích liệu lớn vào quy trình tổ chức khơng giúp doanh nghiệp loại bỏ lỗi cách tự động mà triển khai giải pháp cách nhanh chóng, hiệu tiết kiệm chi phí Tiết kiệm thời gian: phân tích tồn diện liệu lớn địi hỏi nhiều thời gian chi phí, xử lý thủ cơng có độ trễ định Dữ liệu lớn tiết kiệm nhiều thời gian cách cho phép thu thập xử lý liệu với tốc độ nhanh dễ dàng Tối ưu hóa sản phẩm: Thơng qua liệu lớn, cơng ty phân tích mức giá có lợi tình kinh doanh khác Để làm hài lịng khách hàng tạo lợi nhuận, công ty cần đổi sản phẩm theo xu hướng thị trường Dữ liệu lớn cho phép họ thực thay đổi •Hỗ trợ q trình định người: Nhờ khả tận dụng xử lý lượng liệu lớn, liệu lớn xác định nhu cầu dự đoán xu hướng, giúp đưa định đắn kịp thời Trong thực tế, ứng dụng Big Data (Dữ liệu lớn) vào nhiều lĩnh vực, giúp doanh nghiệp quy mô tạo nên biến chuyển ấn tượng, gia tăng tính hiệu quả, suất lợi cạnh tranh so với đối thủ kỷ nguyên chuyển đổi số