BÁO CÁO TIỂU LUẬN KHOA HỌC DỮ LIỆU

Cuộc cách mạng công nghệ thứ tư đã bắt đầu được một chặng đường và đang có xu hướng phát triển rất nhanh. Mong muốn có thể ứng dụng được khoa học công nghệ vào đời sống, với mục đích giúp cho cuộc sống của con người trở nên thuận tiện và hiệu quả nhất. Nhóm 1 nhận thấy vấn đề nhà ở tại Việt Nam đang là nỗi băn khoăn của nhiều người, vì vậy với kiến thức được thầy cô truyền tải nhóm quyết định nghiên cứu và xây dựng đề tài “ KHOA HỌC DỮ LIỆU TRONG VẤN ĐỀ NHÀ Ở”. Qua đó rút ra vài kết luận có ích giúp xây dựng và cải thiện vấn đề nhà ở cho người dân.

TRƯỜNG ĐẠI HỌC KINH TẾ HỒ CHÍ MINH KHOA CƠNG NGHỆ THÔNG TIN KINH DOANH BỘ MÔN CÔNG NGHỆ THÔNG TIN BÁO CÁO TIỂU LUẬN HỌC PHẦN KHOA HỌC DỮ LIỆU Đề tài: KHOA HỌC DỮ LIỆU TRONG CHÍNH SÁCH NHÀ Ở GVHD: TS.GVC Nguyễn Quốc Hùng Nhóm thực hiện: Họ tên - MSSV Nguyễn Thị Thu Hà - 31181023232 Nguyễn Hoàng Bảo Châu - 3118102 Lê Hoài Bảo Trân- 3118102 TP Hồ Chí Minh, Tháng 10/2021 MỤC LỤC A MỞ ĐẦU Lời Mở đầu Lời Cảm ơn BẢNG PHÂN CÔNG THÀNH VIÊN B NỘI DUNG Chương 1: Chương 1: GIỚI THIỆU VỀ KHOA HỌC DỮ LIỆU VÀ GIỚI THIỆU ĐỀ TÀI B NỘI DUNG Chương I: GIỚI THIỆU KHOA HỌC DỮ LIỆU VÀ GIỚI THIỆU ĐỀ TÀI I Tổng quan khoa học liệu Giới thiệu chung Ứng dụng khoa học liệu 2.1 Ứng dụng khoa học liệu 2.1.1 Giúp hỗ trợ đưa định: 2.1.2 Một số ứng dụng hữu ích khoa học liệu lĩnh vực thực tế sống 2.2 Quy trình khai thác liệu 2.3 Tiền xử lý liệu II Giới thiệu đề tài Chương II: TỔNG QUAN VỀ CHƯƠNG TRÌNH SỬ DỤNG VÀ CÁC PHƯƠNG PHÁP SỬ DỤNG Phần mềm Orange Phân lớp liệu 2.1 Định nghĩa 2.2 Các bước xây dựng 2.3 Một số phương pháp phân lớp liệu Phân cụm liệu 3.1 Định nghĩa 3.2 Phân cụm phân cấp 3.3.Phân cụm phân hoạch 3.3.1Thuật toán K-means Chương 3: ỨNG DỤNG CÁC PHƯƠNG PHÁP VÀO BÀI TOÁN CỤ THỂ I Phân lớp liệu II Phân cụm liệu Phân cụm phân hoạch (Partitioning clustering) Phân cụm phân cấp (Hierarchical Clustering) Chương 4: KẾT QUẢ CHẠY MƠ HÌNH Báo cáo đồ án môn học Khoa học liệu Kết phân lớp liệu Kết phân cụm liệu C KẾT LUẬN KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN TÀI LIỆU THAM KHẢO Báo cáo đồ án môn học Khoa học liệu Lời mở đầu Thế giới ngày hội nhập phát triển, trình độ học vấn – văn hóa người ngày cải thiện Nếu trước mong muốn ăn no, mặc ấm, có chỗ để sinh hoạt ngày đủ Thì mong muốn phát triển thành ăn ngon – mặc đẹp - tiện nghi Chưa có giai đoạn lịch sử mà vấn đề nhà lại quan trọng cấp thiết Với tình hình thị hóa nhanh chóng năm gần Dân số thành thị Việt Nam 33.122.549 người, chiếm đến 34,4% dân số nước Mọi người đổ xô vào thành phố lớn để làm ăn, sinh sống đương nhiên việc sở hữu nhà riêng ước mơ khơng riêng Để giải vấn đề nhà điều không dễ dàng phụ thuộc vào nhiều yếu tố chủ quan khách quan khác Làm để người dân có nhà phù hợp với mức thu nhâp mình? Quy hoạch nhà ở, chung cư cho hợp lí? … Nắm mong muốn cần tiến hành phân tích liệu nhà từ đưa định phù hợp với tình hình mong muốn người dân Báo cáo đồ án môn học Khoa học liệu Lời Cảm ơn Để hoàn thành báo cáo tiểu luận học phần khoa học liệu với đề tài “ Khoa học liệu ứng dụng sách nhà ” Ngoài nỗi lực thành viên, lời chúng em – sinh viên nhóm xin cảm ơn Khoa công nghệ thông tin kinh doanh, trường đại học kinh tế thành phố Hồ Chí Minh xây dựng nên môn giúp cung cấp kiến thức nhìn tổng quát liên quan đến khoa học liệu, kiến thức vơ cần thiết thời đại số hóa Đặc biệt chúng em xin gửi lời cảm ơn chân thành đến thầy Nguyễn Quốc Hùng – giảng viên môn, người trực tiếp truyền đạt kiến thức bảo tận tình cho chúng em xuyên suốt khóa học Nhóm chúng em cố gắng vận dụng kiến thức mà thầy dạy tháng qua để hoàn thành báo cáo cách hồn thiện Trong q trình học tập viết báo cáo, dù cố gắng khơng thể tránh khỏi sai sót Rất mong nhận góp ý, chia sẻ quý báu thầy để nhóm em rút kinh nghiệm hồn thiện kiến thức lĩnh vực cách tốt Chúng em xin chân thành cảm ơn! Thành phố Hồ Chính Minh, ngày 10 tháng 10 năm 2021 Báo cáo đồ án môn học Khoa học liệu BẢNG PHÂN CÔNG CÁC THÀNH VIÊN Họ tên Nguyễn Thị Thu Hà (Nhóm trưởng) Nguyễn Hồng Bảo Châu Lê Hồi Bảo Trân Phân cơng cơng việc - Lên khung sườn cho báo cáo - Viết lời mở đầu, chương I - Viết kết luận hướng phát triển - Rà soát lại - Viết chương báo cáo - Đóng góp ý kiến xây dựng - Viết chương báo cáo - Đóng góp ý kiến xây dựng Đánh giá % mức độ hoàn thành 100% 100% 100% Báo cáo đồ án môn học Khoa học liệu Chương 1: GIỚI THIỆU VỀ KHOA HỌC DỮ LIỆU VÀ GIỚI THIỆU ĐỀ TÀI I Tổng quan khoa học liệu Giới thiệu chung khoa học liệu 1.1 Khái niệm: Khoa học liệu lĩnh vực gồm nhiều ngành ngành thực trình chiết xuất tri thức từ nguồn liệu theo dạng khác ( dạng cấu trúc phi cấu trúc) chuyển đến việc quản trị liệu ( làm liệu, tính tốn,… ) Sau phân tích liệu sử dụng kết ứng dụng vào đời sống Đây phát triển khoa học thống kê công cụ lao động vô quan trọng thời kỳ chuyển đổi số 1.2 Một số khái niệm liên quan: Cùng với thời gian trải qua nhiều cách mạng công nghiệp: - Đầu tiên cách mạng công nghiệp thứ nhất: Với việc phát minh máy chạy nước  Ứng dụng vào sản xuất công nghiệp Tiếp theo cánh mạng công nghiệp thứ hai: Khi phát minh điện  Ứng dụng vào sản xuất khí Cuộc cách mạng cơng nghiệp thứ bước tiến có Internet, máy tính  Ứng dụng vào sản xuất hàng loạt Và cách mạng cơng nghiệp thứ tư: Với sản phẩm cơng nghệ số, trí tuệ nhân tạo,…  Sản xuất thông minh Chúng ta sống thừa hưởng tiện nghi, đại cách mạng công nghiệp mang lại Sức mạnh trí tuệ người điều tuyệt vời phủ nhận Vậy thứ mà cách mạng công nghiệp thứ tư mang lại vĩ đại nào, ta tìm hiểu số đó: - - Điện tốn đám mây: Là nơi lưu trữ truy cập liệu trực tiếp “clouds” có internet, khơng bắt buộc phải sử dúng máy tính người dùng + Dữ liệu lưu trữ thường xuyên máy chủ tạm thời máy khách + Những ứng dụng quen thuộc như: Google Drive, Dropbox, One Drive Internet vạn vật: Như tên nó, kết nối mạng internet thiết bị + Các vật thể hay thiết bị trao đổi thơng tin cho mà không cần kết nối cách trực tiếp + Các hình thức như: gửi thư điện tử cho nhau, hồ sơ bệnh án người Báo cáo đồ án môn học Khoa học liệu - Blockchain: chất dạng liệu thông thường đặc biệt lưu trữ liệu với thuộc tính + Phân cấp: Khơng có tồn quyền kiểm sốt thơng tin vào + Đồng thuận: Nhiều bên khác lưu trữ xác hồ sơ gốc + Chỉ thêm: Tức khơng chỉnh sửa thơng tin có mà quyền thêm thông tin vào - Big Data: Ở xử lí nguồn thông tin vô lớn phức tạp mà ứng dụng truyền thống xử lí Nó dựa yếu tố quan trọng + Dung lượng + Tốc độ + Đa dạng + Tính xác thực - Al ( trí tuệ nhân tạo): Đây khoa học kỹ thuật chế tạo máy thông minh chương trình máy tính thơng minh + Al giúp tạo khả suy nghĩ, có trí tuệ người cho máy tính + Đây khoa học nghiên cứu trí não thơng qua mơ hình tốn + Trí tuệ nhận tạo nghiên cứu hành vi sau mơ lại vật thể nhân tạo - AI: Mục đích AI phát triển máy tính hay chức máy tính có khả thơng minh, linh hoạt người Biểu qua việc: + Nhận thức + Học + Suy luận + Giao tiếp ngôn ngữ + Giải vấn đề Ứng dụng khoa học liệu 2.1 Ứng dụng khoa học liệu 2.1.1 Giúp hỗ trợ đưa định: Bước 1: Có liệu Bước 2: Phân tích + Các định người - Mô tả ( điều xảy ra? ) Chuẩn đốn ( lại vậy? ) Dự đốn ( điều xảy tương lai?) Báo cáo đồ án môn học Khoa học liệu Đề xuất ( phải làm nào?) Bước 3: Đưa định thức Bước 4: hành động 2.1.2 Một số ứng dụng hữu ích khoa học liệu lĩnh vực thực tế sống a Y tế - chăm sóc sử khỏe - Phân tích hình ảnh y khoa - Điều chế thuốc - Nghiên cứu di truyền học - Trợ lý sức khỏe người b Giao thơng vận tải - Lái xe an tồn - Hệ thống vận hành xe tự động - An toàn giao thông - Trải nghiệm lái xe nâng cấp c Tài - Phân khúc khách hàng - Quyết định chiến lược - Thương mại thuật tốn - Phân tích rủi ro d Ngân hàng - Thẩm định cho vay - Vịng đời khách hàng - Thơng tin khách hàng e Sản xuất - Dự báo rủi ro - Điều phối hệ thống - Các đơn vị tự động hóa - Quy trình định sẵn - Báo lỗi f Thương mại điện tử - Chọn khách hàng mục tiêu - Giới thiệu sản phẩm - Phân tích từ đánh giá  Đây nhiều lĩnh vực ứng dụng hữu ích Data Science 2.2 Quy trình khai thác liệu - Để khai thác liệu kinh doanh cần tiếp cận với bước sau: Bước 1: Buiness Understanding Ở ta dựa vào mục tiêu kinh doanh Bối cảnh kinh tế - xã hội để tiến hành xác định khai thác liệu Bước 2: Data Understanding: Ở bước này, ta tiến hành kiểm tra tình trạng liệu để xác định xem liệu có phù hợp với mục tiêu ban đầu cần khai thác hay không Báo cáo đồ án môn học Khoa học liệu Bước 3: Data Preparation: Thực bước tiền xử lý thông tin để chuẩn hóa tất liệu  Đây giai đoạn vơ quan trọng, chiếm tới 90% thời gian tồn quy trình Bước 4: Mơ hình hóa Ở bước ta sử dụng mơ hình thống kê để xác định mẫu quy luật chung liệu Bước 5: Đánh giá Kiểm tra lại tính hiệu mơ hình có đáp ứng với mục tiêu kinh doanh mà ban đầu đề hay khơng, thơng tin có đáng tin cậy hay không Bước 6: Triển khai: Sau đánh giá xong ta đưa mơ hình giải pháp vào ứng dụng thực tế hoạt động cuar công ty 2.3 Tiền xử lý liệu Khái niệm: Đây q trình xử lý liệu thơ ( gốc) nhằm cải thiện chất lượng liệu Sau thực xong bước chất lượng liệu cải thiện dẫn đến kết xác - Tiền xử lý liệu bao gồm bước Bước 1: Làm liệu: Ở bước ta tiến hành loại bỏ nhiễu điều chỉnh liệu không quán Những liệu cần xử lý bao gồm: - Dữ liệu bị thiếu - Dữ liệu không quán - Dữ liệu bị nhiễu  Cuối tóm tắt hóa liệu - Bước 2: Tích hợp liệu Ở bước ta tiến hành trộn liệu từ nhiều nguồn khác vào kho liệu Chúng bao gồm: - - Vấn đề nhận diễn thực tế Vấn đề dư thừa Phát xử lý mâu thuẫn giá trị liệu Bước 3: Chuyển đổi liệu Sau tích hợp liệu ta tiến hành chuẩn hóa liệu Việc bao gồm nhiều công đoạn: Làm trơn liệu Kết hợp liệu Tổng quát hóa liệu Chuẩn hóa liệu Xây dựng thuộc tính Bước 4: Rút gọn liệu 10 Báo cáo đồ án môn học Khoa học liệu gán nhãn) 3.2 Phân cụm phân cấp - Phương pháp không cần xác định trước số cụm cần xác định trước điều kiện dừng - Xây dựng phân cấp cho liệu cần gom dựa trên: + Ma trận khoảng cách phần tử + Độ đo khoảng cách cụm - Các phương pháp điển hình: + Diana + Agnes 3.2 Phân cụm phân hoạch: - Phân tập liệu có n phân tử cho trước thành k tập ( k