BỘ GIÁO DỤC VÀ ĐÀO TẠO Trường Cao Đẳng An Ninh Mạng iSPACE KHOA AN NINH MẠNG Thứ năm , ngày 27 , tháng 10 , năm 2022 BÁO CÁO TÊN ĐỀ TÀI BIGDATA ? Giáo viên hướng dẫn Danh sách các sinh viên thực hiện.
BỘ GIÁO DỤC VÀ ĐẠO TẠO Trường Cao Đẳng An Ninh Mạng iSPACE KHOA AN NINH MẠNG Thứ năm , ngày 27 , tháng 10 , năm 2022 BÁO CÁO TÊN ĐỀ TÀI : BIGDATA ? Giáo viên hướng dẫn : Danh sách sinh viên thực : + Trần Thanh Tâm + Nguyễn Lê Hồng Lưu + Nguyễn Thành Thắng + Phan Quốc Hoàng + Thập Phú Quý MỤC LỤC I LỜI MỞ ĐẦU LỜI MỞ ĐẦU Đầu tiên nhóm em xin gửi lời cảm ơn chân thành tới thầy, cô trường Cao Đẳng An Ninh Mạng iSPACE nhiệt tình giảng dạy truyền đạt kiến thức cho em thời gian học tập trường Nhóm em gửi lời cảm ơn sâu sắc tới thầy Nguyên, người định hướng, hướng dẫn hỗ trợ nhóm em nhiều để hồn thành báo cáo Mặc dù cố gắng hoàn thành báo cáo này, xong báo cáo khó tránh khỏi thiếu sót Nhóm em mong nhận nhận xét, góp ý, tận tình bảo từ thầy, cô anh chị, bạn bè trường Một lần nữa, nhóm em xin chân thành cảm ơn tất người ! Nhóm thực : II TỔNG QUÁT VỀ BIGDATA Khái niệm ? Big Data tập liệu có khối lượng lớn phức tạp Độ lớn đến mức phần mềm xử lý liệu truyền thống khơng có khả thu thập, quản lý xử lý liệu khoảng thời gian hợp lý Đặc điểm : + Volume (khối lượng liệu): Doanh nghiệp thu thập liệu cho Bigdata từ nhiều nguồn khác nhau, từ giao dịch, thiết bị thơng minh, thiết bị cơng nghiệp, video, hình ảnh, âm thanh, phương tiện truyền thông xã hội, Trước đây, việc lưu trữ tất liệu tốn việc lưu trữ rẻ nhờ sử dụng hồ sơ liệu, liệu đám mây để giảm bớt gánh nặng + Velocity (vận tốc xử lý): Với phát triển Iternet of things, tốc độ truyền liệu vào doanh nghiệp vô nhanh phải xử lý kịp thời.Thẻ RFID, cảm biến đồng hồ thông minh thúc đẩy nhu cầu xử lý luồng liệu thời gian gần thực + Variety (dữ liệu đa dạng): Dữ liệu thu thập nhiều định dạng khác từ liệu số, có cấu trúc sở liệu truyền thống đến tài liệu văn phi cấu trúc, email, video, âm thanh, liệu mã chứng khốn giao dịch tài Quá trình hình thành hoạt động 3.1/ Quá trình hình thành : Big Data thực chất hình thành từ khoảng thập kỷ 80 - 90 kỷ XX Năm 1984, tập đoàn Teradata đưa thị trường hệ thống xử lý liệu song song DBC 1012 Các hệ thống xử lý Teradata hệ thống lưu trữ phân tích đến terabyte liệu vào năm 1992 3.2/ Hoạt động : Big Data tập hợp liệu từ nhiều nguồn ứng dụng khác Các chế tích hợp liệu truyền thống, chẳng hạn trích xuất, chuyển đổi tải (ETL) thường không phù hợp với nhiệm vụ Nó địi hỏi chiến lược cơng nghệ để phân tích tập Big Data quy mơ terabyte, chí petabyte Vai trị + Bigdata có vai trị quan trọng thời đại Đây dạng tài ngun ví “ q báu khơng vàng bạc kim cương ” Việc phân tích liệu, tệp bên khách hàng giúp công ty doanh nghiệp đưa sản phẩm đến tận tay người tiêu dùng, hiểu họ muốn cần qua bigdata + Big Data có vai trị vơ to lớn việc phát triển AI (trí tuệ nhân tạo) yếu tố để định với thông minh AI việc tập cho họ tập liệu có kịp thời update hay khơng + Ví dụ : Khi phân tích data ảnh mà chị em thường xuyên check in mạng xã hội, công ty thời trang biết xu hướng thời trang tại, tới chị em, từ biết nên sản xuất mẫu tiếp cận nhiều khách hàng Khó khăn Mặc dù cơng nghệ đem lại nhiều lợi ích, trước hưởng trái đến từ công nghệ Bigdata, doanh nghiệp phải đối mặt với vô số trở ngại Cùng điểm qua thách thức ứng dụng công nghệ Big Data đây: Thiếu chuyên gia công nghệ Chuyên gia phân tích liệu nhà khoa học liệu săn đón hấp dẫn làm cho số vị trí trả lương cao lĩnh vực CNTT Kiểm soát chất lượng liệu Trở ngại hàng đầu ứng dụng công nghệ Bigdata nhu cầu giải vấn đề chất lượng liệu Trước sử dụng liệu lớn cho nỗ lực phân tích, nhà khoa học phân tích liệu cần đảm bảo thơng tin họ sử dụng xác, phù hợp định dạng phù hợp để phân tích Có thể kết luận phân tích chưa từ liệu vơ giá trị, chí dẫn tới chiến lược sai lầm sau Địi hỏi thay đổi văn hóa doanh nghiệp Nhiều tổ chức sử dụng phân tích liệu lớn khơng với mục đích nâng cao hiệu hoạt động, họ cịn muốn sử dụng phân tích để tạo văn hóa doanh nghiệp dựa liệu tồn cơng ty Trên thực tế, khảo sát New Vantage, có tới 98,6% giám đốc điều hành chia sẻ công ty họ trình tạo loại hình văn hóa doanh nghiệp theo hướng Tuy nhiên, thay đổi văn hóa khơng phải câu chuyện dễ dàng, chứng nay, có 32,4% người hỏi xác nhận dịch chuyển văn hóa thành cơng Chế tài phủ Một vấn đề nhức nhối khác cho nỗ lực ứng dụng liệu lớn doanh nghiệp tuân thủ quy định phủ Phần lớn thơng tin có ngân hàng liệu lớn công ty nhạy cảm cá nhân, điều có nghĩa cơng ty cần đảm bảo họ đáp ứng tiêu chuẩn ngành yêu cầu phủ xử lý lưu trữ liệu Trong khảo sát Syncsort, quản trị liệu, bao gồm tuân thủ quy định pháp luật lưu trữ xử lý liệu, rào cản quan trọng thứ ba việc làm việc với liệu lớn Rủi ro an ninh mạng Lưu trữ liệu lớn, liệu đặc biệt nhạy cảm, khiến công ty trở thành mục tiêu hấp dẫn kẻ công mạng Trong khảo sát AtScale, người hỏi phần lớn cho rằng, bảo mật thách thức hàng đầu xử lý liệu lớn báo cáo New Vantage dành cho giám đốc điều hành, vi phạm an ninh mạng đánh giá mối đe dọa liệu lớn mà cơng ty phải đối mặt Chi phí lớn Nhiều cơng cụ liệu lớn ngày dựa vào công nghệ nguồn mở, giúp giảm đáng kể chi phí phần mềm, doanh nghiệp phải đối mặt với chi phí đáng kể liên quan đến nhân sự, phần cứng, bảo trì dịch vụ liên quan Vì lý mà khơng có lạ sáng kiến ứng dụng công nghệ Big Data chạy vượt ngân sách nhiều thời gian III CÁC ỨNG DỤNG SỬ DỤNG BIGDATA PHỔ BIẾN Ngành ngân hàng Trong hệ thống ngân hàng, Bigdata ứng dụng hiệu thể vai trị quan trọng hoạt động ngân hàng: từ thu tiền mặt đến quản lý tài + Machine learning AI nhiều ngân hàng sử dụng để phát hoạt động gian lận báo cáo cho chuyên viên liên quan + Khoa học liệu hỗ trợ xử lý, lưu trữ phân tích lượng liệu khổng lồ từ hoạt động hàng ngày giúp đảm bảo an ninh cho ngân hàng + Khoa học liệu tảng hệ thống ngân hàng kĩ thuật số + Sử dụng kỹ thuật phân cụm giúp đưa định quan trọng Hệ thống phân tích xác định địa điểm chi nhánh nơi tập trung nhiều nhu cầu khách hàng tiềm năng, để đề xuất lập chi nhánh + Kết hợp nhiều quy tắc áp dụng lĩnh vực ngân hàng để dự đoán lượng tiền mặt cần thiết sẵn sàng cung ứng chi nhánh thời điểm cụ thể hàng năm 2.Ngành y tế Khoa học liệu dần khẳng định vai trò quan trọng việc cải thiện sức khỏe người ngày Bigdata không ứng dụng để xác định phương hướng điều trị mà giúp cải thiện q trình chăm sóc sức khỏe + Cho phép người quản lý ca dự đoán bác sĩ cần thiết vào thời điểm cụ thể + Theo dõi tình trạng bệnh nhân để theo dõi hồ sơ sức khỏe điện tử + Sử dụng thiết bị kỹ thuật số đeo, hệ thống Big Data theo dõi bệnh nhân gửi báo cáo cho bác sĩ liên quan + Big Data đánh giá triệu chứng xác định nhiều bệnh giai đoạn đầu + Có thể lưu giữ hồ sơ nhạy cảm bảo mật lưu trữ lượng liệu khổng lồ cách hiệu + Các ứng dụng Big Data báo trước khu vực có nguy bùng phát dịch như: sốt xuất huyết sốt rét 10 Ngành thương mại điện tử Thương mại điện tử không tận hưởng lợi ích việc điều hành trực tuyến mà phải đối mặt với nhiều thách thức để đạt mục tiêu kinh doanh + Có thể thu thập liệu yêu cầu khách hàng trước khách thực bắt đầu giao dịch tạo mơ hình tiếp thị hiệu suất cao + Xác định yêu cầu khách hàng, họ muốn tập trung vào việc cung cấp dịch vụ tốt để thực nhu cầu họ ứng dụng Big Data cịn tạo báo cáo tùy chỉnh theo tiêu chí: độ tuổi, giới tính, địa điểm khách truy cập,… + Tìm tương đồng khách hàng nhu cầu họ Từ đó, việc nhắm mục tiêu chiến dịch quảng cáo tiến hành dễ dàng dựa phân tích có trước + Đánh giá hành vi khách hàng đề xuất sản phẩm tương tự Điều làm tăng khả bán hàng, từ tạo doanh thu cao + Có thể thu thập nhiều liệu hành vi khách hàng để thiết kế mơ hình tiếp thị tối ưu dành tùy biến theo đối tượng nhóm đối tượng, tăng khả bán hàng + Cung cấp sản phẩm dịch vụ tốt với chi phí thấp 11 4.Ngăn chặn nội dung đen Ví dụ cụ thể Extension (Chrome, Firefox, Safari…) Có nhiều addon phục vụ cho việc content filtering miễn phí sử dụng Bigdata để thu thập dự đốn xem nội dung có phù hợp khơng Ví dụ chức Ad Block nhanh chóng block banner, pop ups, video ads gây phiền nhiễu lần mãi Sau thu thập gửi server blacklist yếu tố Data nhiều tỷ lệ nhận diện block ngày xác IV CƠ SỞ HẠ TẦNG VẬN HÀNH VÀ CÁC CÔNG NGHỆ ĐẶC BIỆT DÀNH CHO BIGDATA Cơ sở hạ tầng vận hành Đặc điểm Bigdata lượng liệu khổng lồ tăng cao qua nhiều năm, cần có hệ thống lưu trữ máy chủ thiết kế đặc biệt cho Bigdata Ngồi cịn có phần mềm thu thập, quản lý tích hợp liệu Doanh nghiệp sử dụng Bigdata lâu dài nên đầu tư sở hạ tầng IT vững vàng, chất lượng để đảm bảo nguồn liệu không bị không cập nhật kịp Phần lớn sở hạ tầng tập trung chỗ, cơng ty muốn tiếp tục tận dụng khoản đầu tư vào trung tâm liệu Nhưng ngày có nhiều tổ chức dựa vào dịch vụ điện toán đám mây (cloud computing) để xử lý nhiều yêu cầu bigdata họ 12 Các công nghệ đặc biệt dành cho bigdata + Hệ sinh thái Hadoop: Hadoop Apache framework mã nguồn mở viết Java, cho phép xử lý phân tán tập liệu lớn cụm máy tính (clusters of computers) thơng qua mơ hình lập trình đơn giản Hadoop thiết kế để mở rộng quy mô từ máy chủ đơn sang hàng ngàn máy tính khác có tính toán lưu trữ cục (local computation and storage) + Apache Spark: Đây cơng cụ tính tốn nhanh có mục đích chung để xử lý quy mơ lớn liệu Nó xử lý liệu nhanh 100 lần so với MapReduce + Apache Kafka: Apache Kafka hệ thống nhắn tin phân tán lượng thông tin cao thường sử dụng với Hadoop Nó bổ sung cho hệ sinh thái Big Data -+ Data lakes: Data lakes kho lưu trữ chứa khối lượng liệu thô lớn định dạng gốc, thiết kế để giúp người dùng dễ dàng truy cập vào lượng lớn liệu có nhu cầu Các yếu tố giúp tăng trưởng data lakes phong trào kỹ thuật số phát triển IoT + NoSQL Databases: Các sở liệu SQL thông thường thiết kế cho transaction đáng tin cậy truy vấn ngẫu nhiên Cơ sở liệu NoSQL nêu hạn chế, lưu trữ quản lý 13 liệu theo cách cho phép tốc độ hoạt động cao linh hoạt tuyệt vời Không giống sở liệu SQL, nhiều sở liệu NoSQL mở rộng theo chiều ngang hàng trăm hàng ngàn máy chủ + In-memory databases: Cơ sở liệu nhớ (IMDB) hệ thống quản lý sở liệu chủ yếu dựa vào nhớ (Ram), thay HDD Cơ sở liệu nhớ nhanh sở liệu tối ưu hóa đĩa, điểm quan trọng để sử dụng phân tích big data tạo kho liệu siêu liệu V MỘT SỐ LƯU Ý KHI SỬ DỤNG BIGDATA Hiểu mục tiêu khai thác liệu Việc quản lý, sử dụng liệu nhằm dự đoán hành vi người tiêu dùng, giúp doanh nghiệp xây dựng kế hoạch kinh doanh tốt Các lợi ích mà Bigdata mang lại cắt giảm chi phí, giảm thời gian, tăng thời gian phát triển tối ưu hóa sản phẩm, đồng thời hỗ trợ doanh nghiệp đưa định đắn Thu thập thông tin từ tất nguồn 14 Doanh nghiệp phải thu thập tồn thơng tin từ nguồn có liên quan tới khách hàng khách hàng tiềm Các nguồn thơng tin đến từ phương tiện truyền thông xã hội, thông tin quảng cáo báo, tạp chí, truyền hình Chưa kể đến số khách hàng định lại với doanh nghiệp hay chọn mua sản phẩm/dịch vụ tương tác tích cực họ với phận dịch vụ khách hàng Lưu lại thông tin khách hàng Doanh nghiệp nên cố gắng ghi lại phản hồi khách hàng xem xét cách hãng bán lẻ trả lời cho thắc mắc người tiêu dùng, nhắc nhở nhân viên bán hàng nên lưu lại thông tin cần thiết người mua 4.Giúp nhân viên hiểu xác Big Data Một cách giúp ban điều hành hạn chế hiểu lầm xóa bỏ rào cản trình kinh doanh trình bày xác mục đích mục tiêu kế hoạch để nhân viên hiểu được, từ có ứng dụng phù hợp hiệu 15 Bắt kịp xu hướng cơng nghệ Liệu cơng nghệ có làm thay đổi tầm nhìn dài hạn doanh nghiệp? Nếu doanh nghiệp bạn thành lập trước thời đại công nghệ số, dễ đánh nguyên tắc, quy trình, sản phẩm/dịch vụ có từ trước đến Nếu khơng, doanh nghiệp nên có điều chỉnh phù hợp để bắt kịp với xu hướng công nghệ Cập nhật thông tin Doanh nghiệp cần khai thác kết hợp thông tin để hiểu rõ khách hàng nhanh chóng nắm bắt xu hướng kinh doanh tương lai Thông tin thứ phải sử dụng để đề chiến lược phù hợp phục vụ cho mục đích tăng trưởng doanh nghiệp Vấn đề đặt liệu phận liên quan khác (như bán hàng, R&D ) có hiểu tầm quan trọng việc cập nhật thông tin 16 17 ... Nguyên, người định hướng, hướng dẫn hỗ trợ nhóm em nhiều để hồn thành báo cáo Mặc dù cố gắng hoàn thành báo cáo này, xong báo cáo khó tránh khỏi thiếu sót Nhóm em mong nhận nhận xét, góp ý, tận... Big Data cịn tạo báo cáo tùy chỉnh theo tiêu chí: độ tuổi, giới tính, địa điểm khách truy cập,… + Tìm tương đồng khách hàng nhu cầu họ Từ đó, việc nhắm mục tiêu chiến dịch quảng cáo tiến hành dễ... NGHỆ ĐẶC BIỆT DÀNH CHO BIGDATA Cơ sở hạ tầng vận hành Đặc điểm Bigdata lượng liệu khổng lồ tăng cao qua nhiều năm, cần có hệ thống lưu trữ máy chủ thiết kế đặc biệt cho Bigdata Ngồi cịn có phần