BIG DATA big data là các tập dữ liệu có khối lượng lớn và phức tạp

NHĨM : Nguyễn Đức Tồn Phạm Ngọc Minh Trần Bình Minh Đào Minh Đức BIG DATA I.KHÁI NIỆM Big Data tập liệu có khối lượng lớn phức tạp Độ lớn đến mức phần mềm xử lý liệu truyền thống khơng có khả thu thập, quản lý xử lý liệu khoảng thời gian hợp lý Những tập liệu lớn bao gồm liệu có cấu trúc, khơng có cấu trúc bán cấu trúc, tập khai thác để tìm hiểu insights Các giải pháp Big Data cung cấp công cụ, phương pháp công nghệ sử dụng để nắm bắt, lưu trữ, tìm kiếm phân tích liệu vài giây để tìm mối quan hệ hiểu biết cải tiến lợi ích cạnh tranh mà trước khơng có Ngày nay, 80% liệu liệu khơng có cấu trúc khơng thể xử lý công nghệ truyền thống Trước đó, lượng liệu tạo khơng cao Chúng ta tiếp tục lưu trữ liệu cần phân tích lịch sử liệu Nhưng ngày việc tạo liệu tính petabyte khơng thể lưu trữ liệu nhiều lần lấy lại cần TIEU LUAN MOI download : skknchat@gmail.com II.ỨNG DỤNG Các ứng dụng sử dụng Big data Big data phân tích áp dụng nhiều vấn đề kinh doanh nhiều trường hợp sử dụng khác Dữ liệu lớn (Big Data) thực tế ứng dụng vào nhiều lĩnh vực kinh tế, tạo chuyển biến ấn tượng, giúp tăng hiệu suất doanh nghiệp Ngành Ngân hang Trong thông ngân hàng, Big Data đã va ưng dụng hiêu qua thê hiên vai trò quan trọng cua minh moi hoat đông cua ngân hang: từ thu tiền mặt đến quản lý tài Ngân hàng ưng dung Big Data nào: Sử dụng kỹ thuật phân cụm giup đưa định quan trọng Hê thơng phân tich xác định địa điểm chi nhánh nơi tâp trung nhiêu nhu câu cua khach hang tiêm năng, đê đê xuât lâp chi nhanh mơi Kết hợp nhiều quy tắc áp dụng lĩnh vực ngân hàng để dự đoán lượng tiền mặt cần thiết sẵn sang cung ưng chi nhánh thời điểm cụ thể hàng năm Khoa học liệu la nên tang cua thông ngân hang ki thuât sô Machine learning AI nhiều ngân hàng sử dụng để phát hoạt động gian lận báo cáo cho chuyên viên liên quan Khoa học liệu hơ trơ xử lý, lưu trữ phân tích lượng liệu khổng lồ tư cac hoat đông hang giup đảm bảo an ninh cho ngân hàng Các ngân hàng bật: tuyển dụng ACB, VP Bank tuyển dụng, MSB tuyển dụng TIEU LUAN MOI download : skknchat@gmail.com Nganh y tê Khoa học liệu dân khẳng đinh vai trò quan trọng viêc cải thiện sức khỏe người ngày Big Data không ưng dung để xác định phương hương điều trị mà giup cải thiện q trình chăm sóc sức khỏe Ngành y tế ưng dung Big Data: Cho phép người quản lý ca dự đoán bác sĩ cần thiết vào thời điểm cụ thể Theo dõi tinh trang bênh nhân băng để theo dõõ̃i hồ sơ sưc khoe điên tư Sử dụng thiết bị kỹ thuật số đeo, thơng Big Data theo dõõ̃i bệnh nhân gửi báo cáo cho bác sĩ liên quan Big Data đánh giá triệu chứng xác định nhiều bệnh giai đoạn đầu Có thể lưu giữ hồ sơ nhạy cảm bảo mật lưu trữ lượng liệu khổng lồ cách hiệu Các ứng dụng Big Data báo trước khu vưc có nguy bùng phat dich như: sốt xuất huyết sốt rét Thương mại điện tử Thương mại điện tử khơng tận hưởng lợi ích việc điều hành trực tuyến mà còò̀n phải đối mặt với nhiều thách thức để đạt mục tiêu kinh doanh Ly la bơi doanh nghiệp dù la nhỏ hay lớn, đã tham gia vao thi trương đêu cân đâu tư manh đê cai tiên công nghê Big Data tao lợi cạnh tranh cho doanh nghiêp cách cung cấp thông tin chuyên sâu cac ban báo cáo phân tích xu hương tiêu dùng Thương mại điện tử ưng dung Big Data: TIEU LUAN MOI download : skknchat@gmail.com Có thể thu thập liệu yêu cầu khách hàng trước khach thưc sư bắt đầu giao dich Tạo mơ hình tiếp thị hiệu suất cao Nha quan ly trang thương mại điện tử xác định sản phẩm xem nhiều ưu thơi gian hiên thi cua trang san phâm Đánh giá hành vi khách hàng đề xuất sản phẩm tương tự Điêu làm tăng kha ban hang, tư đo tạo doanh thu cao Nếu sản phẩm thêm vào giỏ hàng cuối cùị̀ng khơng khách hàng mua, Big Data tự động gửi code khuyến mại cho khách hàng cụ thể Các ứng dụng Big Data còn tạo báo cáo tùy chinh theo cac tiêu chi: độ tuổi, giới tính, địa điểm khách truy cập, v.v Xác định yêu cầu khách hàng, họ muốn tập trung vào việc cung cấp dịch vụ tốt để thực nhu cầu họ Phân tích hành vi, quan tâm khách hàng theo xu hướng họ để tạo sản phẩm hướng đến khách hàng Cung cấp sản phẩm tốt với chi phí thấp Có thể thu thập nhiều liệu vê hanh vi khách hàng đê thiết kế mô hình tiếp thị tơi ưu danh đươc tùy biên theo đôi tương hoăc nhom đôi tương, tăng kha ban hang Tìm tương đồng khách hàng nhu cầu họ Tư đo, viêc nhắm mục tiêu chiến dịch quảng cáo tiến hành dễ dàng dựa phân tich đã co trươc đo Công ty thương mại điện từ bật: fpt shop tuyển dụng it, juno tuyển dụng, … Ngành bán lẻ TIEU LUAN MOI download : skknchat@gmail.com Big Data mang lại hội cho lĩnh vực ban lẻ cách phân tích thị trường cạnh tranh quan tâm khách hàng Nó giúp xác định hanh trinh trai nghiêm, xu hương mua săm hài lòò̀ng khách hàng cách thu thập liệu đa dạng Tư dư liêu thu thâp đươc cải thiện hiệu suất hiệu ban hang Ngành bán lẻẻ̉ ưng dung Big Data: Big data giup nha quan ly xây dưng mơ hình chi tiêu tưng khách hàng Với trợ giúp phân tích dự đốn, ngành cơng nghiệp so sánh tỷ lệ cung – cầu tránh tiêp tuc tung thi trương sản phẩm không hầu hết khách hàng đon nhận Ngành bán lẻẻ̉ xác định vi tri bô tri san phâm kê hang tùy thuôc vao thoi quen mua hang va nhu cầu khách hàng đưa chiến lược kinh doanh để cải thiện Kêt hơp phân tich cùng luc cac dư liêu vê thời điểm, liệu giao dịch, liệu truyền thông xãõ̃ hội, dự báo thời tiết để xác định chinh xac nhât sản phẩm phùị̀ hợp đê ln sẵn sang cung ưng cho khach hang Digital Marketing Digital Marketing chìa khóa để canh cưa công cho doanh nghiệp nao Giờ đây, khơng cơng ty lớn điều hành hoạt động quảng cáo tiếp thị mà doanh nhân nhỏ chạy chiến dịch quảng cáo thành công tảng truyền thông xãõ̃ hội quảng bá sản phẩm họ Big Data đã tiêp sưc cho Digital Marketing phat triên thực mạnh mẽ, đãõ̃ trở thành phần không thê thiêu doanh nghiệp Digital Marketing ưng dung Big Data: TIEU LUAN MOI download : skknchat@gmail.com Phân tích thị trường, đối thủ cạnh tranh đánh giá mục tiêu kinh doanh Điêu giup cho doanh nghiêp xac đinh rõ hơn, đâu la hôi tôt đê tiêp tuc tiên hanh cac kê hoach kinh doanh tiêp theo Có thể xac đinh người dùị̀ng cac phương tiện truyền thơng xãõ̃ hội nhắm mục tiêu cho họ dựa nhân học, giới tính, thu nhập, tuổi tác sở thích Tạo báo cáo sau chiến dịch quảng cáo bao gồm hiệu suất, tham gia khán giả thực để tạo kết tốt Khoa học liệu sử dụng cho khách hàng nhắm mục tiêu va nuôi dưỡng chu trinh khach hang Tập trung vào chủ đề tìm kiếm cao tư vấn cho chủ doanh nghiệp thực chúng chiến lược nội dung để xếp hạng trang web doanh nghiệp cao google (SEO) Có thể tạo đối tượng tương tự cách sử dụng sở liệu đối tượng có để nhắm mục tiêu khách hàng tương tự kiếm lợi nhuận Ngăn chặn nội dung đen Ví dụ cụ thể Extension (Chrome, Firefox, Safari…) Có nhiều addon phục vụ cho việc content filtering miễn phí sử dụng Bigdata để thu thập dự đốn xem nội dung có phùị̀ hợp khơng Ví dụ chức Ad Block nhanh chóng block banner, pop ups, video ads gây phiền nhiễu lần mãõ̃i mãõ̃i Sau thu thập gửi server blacklist yếu tố Data nhiều tỷ lệ nhận diện block ngày xác III.ĐẶC TRƯNG Big data thường đặc trưng với ba V: TIEU LUAN MOI download : skknchat@gmail.com Volume: Khối lượng liệu Variety: Nhiều loại liệu đa dạng Velocity: Vận tốc mà liệu cần phải xử lý phân tích Khái niệm big data kèm với thành phần có liên quan cho phép tổ chức đưa liệu vào sử dụng thực tế giải số vấn đề kinh doanh Bao gồm: Cơ sở hạ tầng IT cần thiết để hỗ trợ big data Các phân tích áp dụng với liệu Công nghệ cần thiết cho dự án big data kĩ liên quan Và trường hợp thực tế có ý nghĩa big data Big data analytics Điều thực mang lại giá trị từ tổ chức liệu lớn phân tích liệu Nếu khơng có phân tích, tập liệu với việc sử dụng hạn chế kinh doanh Bằng cách phân tích liệu lớn, cơng ty có lợi ích tăng doanh thu, dịch vụ khách hàng cải thiện, hiệu cao tăng khả cạnh tranh Phân tích liệu liên quan đến việc kiểm tra liệu để thu thập thông tin chi tiết rút kết luận chúng chứa, chẳẻ̉ng hạn xu hướng dự đoán hoạt động tương lai Bằng cách phân tích liệu, tổ chức đưa định kinh doanh tốt đâu nên chạy chiến dịch tiếp thị giới thiệu sản phẩm dịch vụ Sự phân tích tham khảo ứng dụng kinh doanh thơng minh hay tiên tiến Phép phân tích dự đoán ứng dụng tổ chức khoa học sử dụng TIEU LUAN MOI download : skknchat@gmail.com Loại phân tích liệu cao cấp data mining, nơi nhà phân tích đánh giá liệu lớn để xác định mối quan hệ, mơ hình xu hướng Phân tích liệu bao gồm phân tích liệu thăm dòị̀ ( để xác định mẫu mối quan hệ liệu) phân tích liệu xác nhận ( áp dụng kĩ thuật thống kê để tìm giả thiết liệu có hay khơng) Một mảng khác phân tích liệu định lượng ( phân tích liệu số có biến so sánh theo thống kê) so với phân tích liệu định tính ( tập trung vào liệu liệu cá nhân video, hình ảnh văn bản) IV.LẮP ĐẶT Cơ sở hạ tầng IT để hỗ trợ big data : Đối với khái niệm big data để làm việc, tổ chức cần phải có sở hạ tầng để thu thập chứa liệu, cung cấp quyền truy cập đảm bảo thông tin lưu trữ chuyển tiếp Ở cấp độ cao, bao gồm hệ thống lưu trữ máy chủ thiết kế cho big data, phần mềm quản lý tích hợp liệu, thơng tin kinh doanh phần mềm phân tích liệu, ứng dụng big data Phần lớn sở hạ tầng tập trung chỗ, công ty muốn tiếp tục tận dụng khoản đầu tư vào trung tâm liệu Nhưng ngày có nhiều tổ chức dựa vào dịch vụ điện toán đám mây để xử lý nhiều yêu cầu big data họ TIEU LUAN MOI download : skknchat@gmail.com Thu thập liệu đòị̀i hỏi phải có nguồn Rất nhiều số ứng dụng sau đây, ứng dụng web, kênh truyền thông xãõ̃ hội, ứng dụng di động lưu trữ email đãõ̃ cài sẵõ̃n Nhưng IoT trở nên phổ biến hơn, cơng ty cần phải triển khai cảm biến tất loại thiết bị, phương tiện sản phẩm để thu thập liệu, ứng dụng tạo liệu người dùò̀ng Phân tích liệu theo định hướng IoT có kỹ thuật cơng cụ chun biệt Để lưu trữ tất liệu đến, tổ chức cần phải có đủ dung lượng lưu trữ chỗ Các tùò̀y chọn lưu trữ bao gồm kho liệu truyền thống, data lakes lưu trữ đám mây Các công cụ sở hạ tầng bảo mật bao gồm việc mãõ̃ hóa liệu, xác thực người dùò̀ng điều khiển truy cập khác, hệ thống giám sát, tường lửa, quản lý di động doanh nghiệp sản phẩm khác để bảo vệ hệ thống liệu V.CƠNG NGHỆ Các cơng nghệ đặc biệt dành cho Big data Ngoài sở hạ tầng IT sử dụng cho liệu nói chung, có số cơng nghệ cụ thể dành cho big data mà sở hạ tầng IT bạn nên hỗ trợ Hệ sinh thái Hadoop Hadoop công nghệ liên quan chặt chẽ với big data Dự án Apache Hadoop phát triển phần mềm mãõ̃ nguồn mở cho máy tính có khả mở rộng phân tán Thư viện phần mềm Hadoop khuôn mẫu cho phép xử lý phân tán liệu lớn nhóm máy tính sử dụng mơ hình lập trình đơn giản Nó TIEU LUAN MOI download : skknchat@gmail.com thiết kế để mở rộng từ máy chủ sang hàng ngàn máy khác, máy cung cấp tính tốn lưu trữ cục Dự án bao gồm nhiều phần: Hadoop Common, tiện ích phổ biến hỗ trợ phần Hadoop khác Hadoop Distributed File System, cung cấp khả truy cập liệu ứng dụng cao Hadoop YARN, khuôn mẫu cho kế hoạch làm việc quản lý tài nguyên cụm Hadoop MapReduce, hệ thống dựa YARN để xử lý song song liệu lớn Apache Spark Một phần hệ sinh thái Hadoop, Apache Spark khn mẫu tính tốn cụm nguồn mở sử dụng làm công cụ xử lý big data Hadoop Spark đãõ̃ trở thành khn mẫu xử lý big data quan trọng, triển khai theo nhiều cách khác Nó cung cấp phương thức hỗ trợ Java, Scala, Python (đặc biệt Anaconda Python distro ), ngơn ngữ lập trình R ( R đặc biệt phùị̀ hợp với big data ) hỗ trợ SQL, streaming data, machine learning xử lý đồ thị Data lakes Data lakes kho lưu trữ chứa khối lượng liệu thô lớn định dạng gốc người dùị̀ng doanh nghiệp cần liệu Các yếu tố giúp tăng trưởng data lakes phong trào kỹ thuật số phát triển IoT Các data lakes thiết kế để giúp người dùò̀ng dễ dàng truy cập vào lượng lớn liệu có nhu cầu TIEU LUAN MOI download : skknchat@gmail.com NoSQL Databases Các sở liệu SQL thông thường thiết kế cho transaction đáng tin cậy truy vấn ngẫu nhiên Nhưng chúng có hạn chế giản đồ cứng nhắc làm cho chúng khơng phùị̀ hợp với số loại ứng dụng Cơ sở liệu NoSQL nêu hạn chế, lưu trữ quản lý liệu theo cách cho phép tốc độ hoạt động cao linh hoạt tuyệt vời Nhiều sở liệu đãõ̃ phát triển cơng ty để tìm cách tốt để lưu trữ nội dung xử lý liệu cho trang web lớn Không giống sở liệu SQL, nhiều sở liệu NoSQL mở rộng theo chiều ngang hàng trăm hàng ngàn máy chủ In-memory databases Cơ sở liệu nhớ (IMDB) hệ thống quản lý sở liệu chủ yếu dựa vào nhớ (Ram), thay HDD, để lưu trữ liệu Cơ sở liệu nhớ nhanh sở liệu tối ưu hóa đĩa, điểm quan trọng để sử dụng phân tích big data tạo kho liệu siêu liệu VI.KỸ NĂNG Các kĩ Big data Big data nỗ lực phân tích big data yêu cầu kĩ cụ thể, dùị̀ từ bên tổ chức hay thơng qua chun gia bên ngồi Nhiều kĩ có liên quan đến thành phần công nghệ liệu quan trọng Hadoop, Spark, NoSQL, sở liệu nhớ phần mềm phân tích TIEU LUAN MOI download : skknchat@gmail.com TIEU LUAN MOI download : skknchat@gmail.com TIEU LUAN MOI download : skknchat@gmail.com ... lưu trữ liệu Cơ sở liệu nhớ nhanh sở liệu tối ưu hóa đĩa, điểm quan trọng để sử dụng phân tích big data tạo kho liệu siêu liệu VI.KỸ NĂNG Các kĩ Big data Big data nỗ lực phân tích big data yêu... tầng IT cần thiết để hỗ trợ big data Các phân tích áp dụng với liệu Công nghệ cần thiết cho dự án big data kĩ liên quan Và trường hợp thực tế có ý nghĩa big data Big data analytics Điều thực mang... với big data ) hỗ trợ SQL, streaming data, machine learning xử lý đồ thị Data lakes Data lakes kho lưu trữ chứa khối lượng liệu thô lớn định dạng gốc người dùị̀ng doanh nghiệp cần liệu Các yếu