BIG DATA big data là các tập dữ liệu có khối lượng lớn và phức tạp

NHĨM : Nguyễn Đức Tồn Phạm Ngọc Minh Trần Bình Minh Đào Minh Đức BIG DATA I.KHÁI NIỆM Big Data tập liệu có khối lượng lớn phức tạp Độ lớn đến mức phần mềm xử lý liệu truyền thống khơng có khả thu thập, quản lý xử lý liệu khoảng thời gian hợp lý Những tập liệu lớn bao gồm liệu có cấu trúc, khơng có cấu trúc bán cấu trúc, tập khai thác để tìm hiểu insights Các giải pháp Big Data cung cấp công cụ, phương pháp công nghệ sử dụng để nắm bắt, lưu trữ, tìm kiếm phân tích liệu vài giây để tìm mối quan hệ hiểu biết cải tiến lợi ích cạnh tranh mà trước khơng có Ngày nay, 80% liệu liệu khơng có cấu trúc khơng thể xử lý công nghệ truyền thống Trước đó, lượng liệu tạo khơng cao Chúng ta tiếp tục lưu trữ liệu cần phân tích lịch sử liệu Nhưng ngày việc tạo liệu tính petabyte khơng thể lưu trữ liệu nhiều lần lấy lại cần II.ỨNG DỤNG Các ứng dụng sử dụng Big data Big data phân tích áp dụng nhiều vấn đề kinh doanh nhiều trường hợp sử dụng khác nhau. Dữ liệu lớn (Big Data) thực tế ứng dụng vào nhiều lĩnh vực kinh tế, tạo chuyển biến ấn tượng, giúp tăng hiệu suất doanh nghiệp Ngành Ngân hàng Trong hệ thống ngân hàng, Big Data đã và ứng dụng hiệu quả thể hiện vai trò quan trọng của mình mọi hoạt động của ngân hàng: từ thu tiền mặt đến quản lý tài Ngân hàng ứng dụng Big Data nào:  Sử dụng kỹ thuật phân cụm giúp đưa định quan trọng Hệ thống phân tích xác định địa điểm chi nhánh nơi tập trung nhiều nhu cầu của khách hàng tiềm năng, để đề xuất lập chi nhánh mới  Kết hợp nhiều quy tắc áp dụng lĩnh vực ngân hàng để dự đoán lượng tiền mặt cần thiết sẵn sàng cung ứng ở chi nhánh thời điểm cụ thể hàng năm  Khoa học liệu là nền tảng của hệ thống ngân hàng kĩ thuật số  Machine learning AI nhiều ngân hàng sử dụng để phát hoạt động gian lận báo cáo cho chuyên viên liên quan  Khoa học liệu hỗ trợ xử lý, lưu trữ phân tích lượng liệu khổng lồ từ các hoạt động hàng ngày giúp đảm bảo an ninh cho ngân hàng Các ngân hàng bật: tuyển dụng ACB, VP Bank tuyển dụng, MSB tuyển dụng Ngành y tế Khoa học liệu dần khẳng định vai trò quan trọng việc cải thiện sức khỏe người ngày Big Data không ứng dụng để xác định phương hướng điều trị mà giúp cải thiện q trình chăm sóc sức khỏe Ngành y tế ứng dụng Big Data:  Cho phép người quản lý ca dự đoán bác sĩ cần thiết vào thời điểm cụ thể  Theo dõi tình trạng bệnh nhân bằng để theo dõi hồ sơ sức khỏe điện tử  Sử dụng thiết bị kỹ thuật số đeo, hệ thớng Big Data theo dõi bệnh nhân gửi báo cáo cho bác sĩ liên quan  Big Data đánh giá triệu chứng xác định nhiều bệnh giai đoạn đầu  Có thể lưu giữ hồ sơ nhạy cảm bảo mật lưu trữ lượng liệu khổng lồ cách hiệu  Các ứng dụng Big Data báo trước khu vực có nguy bùng phát dịch như: sốt xuất huyết sốt rét Thương mại điện tử Thương mại điện tử không tận hưởng lợi ích việc điều hành trực tuyến mà phải đối mặt với nhiều thách thức để đạt mục tiêu kinh doanh Lý là bởi doanh nghiệp dù là nhỏ hay lớn, đã tham gia vào thị trường này đều cần đầu tư mạnh để cải tiến cơng nghệ Big Data tạo lợi cạnh tranh cho doanh nghiệp cách cung cấp thông tin chuyên sâu các bản báo cáo phân tích xu hướng tiêu dùng Thương mại điện tử ứng dụng Big Data:  Có thể thu thập liệu yêu cầu khách hàng trước khách thực sự bắt đầu giao dịch  Tạo mơ hình tiếp thị hiệu suất cao  Nhà quản lý trang thương mại điện tử xác định sản phẩm xem nhiều tối ưu thời gian hiển thị của trang sản phẩm này  Đánh giá hành vi khách hàng đề xuất sản phẩm tương tự Điều này làm tăng khả bán hàng, từ đó tạo doanh thu cao  Nếu sản phẩm thêm vào giỏ hàng cuối khơng khách hàng mua, Big Data tự động gửi code khuyến mại cho khách hàng cụ thể  Các ứng dụng Big Data còn tạo báo cáo tùy chỉnh theo các tiêu chí: độ tuổi, giới tính, địa điểm khách truy cập, v.v  Xác định yêu cầu khách hàng, họ muốn tập trung vào việc cung cấp dịch vụ tốt để thực nhu cầu họ  Phân tích hành vi, quan tâm khách hàng theo xu hướng họ để tạo sản phẩm hướng đến khách hàng  Cung cấp sản phẩm tốt với chi phí thấp  Có thể thu thập nhiều liệu về hành vi khách hàng để thiết kế mơ hình tiếp thị tối ưu dành được tùy biến theo đối tượng hoặc nhóm đối tượng, tăng khả bán hàng  Tìm tương đồng khách hàng nhu cầu họ Từ đó, việc nhắm mục tiêu chiến dịch quảng cáo tiến hành dễ dàng dựa những phân tích đã có trước đó Công ty thương mại điện từ bật: fpt shop tuyển dụng it, juno tuyển dụng, … Ngành bán lẻ Big Data mang lại hội cho lĩnh vực bán lẻ cách phân tích thị trường cạnh tranh quan tâm khách hàng Nó giúp xác định hành trình trải nghiệm, xu hướng mua sắm hài lòng khách hàng cách thu thập liệu đa dạng Từ những dữ liệu thu thập được cải thiện hiệu suất hiệu bán hàng Ngành bán lẻ ứng dụng Big Data:  Big data giúp nhà quản lý xây dựng mơ hình chi tiêu từng khách hàng  Với trợ giúp phân tích dự đốn, ngành cơng nghiệp so sánh tỷ lệ cung – cầu tránh tiếp tục tung thị trường sản phẩm không hầu hết khách hàng đón nhận  Ngành bán lẻ xác định vị trí bố trí sản phẩm kệ hàng tùy thuộc vào thói quen mua hàng và nhu cầu khách hàng đưa chiến lược kinh doanh để cải thiện  Kết hợp phân tích cùng lúc các dữ liệu về thời điểm, liệu giao dịch, liệu truyền thông xã hội, dự báo thời tiết để xác định chính xác nhất sản phẩm phù hợp để sẵn sàng cung ứng cho khách hàng Digital Marketing Digital Marketing chìa khóa để cánh cửa thành công cho doanh nghiệp nào Giờ đây, không cơng ty lớn điều hành hoạt động quảng cáo tiếp thị mà doanh nhân nhỏ chạy chiến dịch quảng cáo thành công tảng truyền thông xã hội quảng bá sản phẩm họ Big Data đã tiếp sức cho Digital Marketing phát triển thực mạnh mẽ, trở thành phần khơng thể thiếu doanh nghiệp Digital Marketing ứng dụng Big Data:  Phân tích thị trường, đối thủ cạnh tranh đánh giá mục tiêu kinh doanh Điều này giúp cho doanh nghiệp xác định rõ hơn, đâu là hội tốt để tiếp tục tiến hành các kế hoạch kinh doanh tiếp theo  Có thể xác định người dùng các phương tiện truyền thông xã hội nhắm mục tiêu cho họ dựa nhân học, giới tính, thu nhập, tuổi tác sở thích  Tạo báo cáo sau chiến dịch quảng cáo bao gồm hiệu suất, tham gia khán giả thực để tạo kết tốt  Khoa học liệu sử dụng cho khách hàng nhắm mục tiêu và nuôi dưỡng chu trình khách hàng  Tập trung vào chủ đề tìm kiếm cao tư vấn cho chủ doanh nghiệp thực chúng chiến lược nội dung để xếp hạng trang web doanh nghiệp cao google (SEO)  Có thể tạo đối tượng tương tự cách sử dụng sở liệu đối tượng có để nhắm mục tiêu khách hàng tương tự kiếm lợi nhuận Ngăn chặn nội dung đen Ví dụ cụ thể Extension (Chrome, Firefox, Safari…) Có nhiều addon phục vụ cho việc content filtering miễn phí sử dụng Bigdata để thu thập dự đoán xem nội dung có phù hợp khơng Ví dụ chức Ad Block nhanh chóng block banner, pop ups, video ads gây phiền nhiễu lần mãi Sau thu thập gửi server blacklist yếu tố Data nhiều tỷ lệ nhận diện block ngày xác III.ĐẶC TRƯNG Big data thường đặc trưng với ba V:  Volume: Khối lượng liệu  Variety: Nhiều loại liệu đa dạng  Velocity: Vận tốc mà liệu cần phải xử lý phân tích Khái niệm big data kèm với thành phần có liên quan cho phép tổ chức đưa liệu vào sử dụng thực tế giải số vấn đề kinh doanh Bao gồm:  Cơ sở hạ tầng IT cần thiết để hỗ trợ big data  Các phân tích áp dụng với liệu  Cơng nghệ cần thiết cho dự án big data kĩ liên quan  Và trường hợp thực tế có ý nghĩa big data Big data analytics Điều thực mang lại giá trị từ tổ chức liệu lớn phân tích liệu Nếu khơng có phân tích, tập liệu với việc sử dụng hạn chế kinh doanh Bằng cách phân tích liệu lớn, cơng ty có lợi ích tăng doanh thu, dịch vụ khách hàng cải thiện, hiệu cao tăng khả cạnh tranh Phân tích liệu liên quan đến việc kiểm tra liệu để thu thập thông tin chi tiết rút kết luận chúng chứa, chẳng hạn xu hướng dự đoán hoạt động tương lai Bằng cách phân tích liệu, tổ chức đưa định kinh doanh tốt đâu nên chạy chiến dịch tiếp thị giới thiệu sản phẩm dịch vụ Sự phân tích tham khảo ứng dụng kinh doanh thông minh hay tiên tiến hơn. Phép phân tích dự đốn như ứng dụng tổ chức khoa học sử dụng Loại phân tích liệu cao cấp là data mining, nơi nhà phân tích đánh giá liệu lớn để xác định mối quan hệ, mơ hình xu hướng Phân tích liệu bao gồm phân tích liệu thăm dò ( để xác định mẫu mối quan hệ liệu) phân tích liệu xác nhận ( áp dụng kĩ thuật thống kê để tìm giả thiết liệu có hay khơng) Một mảng khác phân tích liệu định lượng ( phân tích liệu số có biến so sánh theo thống kê) so với phân tích liệu định tính ( tập trung vào liệu khơng phải liệu cá nhân video, hình ảnh văn bản) IV.LẮP ĐẶT Cơ sở hạ tầng IT để hỗ trợ big data :  Đối với khái niệm big data để làm việc, tổ chức cần phải có sở hạ tầng để thu thập chứa liệu, cung cấp quyền truy cập đảm bảo thông tin lưu trữ chuyển tiếp  Ở cấp độ cao, bao gồm hệ thống lưu trữ máy chủ thiết kế cho big data, phần mềm quản lý tích hợp liệu, thơng tin kinh doanh phần mềm phân tích liệu, ứng dụng big data  Phần lớn sở hạ tầng tập trung chỗ, công ty muốn tiếp tục tận dụng khoản đầu tư vào trung tâm liệu Nhưng ngày có nhiều tổ chức dựa vào dịch vụ điện toán đám mây để xử lý nhiều yêu cầu big data họ  Thu thập liệu địi hỏi phải có nguồn Rất nhiều số ứng dụng sau đây, ứng dụng web, kênh truyền thông xã hội, ứng dụng di động lưu trữ email cài sẵn  Nhưng IoT trở nên phổ biến hơn, cơng ty cần phải triển khai cảm biến tất loại thiết bị, phương tiện sản phẩm để thu thập liệu, ứng dụng tạo liệu người dùng. Phân tích liệu theo định hướng IoT có kỹ thuật cơng cụ chun biệt  Để lưu trữ tất liệu đến, tổ chức cần phải có đủ dung lượng lưu trữ chỗ Các tùy chọn lưu trữ bao gồm kho liệu truyền thống, data lakes lưu trữ đám mây  Các công cụ sở hạ tầng bảo mật bao gồm việc mã hóa liệu, xác thực người dùng điều khiển truy cập khác, hệ thống giám sát, tường lửa, quản lý di động doanh nghiệp sản phẩm khác để bảo vệ hệ thống liệu V.CƠNG NGHỆ Các cơng nghệ đặc biệt dành cho Big data Ngoài sở hạ tầng IT sử dụng cho liệu nói chung, có số công nghệ cụ thể dành cho big data mà sở hạ tầng IT bạn nên hỗ trợ Hệ sinh thái Hadoop Hadoop là công nghệ liên quan chặt chẽ với big data Dự án Apache Hadoop phát triển phần mềm mã nguồn mở cho máy tính có khả mở rộng phân tán Thư viện phần mềm Hadoop khuôn mẫu cho phép xử lý phân tán liệu lớn nhóm máy tính sử dụng mơ hình lập trình đơn giản Nó thiết kế để mở rộng từ máy chủ sang hàng ngàn máy khác, máy cung cấp tính tốn lưu trữ cục Dự án bao gồm nhiều phần:  Hadoop Common, tiện ích phổ biến hỗ trợ phần Hadoop khác  Hadoop Distributed File System, cung cấp khả truy cập liệu ứng dụng cao  Hadoop YARN, khuôn mẫu cho kế hoạch làm việc quản lý tài nguyên cụm  Hadoop MapReduce, hệ thống dựa YARN để xử lý song song liệu lớn Apache Spark Một phần hệ sinh thái Hadoop, Apache Spark là khn mẫu tính tốn cụm nguồn mở sử dụng làm công cụ xử lý big data Hadoop Spark trở thành khuôn mẫu xử lý big data quan trọng, triển khai theo nhiều cách khác Nó cung cấp phương thức hỗ trợ đối với Java, Scala, Python (đặc biệt là Anaconda Python distro ), ngơn ngữ lập trình R ( R đặc biệt phù hợp với big data ) hỗ trợ SQL, streaming data, machine learning và xử lý đồ thị Data lakes Data lakes là kho lưu trữ chứa khối lượng liệu thơ lớn định dạng gốc người dùng doanh nghiệp cần liệu Các yếu tố giúp tăng trưởng data lakes phong trào kỹ thuật số phát triển IoT Các data lakes thiết kế để giúp người dùng dễ dàng truy cập vào lượng lớn liệu có nhu cầu NoSQL Databases Các sở liệu SQL thông thường thiết kế cho transaction đáng tin cậy truy vấn ngẫu nhiên Nhưng chúng có hạn chế giản đồ cứng nhắc làm cho chúng không phù hợp với số loại ứng dụng. Cơ sở liệu NoSQL nêu hạn chế, lưu trữ quản lý liệu theo cách cho phép tốc độ hoạt động cao linh hoạt tuyệt vời Nhiều sở liệu phát triển cơng ty để tìm cách tốt để lưu trữ nội dung xử lý liệu cho trang web lớn Không giống sở liệu SQL, nhiều sở liệu NoSQL mở rộng theo chiều ngang trên hàng trăm hàng ngàn máy chủ In-memory databases Cơ sở liệu nhớ (IMDB) hệ thống quản lý sở liệu chủ yếu dựa vào nhớ (Ram), thay HDD, để lưu trữ liệu Cơ sở liệu nhớ nhanh sở liệu tối ưu hóa đĩa, điểm quan trọng để sử dụng phân tích big data tạo kho liệu siêu liệu VI.KỸ NĂNG Các kĩ Big data Big data nỗ lực phân tích big data yêu cầu kĩ cụ thể, dù từ bên tổ chức hay thông qua chun gia bên ngồi Nhiều kĩ có liên quan đến thành phần công nghệ liệu quan trọng Hadoop, Spark, NoSQL, sở liệu nhớ phần mềm phân tích ... lưu trữ liệu Cơ sở liệu nhớ nhanh sở liệu tối ưu hóa đĩa, điểm quan trọng để sử dụng phân tích big data tạo kho liệu siêu liệu VI.KỸ NĂNG Các kĩ Big data Big data nỗ lực phân tích big data yêu... data kĩ liên quan  Và trường hợp thực tế có ý nghĩa big data Big data analytics Điều thực mang lại giá trị từ tổ chức liệu lớn phân tích liệu Nếu khơng có phân tích, tập liệu với việc sử dụng...II.ỨNG DỤNG Các ứng dụng sử dụng Big data Big data phân tích áp dụng nhiều vấn đề kinh doanh nhiều trường hợp sử dụng khác nhau.? ?Dữ liệu lớn (Big Data) thực tế ứng dụng vào nhiều lĩnh vực