Untitled NGÂN HÀNG NHÀ N C VI T NAMƯỚ Ệ H C VI NỌ Ệ NGÂN HÀNG BÀI TẬP LỚN TIN HỌC ĐẠI CƯƠNG Hà Nội, ngày tháng năm 2022 NGÂN HÀNG NHÀ NƯỚC VIỆT NAM HỌC VIỆN NGÂN HÀNG Giảng viên hướng dẫn TS NGUYỄN VĂ[.]
lOMoARcPSD|17838488 NGÂN HÀNG NHÀ NƯỚC VIỆT NAM HỌC VIỆN NGÂN HÀNG NGÂN HÀNG NHÀ NƯỚC VIỆT NAM HỌC VIỆN NGÂN HÀNG BÀI TẬP LỚN TIN HỌC ĐẠI CƯƠNG TÊN CHỦ ĐỀ BÁO CÁO BIG DATA TRONG HOẠT ĐỘNG NGÂN HÀNG BÀI TẬP LỚN TIN HỌC ĐẠI CƯƠNG Giảng viên hướng dẫn: TS NGUYỄN VĂN THỦY Danh sách nhóm: 06 T T Mã sinh viên Họ tên 21A4011127 Ngô Nguyễn Dương Huy 22A4060166 Mai Thị Lan 100% 23A4030063 Đào Đức Duẩn 100% 17G401015 Nguyễn Thị Thuý Hường 100% Hà Nội, ngày tháng năm 2022 Hà Nội, ngày 20 tháng 12 năm 2022 Mức độ đóng góp 100% lOMoARcPSD|17838488 LỜI CAM ĐOAN Chúng em xin cam đoan tiểu luận cơng trình nghiên c ứu c nhóm Các sơố liệu tham khảo trung thực, xác trích dẫẫn đẫầy đ ủ Chúng em xin chịu trách nhiệm vêầ lời cam đoan lOMoARcPSD|17838488 ĐỀỀ CƯƠNG CHI TIỀẾT LỜI MỞ ĐẦU CHƯƠNG TỔNG QUAN VỀ BIG DATA – DỮ LIỆU LỚN Giới thiệu chung Big Data 1.1 1.1.1 Khái niệm 1.1.2 Đặc trưng Big Data 1.1.3 Lịch sử hình thành phát triển 1.2 Quy trình hoạt động Big Data 1.2.1 Xẫy dựng chiêốn lược Big Data 1.2.2 Xác định ngần Big Data 1.2.3 Truy cập, quản lí lưu trữ Big Data 1.2.4 Tiêốn hành phẫn tích liệu 1.2.5 Đưa kêốt luận 1.3 Vai trò Big Data sốố lĩnh vực cụ thể 1.3.1 Trong lĩnh vực Ngẫn hàng 1.3.2 Trong lĩnh vực Y têố 1.3.3 Trong Thương mại điện tử 1.3.4 Trong ngành bán lẻ hàng hóa 1.4 Một sốố cống nghệ liệu dành cho Big Data 1.4.1 Hệ sinh thái Hadoop 1.4.2 Data lakes 1.4.3 Apache Spark 1.4.4 In – Memory Databases 1.4.5 NorQSL – Databases CHƯƠNG ỨNG DỤNG CÔNG NGHỆ BIG DATA ĐÔẾI VỚI NGÀNH NGÂN HÀNG 2.1 Nẫng cao chẫốt lượng dịch vụ thông qua xẫy dựng h ệ thơống thu th ập phẫn tích phản hôầi khách hàng 2.2 Phẫn khúc khách hàng thẩm định hơầ sơ lOMoARcPSD|17838488 2.3 Phẫn tích thói quen chi tiêu khách hàng 2.4 Phát ngăn chặn hành vi lừa đảo, vi phạm pháp lu ật 2.5 Marketing theo hướng cá nhẫn hoá 2.6 Kiểm soát rủi ro, tuẫn thủ pháp luật minh bạch báo cáo tài CHƯƠNG THỰC TRẠNG VÀ XU THỀẾ ỨNG DỤNG CÔNG NGHỆ DỮ LIỆU LỚN ( BIG DATA) VÀO LĨNH VỰC NGÂN HÀNG 3.1 Thực trạng ứng dụng công nghệ liệu lớn ( Big data) vào lĩnh v ực ngẫn hàng 3.2 Xu thêố ứng dụng công nghệ Big data vào linh v ực ngẫn hàng 3.3 Tiêầm ứng dụng công nghệ Big data vào lĩnh vực ngẫn hàng 3.4 Đêầ xuẫốt giải pháp ứng dụng công nghệ Big data vào lĩnh v ực ngẫn hàng 3.5 Kiêốn nghị KỀẾT LUẬN lOMoARcPSD|17838488 Lời mở đầầu Bí ẩn đăầng sau trang web thơng minh m ọi chào m ời s ản ph ẩm đêầu dựa nghiên cứu vêầ sở thích, thói quen c khách hàng nh phẫn loại nhóm khách hàng khác nhau… Vậy thơng tin đ ể phẫn tích có từ đẫu có tác động thêố đêốn việc sản xuẫốt kinh doanh c doanh nghiệp? Thứ nhẫốt, liệu khổng lơầ vêầ khách hàng có th ể có từ thơng tin mà doanh nghiệp thu thập lúc khách hàng ghé thăm, t ương tác hay mua săốm website mình; liệu có th ể mua lại từ công ty chuyên cung cẫốp liệu khách hàng Các thông tin không ch ỉ giúp nhà cung ứng hàng hóa, dịch vụ tăng lợi nhuận cho h ọ mà tăng tr ải nghi ệm mua săốm người dùng Một mặt, nhờ trình tìm hiểu, phẫn tích khách hàng, doanh nghiệp tạo sản phẩm đáp ứng nhu cẫầu c khách hàng, xẫy dựng sách phẫn phơối bán sản ph ẩm đêốn tay ng ười tiêu dùng m ột cách có hiệu nhẫốt Mặt khác, thẫn người tiêu dùng có th ể tiêốt ki ệm th ời gian yên tẫm trải nghiệm mua săốm H ơn thêố n ữa, tẫầm ngành vĩ mô, ứng dụng liệu lớn (big data) giúp tổ ch ức ph ủ d ự đoán tỉ lệ thẫốt nghiệp, xu hướng nghêầ nghiệp tương lai đ ể đẫầu t cho hạng mục đó, căốt giảm chi tiêu, kích thích tăng tr ưởng kinh têố,… th ậm chí phương án phịng ngừa trước dịch bệnh Là tổ chức cung ứng dịch vụ tài cho hẫầu hêốt ch ủ th ể nêần kinh têố, ngành Ngẫn hàng đứng xu thêố ứng d ụng d ữ li ệu l ớn giôống doanh nghiệp bán lẻ khác Đặc thù hoạt động ngẫn hàng (cơ sở khách hàng rộng lớn, bao quát mặt tài nêần kinh têố) cho phép mơẫi ngẫn hàng xẫy dựng sở liệu khổng lôầ, từ liệu có cẫốu trúc (nh l ịch sử giao dịch, hôầ sơ khách hàng) tới liệu phi cẫốu trúc (nh ho ạt đ ộng khách hàng website, ứng dụng mobile banking hay m ạng xã h ội) Ứng dụng Big Data nêốu khai thác hiệu seẫ đem lại l ợi thêố c ạnh tranh hiệu to lớn lĩnh vực ngẫn hàng đặc bi ệt bôối c ảnh th ị trường dịch vụ tài bão hịa Bài viêốt nhăầm h ệ thơống nh ững vẫốn đêầ lOMoARcPSD|17838488 vêầ Big Data, sở phẫn tích ứng dụng c Big Data điêầu kiện nhăầm ứng dụng Big Data lĩnh vực ngẫn hàng bôối c ảnh cách mạng công nghệ 4.0 CHƯƠNG 1: TỔNG QUAN VỀ DỮ LIỆU LỚN 1.1 Giới thiệu chung Dữ liệu lớn 1.1.1 Khái niệm Dữ liệu lớn (Big data) thuật ngữ cho việc xử lý tập h ợp d ữ li ệu rẫốt lớn phức tạp mà ứng dụng xử lý liệu truyêần thôống không x lý đ ược Dữ liệu lớn bao gơầm thách thức phẫn tích, thu thập, giám sát liệu, tìm kiêốm, chia sẻ, lưu trữ, truyêần nhận, trực quan, truy vẫốn tính riêng t Thuật ngữ thường đơn giản đêầ cập đêốn việc việc sử dụng phẫn tích dự báo, phẫn tích hành vi người dùng, sơố phương pháp phẫn tích d ữ li ệu tiên tiêốn khác trích xuẫốt giá trị từ liệu mà đêầ cập đêốn kích thước liệu 1.1.2 Đặc trưng Dữ liệu lớn Volume (khôối lượng liệu)2 với liệu lớn, bạn seẫ phải xử lý khơối lượng lớn liệu có mật độ thẫốp, khơng có cẫốu trúc Đẫy có th ể d ữ li ệu c giá tr ị không xác định, chẳng hạn nguôần cẫốp liệu Twitter, nhẫốp chu ột trang web ứng dụng dành cho thiêốt bị di động thiêốt b ị hôẫ tr ợ c ảm biêốn Đôối với sôố tổ chức, điêầu hàng chục terabyte li ệu Đơối v ới nh ững người khác, hàng trăm petabyte Ví dụ: Vào năm 2016, lưu lượng di động tồn cẫầu ước tính 6,2 Exabyte (6,2 tỷ GB) môẫi tháng Trong năm 2020, seẫ có gẫần 40000 ExaByte d ữ liệu di động Một sôố khủng chứng tỏ đẫy big data Theo từ điển Bách khoa toàn thư, Wikipedia, https://vi.wikipedia.org/wiki/D%E1%BB%AF_li%E1%BB%87u_l%E1%BB%9Bn Đặc trưng 5V liệu lớn gì? 07/12/2018, Kỷ yếu Hội thảo khoa học “Thống kê Nhà nước với Dữ liệu lớn” https://ehealth.gov.vn/?action=News&newsId=46156 lOMoARcPSD|17838488 Velocity (vận tôốc mà liệu cẫần xử lý phẫn tích) 3: Tơốc độ tơốc độ nhanh liệu nhận (có thể) hành động Thông th ường, tôốc đ ộ cao nhẫốt luôầng liệu trực tiêốp vào nhớ so với ghi vào đĩa M ột sôố sản phẩm thông minh hôẫ trợ internet hoạt động th ời gian th ực ho ặc gẫần thời gian thực seẫ yêu cẫầu đánh giá hành động theo th ời gian thực Variety (nhiêầu loại liệu đa dạng) 4: Nhiêầu loại đêầ cập đêốn nhiêầu loại liệu có săẫn Các kiểu liệu truần thơống cẫốu trúc phù h ợp g ọn gàng sở liệu quan hệ Các kiểu liệu phi cẫốu trúc bán cẫốu trúc, chẳng hạn văn bản, ẫm video yêu cẫầu tiêần xử lý b ổ sung đ ể lẫốy đ ược ý nghĩa siêu liệu hơẫ trợ Dữ liệu đêốn từ nguôần ứng dụng thiêốt bị di đ ộng, máy tính để bàn, mạng xã hội, trang web, thí nghiệm khoa h ọc, thiêốt b ị c ảm biêốn thiêốt bị khác internet (IoT) Dữ liệu lớn kèm với thành phẫần có liên quan cho phép tổ chức đưa liệu vào sử dụng thực têố gi ải quyêốt sôố vẫốn đêầ kinh doanh Các vẫốn đêầ gơầm có: - Các phẫn tích áp dụng với liệu - Cơ sở hạ tẫầng IT cẫần thiêốt để hơẫ trợ cho Dữ liệu l ớn - Các công nghệ cẫần thiêốt cho dự án Dữ liệu l ớn b ộ kĩ có liên quan - Những trường hợp thực têố có ý nghĩa đơối với Dữ liệu lớn Phẫn tích liệu giá trị thực mang lại t t ổ ch ức d ữ liệu lớn Nêốu khơng có phẫn tích đẫy ch ỉ nh ững d ữ li ệu đ ược s d ụng vô hạn chêố kinh doanh Với việc phẫn tích nh ững d ữ li ệu l ớn, công ty Đặc trưng 5V liệu lớn gì? 07/12/2018, Kỷ yếu Hội thảo khoa học “Thống kê Nhà nước với Dữ liệu lớn” https://ehealth.gov.vn/?action=News&newsId=46156 Đặc trưng 5V liệu lớn gì? 07/12/2018, Kỷ yếu Hội thảo khoa học “Thống kê Nhà nước với Dữ liệu lớn” https://ehealth.gov.vn/?action=News&newsId=46156 lOMoARcPSD|17838488 thu vêầ cho lợi ích dịch vụ khách hàng đ ược c ải thi ện, t mang lại hiệu cao hơn, tăng doanh thu tăng kh ả c ạnh tranh Việc phẫn tích liệu có liên quan để thu thập thông tin chi tiêốt ho ặc rút kêốt luận vêầ nội dung bên Ví dụ: tổ chức quyêốt định xem đẫu nên ch ạy chiêốn dịch tiêốp thị giới thiệu sản phẩm, dịch vụ Sự phẫn tích có th ể đ ược tham khảo ứng dụng kinh doanh tiên tiêốn, thông minh h ơn Các t ổ ch ức khoa học sử dụng phép phẫn tích dự đốn ứng dụng Value (Giá trị)5: Giá trị đặc điểm quan trọng nhẫốt liệu l ớn, băốt đẫầu triển khai xẫy dựng liệu lớn việc đẫầu tiên cẫần ph ải làm xác định giá trị thơng tin mang lại thêố nào, m ới có quyêốt định có nên triển khai liệu lớn hay khơng Nêốu có d ữ li ệu l ớn mà nhận 1% lợi ích từ nó, khơng nên đẫầu tư phát tri ển li ệu l ớn Kêốt dự báo xác thể rõ nét nhẫốt vêầ giá tr ị c d ữ li ệu l ớn mang l ại Ví dụ, từ khơối liệu phát sinh trình khám, ch ữa b ệnh seẫ giúp d ự báo vêầ sức khỏe xác hơn, seẫ giảm chi phí điêầu trị chi phí liên quan đêốn y têố Veracity (Độ tin cậy/chính xác)6: Một tính chẫốt phức tạp nhẫốt Dữ liệu lớn độ tin cậy/chính xác liệu V ới xu h ướng ph ương ti ện truyêần thông xã hội (Social Media) mạng xã hội (Social Network) ngày gia tăng mạnh meẫ tính tương tác chia sẻ ng ười dùng Mobile làm cho việc xác định vêầ độ tin cậy & xác liệu ngày khó khăn h ơn Bài tốn phẫn tích loại bỏ liệu thiêốu xác nhiêẫu tính chẫốt quan trọng Dữ liệu lớn Đặc trưng 5V liệu lớn gì? 07/12/2018, Kỷ yếu Hội thảo khoa học “Thống kê Nhà nước với Dữ liệu lớn” https://ehealth.gov.vn/?action=News&newsId=46156 Đặc trưng 5V liệu lớn gì? 07/12/2018, Kỷ yếu Hội thảo khoa học “Thống kê Nhà nước với Dữ liệu lớn” https://ehealth.gov.vn/?action=News&newsId=46156 lOMoARcPSD|17838488 1.1.3 Lịch sử hình thành phát triển Dữ liệu lớn thực chẫốt hình thành từ khoảng thập k ỷ 80 - 90 c thêố k ỷ XX Năm 1984, tập đồn Teradata đưa thị trường hệ thơống xử lý liệu song song DBC 1012 Các hệ thôống xử lý Teradata m ột nh ững h ệ thôống đẫầu tiên lưu trữ phẫn tích đêốn terabyte liệu vào năm 1992 Ổ đĩa c ứng đạt mức dung lượng 2,5GB vào năm 1991 Năm 2000, Seisint Inc (nay Tập đoàn LexisNexis) phát tri ển m ột khung chia sẻ tệp dựa cẫốu cẫốu trúc C++ để lưu tr ữ truy vẫốn d ữ li ệu H ệ thơống lưu trữ phẫn phơối liệu có cẫốu trúc, bán cẫốu trúc, phi cẫốu trúc nhiêầu máy chủ Năm 2004, Google xuẫốt báo vêầ q trình MapReduce, cung cẫốp mơ hình xử lý song song phát hành nh ững ứng d ụng liên quan đ ể x lý lượng liệu khổng lôầ Năm 2005, nhiêầu doanh nghiệp băốt đẫầu nhận sôố lượng người dùng tạo thông qua Youtube, Facebook dịch vụ trực tuyêốn khác rẫốt l ớn Cùng năm đó, Hadoop7 phát triển NoSQL băốt đẫầu trở nên phổ biêốn Sự phát triển framework Hiện nay, nhờ có Internet of Things mà khơối lượng D ữ li ệu l ớn ngày lớn với tôốc độ nạp vơ nhanh chóng Lý d ữ li ệu ngày không ch ỉ người tạo mà cịn máy móc tạo tự động Dữ liệu l ớn tr thành m ột tài nguyên quý giá đôối với doanh nghiệp, đặc bi ệt doanh nghi ệp th ương mại điện tử, giúp doanh nghiệp tăng lợi thêố cạnh tranh ph ục vụ khách hàng tôốt 1.2 Quy trình hoạt động Dữ liệu lớn 1.2.1 Xẫy dựng chiêốn lược Dữ liệu lớn Ở cẫốp độ cao, chiêốn lược Dữ liệu lớn kêố hoạch thiêốt kêố đ ể giúp bạn giám sát cải thiện cách thu thập, lưu trữ, quản lý, chia s ẻ s dụng d ữ liệu cho doanh nghiệp Khi phát triển chiêốn lược Dữ liệu lớn, điêầu quan tr ọng phải xem xét mục tiêu sáng kiêốn tại, tương lai c doanh nghi ệp Một framework open source tạo riêng với nhiệm vụ lưu trữ phân tích Big Data lOMoARcPSD|17838488 Điêầu đòi hỏi việc doanh nghiệp phải coi Dữ liệu l ớn giôống nh m ột tài s ản kinh doanh có giá trị thay cơng cụ thơng th ường 1.2.2 Xác định nguôần Dữ liệu lớn Dữ liệu truyêần trực tiêốp: liệu từ Internet of Things (IoT) thiêốt bị kêốt nôối truyêần vào hệ thôống công nghệ thông tin từ thiêốt b ị nh ện tho ại thông minh, ô tô thông minh Chúng ta có th ể phẫn tích D ữ li ệu l ớn đ ược truyêần đêốn, quyêốt định liệu nên giữ, d ữ li ệu không nên gi ữ d ữ li ệu cẫầnn phẫn tích thêm Social Media (Facebook, YouTube, Instagram…): Dữ liệu lớn dạng hình ảnh, video, giọng nói, văn ẫốm thanh, rẫốt hữu ích cho ch ức tiêốp th ị, bán hàng hôẫ trợ Dữ liệu thường dạng phi cẫốu trúc ho ặc bán cẫốu trúc, v ậy đặt thách thức riêng cho việc tiêu thụ phẫn tích Dữ liệu có săẫn cơng bơố: thông tin, liệu công bôố rộng rãi cơng khai trang web thức Chính phủ n ước Các loại ngần khác: sôố nguôần liệu khác đêốn từ khách hàng, nhà cung cẫốp liệu đám mẫy 1.2.3 Truy cập, quản lí lưu trữ Dữ liệu lớn Các hệ thơống máy tính đại cung cẫốp tơốc đ ộ, s ức m ạnh tính linh ho ạt cẫần thiêốt để nhanh chóng truy cập sơố lượng lớn loại liệu l ớn Cùng v ới khả truy cập đáng tin cậy, công ty cẫần có ph ương pháp tích h ợp liệu, xẫy dựng đường ôống dẫẫn liệu, đảm bảo chẫốt l ượng d ữ li ệu, cung cẫốp khả quản lý lưu trữ liệu nh chu ẩn b ị d ữ li ệu đ ể phẫn tích M ột sơố liệu lớn lưu trữ chôẫ kho liệu truần thơống nh ưng có tùy chọn linh hoạt, chi phí thẫốp đ ể l ưu tr ữ x lý d ữ li ệu l ớn thông qua giải pháp đám mẫy, hôầ liệu, đường ôống liệu Hadoop 1.2.4 Tiêốn hành phẫn tích liệu Với cơng nghệ hiệu suẫốt cao điện tốn lưới phẫn tích nhớ, tổ chức, doanh nghiệp chọn sử dụng tẫốt c ả d ữ li ệu l ớn c h ọ để phẫn tích Một cách tiêốp cận khác xác định tr ước d ữ li ệu có liên quan trước phẫn tích Dù băầng cách nào, phẫn tích d ữ li ệu l ớn cách công ty ... BIG DATA – DỮ LIỆU LỚN Giới thiệu chung Big Data 1.1 1.1.1 Khái niệm 1.1.2 Đặc trưng Big Data 1.1.3 Lịch sử hình thành phát triển 1.2 Quy trình hoạt động Big Data 1.2.1 Xẫy dựng chiêốn lược Big. .. lược Big Data 1.2.2 Xác định ngần Big Data 1.2.3 Truy cập, quản lí lưu trữ Big Data 1.2.4 Tiêốn hành phẫn tích liệu 1.2.5 Đưa kêốt luận 1.3 Vai trò Big Data sốố lĩnh vực cụ thể 1.3.1 Trong lĩnh... thêố, việc phẫn tích d ữ liệu giao d ịch l ịch 10 Big data ứng dụng hoạt động ngân hàng ,15/6/2020 https://tapchinganhang.gov.vn /big- data- va-ung-dung -trong- hoat-dong-nganhang.htm Downloaded by hây