Tiểu luậnáp dụng khoa học dữ liệu trong kinhdoanh cơ hội và thách thức

NGÂN HÀNG NHÀ NƯỚC VIỆT NAM TRƯỜNG ĐẠI HỌC NGÂN HÀNG TP.HCM BỘ MÔN TOÁN KINH TẾ - - TIỂU LUẬN ÁP DỤNG KHOA HỌC DỮ LIỆU TRONG KINH DOANH CƠ HỘI VÀ THÁCH THỨC Sinh viên thực hiện: Phan Văn Nam MSSV:030238220134 Lớp học phần: DAT718_231_1_D01 GVHD: Lê Quang Thái Ngày nộp: 27/01/2024 MỤC LỤC MỞ ĐẦU 3 1 Lí do chọn đề tài 3 2 Phạm vi nghiên cứu .3 3 Ý nghĩa đề tài .4 CHƯƠNG 1 TỔNG QUAN KHOA HỌC DỮ LIỆU 5 1.Khái niệm cơ bản về khoa học dữ liệu 5 1.1 Dữ liệu 5 1.2 Thuật ngữ “Khoa học dữ liệu” 5 1.3 Định nghĩa cơ bản khoa học dữ liệu 6 2 Các vấn đề trọng tâm 7 2.1 Các thành phần chủ yếu 7 2.2 Dữ liệu lớn (Big data) .8 2.3 Công nghệ lưu trữ,xử lí dữ liệu lớn 8 4 Quy trình phân tích dữ liệu 10 4.1 Khái niệm phân tích dữ liệu 10 4.2 Các bước phân tích dữ liệu .11 3 Công nghệ kỹ thuật trong phân tích dữ liệu .12 3.1 Khai phá dữ liệu (Data mining) 12 3.2 Trí tuệ nhân tạo AI 13 3.3 Machine learning 16 CHƯƠNG 2 ỨNG DỤNG KHOA HỌC DỮ LIỆU TRONG KINH DOANH .19 1 Thương mại điện tử (E_commerce) 19 2 Tài chính ngân hàng 20 3 KHDL trong vận hành sản xuất 21 4 Quản lý Dữ liệu Khách hàng .22 5 Phân tích rủi ro 23 6 Truyền thông quảng cáo 24 CHƯƠNG 3 THÁCH THỨC VÀ GIẢI PHÁP .25 1 Quản lí dữ liệu lớn .25 2 Bảo mật dữ liệu và quyền riêng tư .26 3 Thiếu nhân lực,chuyên gia trong DS 26 4 Truyền đạt kết quả cho các bên liên quan 27 TỔNG KẾT 28 TÀI LIỆU THAM KHẢO 29 2 MỞ ĐẦU 1 Lí do chọn đề tài Trong thời đại số hóa hiện nay, việc áp dụng khoa học dữ liệu trong kinh doanh không chỉ là một xu hướng, mà còn là một yếu tố chủ chốt giúp doanh nghiệp nắm bắt cơ hội và đối mặt với thách thức trong môi trường kinh doanh ngày càng cạnh tranh Dữ liệu đem lại nguồn thông tin,tri thức vô cùng hữu ích,không chỉ mở ra những tầm nhìn mới cánh cửa mới cho quản lý doanh nghiệp có thể ra quyết định chiến lược hiệu quả nhất mà còn giúp doanh nghiệp hiểu sâu hơn về khách hàng, thị trường và quá trình sản xuất Trong bối cảnh mà mọi hoạt động kinh doanh ngày nay đều tạo ra dữ liệu, từ giao dịch mua bán đến tương tác trên mạng xã hội, sức mạnh của dữ liệu trở thành chìa khóa quan trọng mở ra cơ hội mới và tối ưu hóa hiệu suất Việc hiểu rõ cách ứng dụng công nghệ của khoa học dữ liệu để dự đoán xu hướng thị trường, tối ưu hóa chuỗi cung ứng, và cái nhìn chi tiết về hành vi khách hàng đang trở thành một yếu tố quyết định cho sự thành công của các doanh nghiệp Tuy nhiên chúng ta không thể phủ nhận sự xuất hiện của những thách thức Bảo mật dữ liệu, đạo đức trong việc sử dụng thông tin cá nhân, và khả năng đối mặt với áp lực từ sự biến động nhanh chóng mà mọi doanh nghiệp đều phải đối diện 2 Phạm vi nghiên cứu Nghiên cứu này nhằm tìm hiểu và áp dụng khoa học dữ liệu một cách hiệu quả trong lĩnh vực kinh doanh, đặc biệt là trong việc cải thiện quy trình ra quyết định, hiểu rõ hành vi của khách hàng và dự báo xu hướng thị trường Chúng ta sẽ khám phá khái niệm cơ bản về khoa học dữ liệu và nhận thức về vai trò quan trọng của dữ liệu trong kinh doanh Quy trình phức tạp từ việc thu thập dữ liệu, xử lý, phân tích dữ liệu, thìm hiểu các mô hình thuật toán,các công nghệ kỹ thuật trong lĩnh vực khoa học dữ liệu 3 Trong phần ứng dụng, sẽ đề cập đến cách khoa học dữ liệu có thể giúp tối ưu hóa quy trình quyết định, làm sáng tỏ hành vi khách hàng và dự báo xu hướng thị trường Cuối cùng, nghiên cứu sẽ đặt ra những câu hỏi về an ninh thông tin và khả năng quản lý dữ liệu lớn (Big Data), đồng thời đề xuất những giải pháp thực tế để vượt qua những thách thức này trong môi trường kinh doanh ngày nay 3 Ý nghĩa đề tài Trong đề tài tiểu luận này sẽ đưa ra những cơ hội mà khoa học dữ liệu mang lại cho kinh doanh,cùng với việc tìm hiểu những thách thức khó khăn gặp phải và cách doanh nghiệp có thể vượt qua chúng cũng như đưa ra cái nhìn toàn diện về vai trò ngày càng quan trọng của khoa học dữ liệu trong xây dựng nền tảng cho sự phát triển của doanh nghiệp CHƯƠNG 1 TỔNG QUAN KHOA HỌC DỮ LIỆU 1.Khái niệm cơ bản về khoa học dữ liệu 1.1 Dữ liệu Dữ liệu (data) là một tập hợp các thông tin được thu thập, lưu trữ và xử lý để sử dụng cho mục đích nghiên cứu, quản lý hỗ trợ ra quyết định.Dữ liệu đóng 4 vai trò quan trọng không thể phủ nhận trong thế giới ngày nay, nơi mà thông tin được coi là nguồn lực quý báu Như tỉ phú hãng Tesla CEO Elon Musk từng phát biểu "Siêu dữ liệu còn nguy hiểm hơn boom nguyên tử" Điều này hiển nhiên khi dữ là nhiên liệu cho thế kỉ 21 và tương lai khi chúng ta nhìn vào sự phát triển nhanh chóng của công nghệ thông tin và khối lượng dữ liệu lớn ngày càng tăng Trong lĩnh vực kinh doanh, dữ liệu không là một tài nguyên, mà còn là một công cụ để ra quyết định quan trọng Bill Gates từng nhấn mạnh, "Dữ liệu không chỉ giúp chúng ta hiểu rõ thế giới mà còn giúp chúng ta thay đổi nó." Việc sử dụng thông tin có chất lượng và hiệu quả không chỉ giúp doanh nghiệp hiểu rõ hơn về khách hàng mà còn tạo ra những chiến lược kinh doanh độc đáo Để sử dụng,khai thác sức mạnh dữ liệu một cách hiệu quả thì lĩnh vực khoa học dữ liệu đang trở thành một lĩnh vực ngày càng quan trọng Từ việc phân tích xu hướng đến dự đoán tương lai, khoa học dữ liệu đang mở ra những cánh cửa mới cho sự đổi mới và phát triển 1.2 Thuật ngữ “Khoa học dữ liệu” Trong khoảng hơn 30 năm từ 1960 đến 1996, thuật ngữ "Khoa học dữ liệu" (data science) đã xuất hiện trong nhiều tài liệu liên quan đến các phương pháp tính toán Đến tháng 11 năm 1997, nhà nghiên cứu Chien-Fu Jeff Wu chính thức giới thiệu thuật ngữ "Khoa học dữ liệu" trong bài thuyết trình "Statistics = Data Science?" tại Đại học Michigan Trong bài thuyết trình đó, ông Wu thảo luận và đề xuất rằng thuật ngữ "thống kê" nên được thay đổi thành "Khoa học dữ liệu," và những người làm thống kê nên được gọi là "nhà Khoa học dữ liệu," vì họ chủ yếu dành thời gian của mình để thao tác và nghiên cứu dữ liệu Năm 2001, William S Cleveland đã công nhận Khoa học Dữ liệu như một ngành độc lập Đến tháng 4 năm 2002, Hội đồng Khoa học Quốc tế đã thành lập Tạp chí Khoa học Dữ liệu, tập trung vào mô tả hệ thống dữ liệu, xuất bản trực 5 tuyến, các ứng dụng, và vấn đề pháp lý Từ tháng 1 năm 2003, Đại học Columbia đã bắt đầu xuất bản Tạp chí Khoa học Dữ liệu nhằm tạo ra một diễn đàn cho những người làm việc với dữ liệu để chia sẻ quan điểm và ý kiến Đến năm 2008, DJ Patil và Jeff Hammerbacher đã sử dụng thuật ngữ "nhà Khoa học Dữ liệu" để mô tả công việc của họ tại LinkedIn và Facebook Năm 2013, Nhóm Công tác về Khoa học Dữ liệu và Phân tích nâng cao của IEEE được thành lập, và hội nghị quốc tế đầu tiên về Khoa học Dữ liệu và Phân tích nâng cao của IEEE đã được tổ chức vào năm 2014 Năm 2015, Tạp chí Quốc tế về Khoa học Dữ liệu và Phân tích đã ra mắt bởi Springer, nhằm xuất bản những công trình nghiên cứu ban đầu về Khoa học Dữ liệu và phân tích dữ liệu lớn Mặc dù đã tồn tại từ lâu, Khoa học Dữ liệu vẫn được coi là một khái niệm mới, đặc biệt nổi lên trong những thập kỷ đầu của thế kỷ 21 1.3 Định nghĩa cơ bản khoa học dữ liệu Khoa học Dữ liệu (KHDL) là một lĩnh vực nghiên cứu mới, tập trung chủ yếu vào việc khám phá và hiểu biết về dữ liệu Tên gọi của nó đã nói lên điều này, với sự chú trọng đặc biệt vào việc nghiên cứu về dữ liệu và ứng dụng của nó trong cuộc sống hàng ngày Với sự đa dạng và khối lượng lớn của dữ liệu ngày nay, từ nhu cầu phát triển ứng dụng cho đến thay đổi trong lối sống, KHDL trở thành một ngành khoa học liên ngành Điều này đặc biệt phản ánh trong việc nghiên cứu các loại dữ liệu đa dạng từ các lĩnh vực chuyên ngành khác nhau Mục tiêu chính của KHDL là tạo ra cái nhìn sâu sắc hơn về dữ liệu và áp dụng nó để tạo ra giá trị thực sự cho cuộc sống con người Quá trình này đòi hỏi sự kết hợp của các phương pháp tính toán, thống kê và trực quan hóa Các nhà nghiên cứu trong lĩnh vực này thường xuyên sử dụng tính toán để xây dựng mô hình, phân tích để hiểu sâu hơn về dữ liệu, và thống kê để hỗ trợ dự đoán Đồng thời, việc trực quan hóa giúp hiển thị kết quả một cách rõ ràng và hiệu quả 6 Document continues below Discover more fkrhooma:học dữ liệu kinh doanh DAT7 Trường Đại học… 27 documents Go to course Lý thuyết về hồi quy binary logistic 3 Các lĩnh vực chuyên ngành liên quan đến KHDL rất đa dạng, từ xử lý tín 100% (1) hiệu, học máy, đến cơ sở dữ liệu và trí tuệ nhân tạo Sự kết hợp này tạo ra một phạm vi rộng lớn cho nghiên cứu, đặc biệt là khi liên kết với khoa học thống kê để đảm bảo tính chính xác và đáng tin cậy trong quá trình phMânictírcohsdoữfltiệPu.o wer 2 Các vấn đề trọng tâm Point - C1 Xu ly du… 80 2.1 Các thành phần chủ yếu None Khoa học dữ liệu là một bộ môn khoa học giao thoa các lĩnh vực,ngành Khoa học máy tính (Computer Science),Toán & Thống kê học (Math & Bài tập chương 7,8 Statistics) , Chuyên môn ngành (Business/Domain Expertise) như mô tả sơ đồ vens dưới đây: 5 Nguyên lý 100% (2) kế toán BT chương 3 - Giải bài tập chương 3… 2 Nguyên lý 100% (2) kế toán Bai2 dbyr dkkht mxnhr dht dhtnn… 31 Nguyên lý 100% (1) kế toán Khoa học máy tính trong khoa học dữ liệu được áp dụng cho việc thu thập,xứ lí,phân tích kết hợp với kiến thức cơ sở toán thống kê để tạo ra các thuật toán,mô hình học máy để đẩy nhanh thực hiện một quy trìnhpprhinânctiípchledsữ olifệu trong kinh doanh accounting -… 2.2 Dữ liệu lớn (Big data) 3 Nguyên lý 100% (1) kế toán Dữ liệu lớn (Big data) mô tả các tập dữ liệu lớn đa dạng có cấu trúc, phi cấu trúc và bán cấu trúc,liên tục được tạo ra ở tốc độ cao và với khối lượng lớn 7 Dữ liệu lớn thường được đo lường bằng terabyte hoặc petabyte Một petabyte tương đương với 1.000.000 gigabyte Nói cách khác, giả sử một bộ phim HD chứa khoảng 4 gigabyte dữ liệu Một petabyte tương đương với 250.000 bộ phim Tập dữ liệu lớn có thể chứa từ khoảng hàng trăm tới hàng nghìn đến hàng triệu petabyte Úng dụng của dữ liệu lớn (Big Data) rất đa dạng và có tác động quan trọng trong nhiều lĩnh vực như phân tích kinh tế vĩ mô,tài chính,giáo dục,công nghệ sinh học,y học… 2.3 Công nghệ lưu trữ,xử lí dữ liệu lớn 2.3.1 Điện toán đám mây Điện toán đám mây (cloud computing) là mô hình cung cấp và sử dụng các tài nguyên máy tính (như máy chủ, lưu trữ, mạng, cơ sở dữ liệu, phần mềm) qua internet Thay vì phải mua và duy trì các tài nguyên máy tính và cơ sở hạ tầng tại các trung tâm dữ liệu riêng lẻ, người dùng có thể thuê chúng từ nhà cung cấp dịch vụ đám mây Hiện nay, rất nhiều các doanh nghiệp trong tất cả các lĩnh vực đều đang sử dụng những ứng dụng, dịch vụ của điện toán đám mây để lưu trữ thông tin, sắp xếp và tổ chức quản lý công việc, với các ưu điểm vượt trội đó là kho dữ liệu khổng lồ, giúp tiết kiệm thời gian, tiền bạc, nguồn nhân lực, các kế hoạch kiểm soát công việc, nhân viên đều hiệu quả hơn mà đặc biệt chi phí đầu tư thấp hơn rất nhiều so với việc bảo hành và nâng cấp các phần mềm quản lý vật lý trước đây Big data sử dụng các bộ dữ liệu lớn từ các nguồn mới Đối với nhiều nhà sản xuất, đây còn là công nghệ không thể thiếu để xử lý những dữ liệu lớn 2.3.2 Hồ dữ liệu (Data lake) Data lake là một kho lưu trữ trung tâm chứa dữ liệu lớn từ các nguồn ở định dạng ban đầu cho đến khi các doanh nghiệp sử dụng nó Dữ liệu có thể có 8 cấu trúc, bán cấu trúc hoặc không có cấu trúc với tính linh hoạt để sử dụng trong tương lai Điều này tạo ra một hồ dữ liệu kết hợp với các điểm và hình dạng khác nhau của dữ liệu thô cung cấp thông tin chi tiết hữu ích để tùy chỉnh nhằm đáp ứng nhu cầu của khách hàng Hình ảnh: Faraha Rahman Lamiya Lưu trữ dữ liệu trong hồ dữ liệu liên kết với các mã định danh và thẻ siêu dữ liệu để giải cứu nhanh chóng Nó bao gồm hàng trăm terabyte hoặc petabyte để lưu trữ dữ liệu mô phỏng từ các nguồn hoạt động bao gồm cơ sở dữ liệu và nền tảng SaaS Hồ dữ liệu cũng có thể được sử dụng như một nền tảng nguồn cho phép lưu trữ dữ liệu và các công cụ hỗ trợ để hiểu dữ liệu thông qua việc khám phá nhanh chóng cho các phân tích nâng cao Nó theo dõi dòng dõi, bảo mật áp đặt cũng như kiểm toán tập trung duy trì tiêu chuẩn của nó 2.3.2 Kho dữ liệu (Data warehouse) Kho dữ liệu là một kho lưu trữ thông tin trung tâm có thể được phân tích để đưa ra các quyết định sáng suốt hơn Dữ liệu truyền vào kho dữ liệu từ các hệ 9 3.3.2 Các kĩ thuật Machine learning Học giám sát (Supervised Learning):là một loại học máy trong đó mô hình được cung cấp dữ liệu có nhãn, tức là dữ liệu có chứa kết quả mong muốn Mô hình sẽ sử dụng dữ liệu này để học cách dự đoán kết quả cho các dữ liệu mới Học giám sát được chia thành hai loại chính: Phân loại (Classification): Phân loại dữ liệu vào các nhóm khác nhau Ví dụ: phân loại email là "spam" hoặc "không phải spam", phân loại hình ảnh là "con chó" hoặc "con mèo" Hồi quy (Regression): Dự đoán giá trị liên tục Ví dụ: dự đoán giá nhà, dự đoán doanh số bán hàng Học không giám sát (Unsupervised Learning) là một loại học máy trong đó mô hình không được cung cấp dữ liệu có nhãn Mô hình sẽ học cách tự tổ chức dữ liệu để tìm ra các mô hình và mối quan hệ bên trong dữ liệu Học không giám sát được chia thành hai loại chính: Phân cụm (Clustering): Gom nhóm dữ liệu có cùng đặc điểm Ví dụ: gom nhóm khách hàng dựa trên hành vi mua sắm, gom nhóm hình ảnh dựa trên nội dung Phân loại không giám sát (Dimensionality Reduction): Giảm số chiều của dữ liệu mà vẫn giữ lại thông tin quan trọng Ví dụ: PCA (Principal Component Analysis), LDA (Linear Discriminant Analysis) Học bán giám sát (Semi-Supervised Learning) là một loại học máy trong đó mô hình được cung cấp cả dữ liệu có nhãn và không có nhãn Mô hình sẽ sử dụng cả hai loại dữ liệu này để học cách dự đoán kết quả cho các dữ liệu mới Học tăng cường (Reinforcement Learning) một loại học máy trong đó mô hình học từ tương tác với môi trường Mô hình sẽ nhận được phản hồi dựa 16 trên hành động của nó và sử dụng phản hồi này để cải thiện hành động của nó trong tương lai Mạng nơ-ron (Neural Networks) là một mô hình học máy dựa trên mô hình hoạt động của não bộ con người Mạng nơ-ron bao gồm các nơ-ron kết nối với nhau Các nơ-ron truyền tín hiệu cho nhau và sử dụng tín hiệu này để tính toán kết quả Máy vector hỗ trợ (Support Vector Machines - SVM) là một thuật toán học máy có thể được sử dụng cho các tác vụ phân loại và hồi quy SVM tìm ra ranh giới tốt nhất giữa các lớp dữ liệu Phương pháp tăng cường dữ liệu (Data Augmentation) là một kỹ thuật được sử dụng để tăng kích thước tập dữ liệu Phương pháp này thực hiện các biến đổi nhỏ trên dữ liệu hiện có để tạo ra các dữ liệu mới.Tăng cường dữ liệu có thể hữu ích trong các trường hợp tập dữ liệu nhỏ hoặc không cân bằng Học máy không giám sát đối với dữ liệu chuỗi thời gian: Mô hình Markov ẩn (Hidden Markov Models - HMM): Sử dụng cho dữ liệu chuỗi thời gian Mô hình chuỗi thời gian (Time Series Models): Dự đoán giá trị tương lai dựa trên dữ liệu quá khứ Học máy và dữ liệu không cân bằng:Xử lý tình trạng mất cân bằng trong dữ liệu huấn luyện, chẳng hạn như sử dụng kỹ thuật tái cân bằng hoặc chú ý đến độ đa dạng của dữ liệu 3.3.3 Ứng dụng Machine learning Các mô hình máy học được ứng dụng trong xử lí hình ảnh,nhận dạng giọng nói,chẩn đoán y tế, trích xuất thông tin 17 CHƯƠNG 2 ỨNG DỤNG KHOA HỌC DỮ LIỆU TRONG KINH DOANH 1 Thương mại điện tử (E_commerce) Thương mại điện tử ( E-commerce) , là một lĩnh vực phát triễn mạnh mẽ thời đại kinh doanh được số hóa, quá trình mua bán hàng hóa và dịch vụ thông qua nền tảng internet Các tập đoàn thương mại điện tử (&; bán lẻ) chủ yếu tập trung vào việc bán hoặc mua hàng hóa và dịch vụ qua internet Với sự trợ giúp của Khoa học dữ liệu, việc lọc các kiểu sản phẩm mà khách hàng thích giới thiệu có thể được thực hiện theo cách tập thể Hơn nữa, nếu một số thay đổi hoặc biến động có thể xảy ra về giá, điều này cũng có thể được xác định thông qua phân tích dự đoán Phân tích như vậy chấp nhận các thuật toán thống kê để dự đoán khả năng quan tâm hoặc thù hận đối với các sản phẩm mà khách hàng có thể chọn trong tương lai Thật vậy, nếu các xu hướng liên quan đến dịch vụ có thể thay đổi và quan điểm của khách hàng dao động, điều này được phát hiện đầy hứa hẹn thông qua phân tích tình cảm ở đâu đó phân tích phản hồi tốt thông qua các cuộc khảo sát / đánh giá trực tuyến Khoa học Dữ liệu với một vai trò quan trọng trong việc phân loại và tối ưu hóa nội dung dịch vụ theo sở thích của khách hàng Thông qua việc áp dụng các phương pháp phân tích, những tập đoàn này có thể hiệu quả lọc và giới thiệu các sản phẩm theo cách tập trung và phù hợp với mong muốn của khách hàng Những tiến triển này đã được thấy rõ trong các ứng dụng của các công ty nổi tiếng như Trivago, Starbucks và H&M trong năm 2021 Các tập đoàn này không chỉ phân loại nội dung dịch vụ một cách linh hoạt mà còn tạo ra sự đồng 18 cảm với cảm xúc của khách hàng thông qua việc cung cấp hiểu biết có liên quan dưới dạng những gợi ý độc đáo 2 Tài chính ngân hàng Trong ngành tài chính và ngân hàng, sự ứng dụng của Khoa học Dữ liệu đã đóng vai trò quan trọng trong việc tối ưu hóa quy trình quản lý tài chính, đồng thời giúp các tổ chức này duy trì sự cạnh tranh trong môi trường kinh doanh ngày càng cạnh tranh Quản lý Tài chính thông qua Khoa học Dữ liệu Ngân hàng và các tổ chức tài chính đang nỗ lực để hiệu quả hóa quy trình sắp xếp các tiêu chí cho vay và quản lý các khoản nợ và tài chính Khoa học Dữ liệu giúp chúng ta hiểu rằng, thông qua việc áp dụng các mô hình và thuật toán, các quyết định có thể được đưa ra một cách thông minh, đặc biệt là khi xử lý tài chính cho cá nhân, doanh nghiệp và tổ chức công cộng Dự đoán Giá trị Trọn đời của Khách hàng (CLV) Một yếu tố quan trọng trong chiến lược tài chính là việc dự đoán giá trị trọn đời của khách hàng (CLV) Các tổ chức tài chính có thể sử dụng Khoa học Dữ liệu để đánh giá chính xác khả năng khách hàng tạo ra doanh thu trong thời gian dài Điều này giúp xác định chiến lược tiếp thị và quảng bá hiệu quả nhất để duy trì và phát triển quan hệ với khách hàng Mô hình Rủi ro trong Ngân hàng Trong khi các ngân hàng đối mặt với những quyết định tiếp thị nhạy cảm, chẳng hạn như cấp thẻ tín dụng hay bảo hiểm Khoa học Dữ liệu cung cấp mô hình rủi ro giúp đánh giá và quản lý những rủi ro này một cách hiệu quả Việc này giúp tối ưu hóa chiến lược quyết định và giảm thiểu các nguy cơ liên quan đến tài chính 19