Tiểu luậnáp dụng khoa học dữ liệu trong kinhdoanh cơ hội và thách thức

Việc hiểu rõ cách ứng dụng công nghệ của khoa học dữ liệu để dự đoán xu hướng thị trường, tối ưu hóa chuỗi cung ứng, và cái nhìn chi tiết về hành vi khách hàng đang trở thành một yếu tố

NGÂN HÀNG NHÀ NƯỚC VIỆT NAM

TRƯỜNG ĐẠI HỌC NGÂN HÀNG TP.HCM

BỘ MÔN TOÁN KINH TẾ - -

Ngày nộp: 27/01/2024

MỤC LỤC

MỞ ĐẦU 3

1 Lí do chọn đề tài 3

2 Phạm vi nghiên cứu 3

3 Ý nghĩa đề tài 4

CHƯƠNG 1 TỔNG QUAN KHOA HỌC DỮ LIỆU 5

1.Khái niệm cơ bản về khoa học dữ liệu 5

1.1 Dữ liệu 5

1.2 Thuật ngữ “Khoa học dữ liệu” 5

1.3 Định nghĩa cơ bản khoa học dữ liệu 6

2 Các vấn đề trọng tâm 7

2.1 Các thành phần chủ yếu 7

2.2 Dữ liệu lớn (Big data) 8

2.3 Công nghệ lưu trữ,xử lí dữ liệu lớn 8

4 Quy trình phân tích dữ liệu 10

4.1 Khái niệm phân tích dữ liệu 10

4.2 Các bước phân tích dữ liệu 11

3 Công nghệ kỹ thuật trong phân tích dữ liệu 12

3.1 Khai phá dữ liệu (Data mining) 12

3.2 Trí tuệ nhân tạo AI 13

3.3 Machine learning 16

CHƯƠNG 2 ỨNG DỤNG KHOA HỌC DỮ LIỆU TRONG KINH DOANH 19

1 Thương mại điện tử (E_commerce) 19

2 Tài chính ngân hàng 20

3 KHDL trong vận hành sản xuất 21

4 Quản lý Dữ liệu Khách hàng 22

5 Phân tích rủi ro 23

6 Truyền thông quảng cáo 24

CHƯƠNG 3 THÁCH THỨC VÀ GIẢI PHÁP 25

1 Quản lí dữ liệu lớn 25

2 Bảo mật dữ liệu và quyền riêng tư 26

3 Thiếu nhân lực,chuyên gia trong DS 26

4 Truyền đạt kết quả cho các bên liên quan 27

TỔNG KẾT 28

TÀI LIỆU THAM KHẢO 29

nghiệp có thể ra quyết định chiến lược hiệu quả nhất mà còn giúp doanh nghiệp hiểu sâu hơn về khách hàng, thị trường và quá trình sản xuất.

Trong bối cảnh mà mọi hoạt động kinh doanh ngày nay đều tạo ra dữ liệu,

từ giao dịch mua bán đến tương tác trên mạng xã hội, sức mạnh của dữ liệu trở thành chìa khóa quan trọng mở ra cơ hội mới và tối ưu hóa hiệu suất Việc hiểu

rõ cách ứng dụng công nghệ của khoa học dữ liệu để dự đoán xu hướng thị

trường, tối ưu hóa chuỗi cung ứng, và cái nhìn chi tiết về hành vi khách hàng đang trở thành một yếu tố quyết định cho sự thành công của các doanh nghiệp.Tuy nhiên chúng ta không thể phủ nhận sự xuất hiện của những thách thức.Bảo mật dữ liệu, đạo đức trong việc sử dụng thông tin cá nhân, và khả năng đối mặt với áp lực từ sự biến động nhanh chóng mà mọi doanh nghiệp đều phải đối diện

2 Phạm vi nghiên cứu

Nghiên cứu này nhằm tìm hiểu và áp dụng khoa học dữ liệu một cách hiệu quả trong lĩnh vực kinh doanh, đặc biệt là trong việc cải thiện quy trình ra quyếtđịnh, hiểu rõ hành vi của khách hàng và dự báo xu hướng thị trường Chúng ta

sẽ khám phá khái niệm cơ bản về khoa học dữ liệu và nhận thức về vai trò quan trọng của dữ liệu trong kinh doanh Quy trình phức tạp từ việc thu thập dữ liệu,

xử lý, phân tích dữ liệu, thìm hiểu các mô hình thuật toán,các công nghệ kỹ thuật trong lĩnh vực khoa học dữ liệu

Trong phần ứng dụng, sẽ đề cập đến cách khoa học dữ liệu có thể giúp tối

ưu hóa quy trình quyết định, làm sáng tỏ hành vi khách hàng và dự báo xu

hướng thị trường Cuối cùng, nghiên cứu sẽ đặt ra những câu hỏi về an ninh thông tin và khả năng quản lý dữ liệu lớn (Big Data), đồng thời đề xuất những giải pháp thực tế để vượt qua những thách thức này trong môi trường kinh

doanh ngày nay

3 Ý nghĩa đề tài

Trong đề tài tiểu luận này sẽ đưa ra những cơ hội mà khoa học dữ liệu mang lại cho kinh doanh,cùng với việc tìm hiểu những thách thức khó khăn gặp phải và cách doanh nghiệp có thể vượt qua chúng cũng như đưa ra cái nhìn toàn diện về vai trò ngày càng quan trọng của khoa học dữ liệu trong xây dựng nền tảng cho sự phát triển của doanh nghiệp

CHƯƠNG 1 TỔNG QUAN KHOA HỌC DỮ LIỆU

1.Khái niệm cơ bản về khoa học dữ liệu

1.1 Dữ liệu

Dữ liệu (data) là một tập hợp các thông tin được thu thập, lưu trữ và xử lý

để sử dụng cho mục đích nghiên cứu, quản lý hỗ trợ ra quyết định.Dữ liệu đóng

vai trò quan trọng không thể phủ nhận trong thế giới ngày nay, nơi mà thông tin được coi là nguồn lực quý báu Như tỉ phú hãng Tesla CEO Elon Musk từng phát biểu "Siêu dữ liệu còn nguy hiểm hơn boom nguyên tử" Điều này hiển nhiên khi dữ là nhiên liệu cho thế kỉ 21 và tương lai khi chúng ta nhìn vào sự phát triển nhanh chóng của công nghệ thông tin và khối lượng dữ liệu lớn ngày càng tăng

Trong lĩnh vực kinh doanh, dữ liệu không là một tài nguyên, mà còn là mộtcông cụ để ra quyết định quan trọng Bill Gates từng nhấn mạnh, "Dữ liệu

không chỉ giúp chúng ta hiểu rõ thế giới mà còn giúp chúng ta thay đổi nó." Việc sử dụng thông tin có chất lượng và hiệu quả không chỉ giúp doanh nghiệp hiểu rõ hơn về khách hàng mà còn tạo ra những chiến lược kinh doanh độc đáo

Để sử dụng,khai thác sức mạnh dữ liệu một cách hiệu quả thì lĩnh vực khoa học dữ liệu đang trở thành một lĩnh vực ngày càng quan trọng Từ việc phân tích xu hướng đến dự đoán tương lai, khoa học dữ liệu đang mở ra những cánh cửa mới cho sự đổi mới và phát triển

1.2 Thuật ngữ “Khoa học dữ liệu”

Trong khoảng hơn 30 năm từ 1960 đến 1996, thuật ngữ "Khoa học dữ liệu"(data science) đã xuất hiện trong nhiều tài liệu liên quan đến các phương pháp tính toán Đến tháng 11 năm 1997, nhà nghiên cứu Chien-Fu Jeff Wu chính thức giới thiệu thuật ngữ "Khoa học dữ liệu" trong bài thuyết trình "Statistics = Data Science?" tại Đại học Michigan Trong bài thuyết trình đó, ông Wu thảo luận và đề xuất rằng thuật ngữ "thống kê" nên được thay đổi thành "Khoa học

dữ liệu," và những người làm thống kê nên được gọi là "nhà Khoa học dữ liệu,"

vì họ chủ yếu dành thời gian của mình để thao tác và nghiên cứu dữ liệu

Năm 2001, William S Cleveland đã công nhận Khoa học Dữ liệu như một ngành độc lập Đến tháng 4 năm 2002, Hội đồng Khoa học Quốc tế đã thành lậpTạp chí Khoa học Dữ liệu, tập trung vào mô tả hệ thống dữ liệu, xuất bản trực

tuyến, các ứng dụng, và vấn đề pháp lý Từ tháng 1 năm 2003, Đại học

Columbia đã bắt đầu xuất bản Tạp chí Khoa học Dữ liệu nhằm tạo ra một diễn đàn cho những người làm việc với dữ liệu để chia sẻ quan điểm và ý kiến

Đến năm 2008, DJ Patil và Jeff Hammerbacher đã sử dụng thuật ngữ "nhà Khoa học Dữ liệu" để mô tả công việc của họ tại LinkedIn và Facebook Năm

2013, Nhóm Công tác về Khoa học Dữ liệu và Phân tích nâng cao của IEEE được thành lập, và hội nghị quốc tế đầu tiên về Khoa học Dữ liệu và Phân tích nâng cao của IEEE đã được tổ chức vào năm 2014 Năm 2015, Tạp chí Quốc tế

về Khoa học Dữ liệu và Phân tích đã ra mắt bởi Springer, nhằm xuất bản những công trình nghiên cứu ban đầu về Khoa học Dữ liệu và phân tích dữ liệu lớn Mặc dù đã tồn tại từ lâu, Khoa học Dữ liệu vẫn được coi là một khái niệm mới, đặc biệt nổi lên trong những thập kỷ đầu của thế kỷ 21

1.3 Định nghĩa cơ bản khoa học dữ liệu

Khoa học Dữ liệu (KHDL) là một lĩnh vực nghiên cứu mới, tập trung chủ yếu vào việc khám phá và hiểu biết về dữ liệu Tên gọi của nó đã nói lên điều này, với sự chú trọng đặc biệt vào việc nghiên cứu về dữ liệu và ứng dụng của

nó trong cuộc sống hàng ngày Với sự đa dạng và khối lượng lớn của dữ liệu ngày nay, từ nhu cầu phát triển ứng dụng cho đến thay đổi trong lối sống,

KHDL trở thành một ngành khoa học liên ngành Điều này đặc biệt phản ánh trong việc nghiên cứu các loại dữ liệu đa dạng từ các lĩnh vực chuyên ngành khác nhau

Mục tiêu chính của KHDL là tạo ra cái nhìn sâu sắc hơn về dữ liệu và áp dụng nó để tạo ra giá trị thực sự cho cuộc sống con người Quá trình này đòi hỏi

sự kết hợp của các phương pháp tính toán, thống kê và trực quan hóa Các nhà nghiên cứu trong lĩnh vực này thường xuyên sử dụng tính toán để xây dựng mô hình, phân tích để hiểu sâu hơn về dữ liệu, và thống kê để hỗ trợ dự đoán Đồng thời, việc trực quan hóa giúp hiển thị kết quả một cách rõ ràng và hiệu quả

Các lĩnh vực chuyên ngành liên quan đến KHDL rất đa dạng, từ xử lý tín hiệu, học máy, đến cơ sở dữ liệu và trí tuệ nhân tạo Sự kết hợp này tạo ra một phạm vi rộng lớn cho nghiên cứu, đặc biệt là khi liên kết với khoa học thống kê

để đảm bảo tính chính xác và đáng tin cậy trong quá trình phân tích dữ liệu

Khoa học máy tính trong khoa học dữ liệu được áp dụng cho việc thu

thập,xứ lí,phân tích kết hợp với kiến thức cơ sở toán thống kê để tạo ra các thuậttoán,mô hình học máy để đẩy nhanh thực hiện một quy trình phân tích dữ liệu trong kinh doanh

2.2 Dữ liệu lớn (Big data)

Dữ liệu lớn (Big data) mô tả các tập dữ liệu lớn đa dạng có cấu trúc, phi cấu trúc và bán cấu trúc,liên tục được tạo ra ở tốc độ cao và với khối lượng lớn

Lý thuyết về hồi quy binary logistic

100% (1)

3

Microsoft Power Point - C1 Xu ly du…

None

80

Bài tập chương 7,8Nguyên lý

kế toán 100% (2)

5

BT chương 3 - Giải bài tập chương 3…Nguyên lý

kế toán 100% (2)

2

Bai2 dbyr dkkht mxnhr dht dhtnn…Nguyên lý

kế toán 100% (1)

31

principles of accounting -…Nguyên lý

kế toán 100% (1)

3

Dữ liệu lớn thường được đo lường bằng terabyte hoặc petabyte Một petabyte tương đương với 1.000.000 gigabyte Nói cách khác, giả sử một bộ phim HD chứa khoảng 4 gigabyte dữ liệu Một petabyte tương đương với 250.000 bộ phim Tập dữ liệu lớn có thể chứa từ khoảng hàng trăm tới hàng nghìn đến hàngtriệu petabyte

Úng dụng của dữ liệu lớn (Big Data) rất đa dạng và có tác động quan trọngtrong nhiều lĩnh vực như phân tích kinh tế vĩ mô,tài chính,giáo dục,công nghệ sinh học,y học…

2.3 Công nghệ lưu trữ,xử lí dữ liệu lớn

2.3.1 Điện toán đám mây

Điện toán đám mây (cloud computing) là mô hình cung cấp và sử dụng cáctài nguyên máy tính (như máy chủ, lưu trữ, mạng, cơ sở dữ liệu, phần mềm) quainternet Thay vì phải mua và duy trì các tài nguyên máy tính và cơ sở hạ tầng tại các trung tâm dữ liệu riêng lẻ, người dùng có thể thuê chúng từ nhà cung cấpdịch vụ đám mây

Hiện nay, rất nhiều các doanh nghiệp trong tất cả các lĩnh vực đều đang sử dụng những ứng dụng, dịch vụ của điện toán đám mây để lưu trữ thông tin, sắp xếp và tổ chức quản lý công việc, với các ưu điểm vượt trội đó là kho dữ liệu khổng lồ, giúp tiết kiệm thời gian, tiền bạc, nguồn nhân lực, các kế hoạch kiểm soát công việc, nhân viên đều hiệu quả hơn mà đặc biệt chi phí đầu tư thấp hơn rất nhiều so với việc bảo hành và nâng cấp các phần mềm quản lý vật lý trước đây

Big data sử dụng các bộ dữ liệu lớn từ các nguồn mới Đối với nhiều nhà sản xuất, đây còn là công nghệ không thể thiếu để xử lý những dữ liệu lớn

2.3.2 Hồ dữ liệu (Data lake)

Data lake là một kho lưu trữ trung tâm chứa dữ liệu lớn từ các nguồn ở định dạng ban đầu cho đến khi các doanh nghiệp sử dụng nó Dữ liệu có thể có

cấu trúc, bán cấu trúc hoặc không có cấu trúc với tính linh hoạt để sử dụng trongtương lai Điều này tạo ra một hồ dữ liệu kết hợp với các điểm và hình dạng khác nhau của dữ liệu thô cung cấp thông tin chi tiết hữu ích để tùy chỉnh nhằm đáp ứng nhu cầu của khách hàng.

Hình ảnh: Faraha Rahman Lamiya

Lưu trữ dữ liệu trong hồ dữ liệu liên kết với các mã định danh và thẻ siêu

dữ liệu để giải cứu nhanh chóng Nó bao gồm hàng trăm terabyte hoặc petabyte

để lưu trữ dữ liệu mô phỏng từ các nguồn hoạt động bao gồm cơ sở dữ liệu và nền tảng SaaS Hồ dữ liệu cũng có thể được sử dụng như một nền tảng nguồn cho phép lưu trữ dữ liệu và các công cụ hỗ trợ để hiểu dữ liệu thông qua việc khám phá nhanh chóng cho các phân tích nâng cao Nó theo dõi dòng dõi, bảo mật áp đặt cũng như kiểm toán tập trung duy trì tiêu chuẩn của nó

2.3.2 Kho dữ liệu (Data warehouse)

Kho dữ liệu là một kho lưu trữ thông tin trung tâm có thể được phân tích

để đưa ra các quyết định sáng suốt hơn Dữ liệu truyền vào kho dữ liệu từ các hệ

thống giao dịch, cơ sở dữ liệu quan hệ và các nguồn khác, thường là trên cơ sở đều đặn Các nhà phân tích kinh doanh, kỹ sư dữ liệu, nhà khoa học dữ liệu và người ra quyết định truy cập dữ liệu thông qua các công cụ nghiệp vụ thông minh (BI), máy khách SQL và các ứng dụng phân tích khác

Dữ liệu và phân tích đã trở thành những yếu tố không thể thiếu đối với các doanh nghiệp để có thể duy trì tính cạnh tranh Người dùng doanh nghiệp dựa vào báo cáo, bảng thông tin và công cụ phân tích để trích xuất thông tin chuyên sâu từ dữ liệu, giám sát hiệu suất kinh doanh và hỗ trợ ra quyết định Kho dữ liệu cung cấp dữ liệu cho các báo cáo, bảng thông tin và công cụ phân tích này bằng cách lưu trữ dữ liệu một cách hiệu quả để giảm thiểu đầu vào và đầu ra (I/O) của dữ liệu và nhanh chóng cung cấp kết quả truy vấn cho hàng trăm và hàng nghìn người dùng cùng lúc

4 Quy trình phân tích dữ liệu

4.1 Khái niệm phân tích dữ liệu

Phân tích dữ liệu chuyển đổi dữ liệu thô thành thông tin chuyên sâu hữu ích Quá trình này bao gồm đa dạng các công cụ, công nghệ và quy trình được

áp dụng để tìm kiếm xu hướng và giải quyết vấn đề bằng dữ liệu Phân tích dữ liệu có thể định hình các quy trình kinh doanh, cải thiện khả năng ra quyết định

và thúc đẩy tăng trưởng doanh nghiệp

4.2 Các bước phân tích dữ liệu

4.2.1 Thu thập dữ liệu

Thu thập dữ liệu là một quá trình tổng hợp tất cả các thông tin từ nhiều nguồn khác nhau và lưu trữ chúng lại trong một hệ thống đã được thiết lập sẵn

4.2.2 Xử lí dữ liệu

Xứ lí dữ liệu là quá trình làm sạch,sắp xếp và lọc dữ liệu Vệc này được thực hiện để đảm bảo rằng chỉ có dữ liệu chất lượng cao nhất mới được đưa vàođơn vị xử lý

Mục đích của bước này là loại bỏ dữ liệu xấu (dữ liệu thừa, không đầy đủ hoặc không chính xác) để bắt đầu tập hợp thông tin chất lượng cao để có thể sử dụng nó một cách tốt nhất

Dữ liệu cuối cùng được truyền và hiển thị cho người dùng ở dạng có thể đọc được như đồ thị, bảng, tệp vector, âm thanh, video, tài liệu, v.v Đầu ra này

có thể được lưu trữ và xử lý thêm trong chu kỳ xử lý dữ liệu tiếp theo

4.2.3 Phân tích dữ liệu

Với sự trợ giúp của các kỹ thuật khác nhau như phân tích thống kê, hồi quy, mạng thần kinh(Network neutron), phân tích văn bản, v.v., tiến hành phân tích và thao tác dữ liệu của mình để trích xuất các kết luận có liên quan,tìm thấy

các xu hướng, mối tương quan, biến thể và mô hình có thể giúp bạn lời các câu hỏi đầu tiên bạn nghĩ đến trong giai đoạn xác định

4.2.4 Trực quan hóa dữ liệu

Trực quan hóa dữ liệu là một quá trình chuyển đổi dữ liệu thành các hình ảnh trực quan, chẳng hạn như biểu đồ, đồ thị, bản đồ, hoặc video

Sử dụng những công cụ,phần mềm trực quan dữ liệu phổ biển như

Microsoft Power BI, D3.js, Tableau… thông qua biểu đồ, đồ thị giúp tìm thấy các mẫu và xu hướng trong dữ liệu

3 Công nghệ kỹ thuật trong phân tích dữ liệu

3.1 Khai phá dữ liệu (Data mining)

3.1.1 Khái niệm

Khai phá dữ liệu là quá trình tìm kiếm các mẫu và mô hình trong dữ liệu Các mẫu và mô hình này có thể được sử dụng để dự đoán giá trị của các biến, phân loại các đối tượng, gom cụm các đối tượng, hoặc phát hiện các mối liên hệgiữa các biến

3.1.2 Phương thưc khai phá dữ liệu

 Tiền xử lý dữ liệu là bước làm sạch dữ liệu, loại bỏ các dữ liệu lỗi,

nhiễu, không đầy đủ, để dữ liệu được chuẩn hóa và sẵn sàng cho các bước tiếp theo

 Phương pháp dự báo :là một trong những nhiệm vụ quan trọng nhất của

khai phá dữ liệu Mục đích của phương pháp này là xây dựng mô hình dự đoángiá trị của một biến dựa trên các giá trị của các biến khác Các phương pháp dựbáo phổ biến bao gồm hồi quy tuyến tính, hồi quy phi tuyến, cây quyết định,

 Phương pháp phân loại: là nhiệm vụ phân loại các đối tượng dữ liệu

vào các lớp khác nhau Các phương pháp phân loại phổ biến bao gồm cây

quyết định, hỗ trợ vector machine, mạng nơ-ron,

 Phương pháp gom cụm: là nhiệm vụ nhóm các đối tượng dữ liệu có đặc

điểm tương tự nhau thành các cụm Các phương pháp gom cụm phổ biến bao gồm K-means, EM, DBSCAN,

 Phương pháp khai phá luật kết hợp: phát hiện các mối liên hệ giữa các

biến dữ liệu Các luật kết hợp có thể được sử dụng để phát hiện các xu hướng, quy tắc, trong dữ liệu Các phương pháp khai phá luật kết hợp phổ biến bao gồm Apriori, FP-growth,

3.2 Trí tuệ nhân tạo AI

3.2.1 Trí tuệ nhân tạo là gì?

Trí tuệ nhân tạo (AI) là lĩnh vực khoa học máy tính chuyên giải quyết các vấn đề nhận thức thường liên quan đến trí tuệ con người, chẳng hạn như học tập, sáng tạo và nhận diện hình ảnh Các tổ chức hiện đại thu thập vô số dữ liệu

từ nhiều nguồn khác nhau như cảm biến thông minh, nội dung do con người tạo,công cụ giám sát và nhật ký hệ thống Mục tiêu của AI là tạo ra các hệ thống tự học có thể tìm ra ý nghĩa của dữ liệu Sau đó, AI áp dụng kiến thức thu được để giải quyết các vấn đề mới theo cách giống như con người Ví dụ: công nghệ AI

có thể trả lời cuộc trò chuyện với con người một cách hợp lý, tạo hình ảnh và văn bản gốc cũng như đưa ra quyết định dựa trên đầu vào dữ liệu theo thời gian thực Tổ chức bạn có thể tích hợp tính năng AI vào ứng dụng để tối ưu hóa quy trình kinh doanh, nâng cao trải nghiệm khách hàng và đẩy mạnh quá trình đổi

mới.

3.2.2 Công nghệ trí tuệ nhân tạo

Mạng nơ-ron học sâu tạo thành cốt lõi của công nghệ trí tuệ nhân tạo

Chúng phản ánh quá trình xử lý diễn ra trong não người Bộ não chứa hàng triệu

tế bào thần kinh hoạt động cùng nhau để xử lý và phân tích thông tin Mạng ron học sâu sử dụng các tế bào thần kinh nhân tạo cùng nhau xử lý thông tin Mỗi nơ-ron nhân tạo, hoặc nút, sử dụng các phép tính toán học để xử lý thông tin và giải quyết các vấn đề phức tạp Phương pháp học sâu này có thể giải

AI tạo sinh: đề cập đến các hệ thống trí tuệ nhân tạo có thể tạo ra nội dung

và tạo tác mới như hình ảnh, video, văn bản và âm thanh từ các lời nhắc bằng văn bản đơn giản Không giống như AI trước đây chỉ giới hạn trong việc phân tích dữ liệu, AI tạo sinh tận dụng học sâu và tập dữ liệu khổng lồ để tạo ra đầu

ra sáng tạo chất lượng cao, giống như con người Trong khi kích hoạt các ứng dụng sáng tạo thú vị, mối quan tâm xoay quanh sự thiên vị, nội dung có hại và