đề tài sự trỗi dậy của big data trong nghiên cứu marketing

ĐẠI HỌC QUOC GIA THANH PHO HO CHi MINH

TRUONG DAI HOC KINH TE - LUAT

KHOA QUAN TRI KINH DOANH

NGHIEN CUU MARKETING

Dé tai: SU TROI DAY CUA BIG DATA TRONG NGHIEN CUU

MARKETING

GVHD: ThS VO THI NGOC TRINH

Thành phố Hồ Chí Minh, tháng 11 năm 2021

MỤC LỤC

1.1 Khái niệm 2 1.2 Phân loại 3 1.3 Các giả định của Big Data 4 1.4 Thách thức khi sử dung Big Data 6 CHƯƠNG 2: BIG DATA TRONG NGHIÊN CỨU MARKETING 8 2.1 Khái niệm nghiên cứu Marketing 8 2.2 Nghiên cứu Marketing truyền thống và Nghiên cứu Marketing sử dụng Big Data 8 2.3 Mô hình trích xuất thông tin từ Big Data cho nghiên cứu marketing 9 2.3.1 Thu thập và lưu trữ dữ liệu 10 2.3.2 Xử lý làm sạch dữ liệu 10

2.3.4 Mô hình hóa va phân tích dữ liệu 11

2.4 Phân tích Big Data và mô hình 5Ps 12 2.4.1 Phan tich két hop (Association analysis) 13 2.4.2 Phân tich g6p nhém (Clustering analysis) 14 2.4.3 Phương pháp phân loại (Classification anaÌySÏS) .- «<< <e<<es<essesee 14 2.4.4 M6 hinh chu dé (Topic modelling) 14 2.4.5 Lọc tương tác (Collaborative filtering) 15 2.4.6 Phân tích hồi quy (regression analysis) 15

CHƯƠNG 3: ỨNG DUNG CUA BIG DATA TRONG NGHIEN CỨU

MARKETING CUA AMAZON 17

3.1.1 Nguồn thông tin cần thu thập 17 3.1.2 Cách xử lý nguồn thông tin 17 3.1.3 Vận dụng những thông tin đã xử lý 18

3.2 Mô hình giao hàng dự đoán 19

3.2.1 Nguồn thông tin cần thu thập 19 3.2.2 Cách xử lý nguồn thông tin 19 3.2.3 Vận dụng những thông tin đã xử lý 19

3.3.1 Nguồn thông tin cần thu thập 19 3.3.2 Cách xử lý nguồn thông tin 20 3.3.3 Vận dụng những thông tin đã xử lý 20 3.4 Dịch vụ khách hàng Alexa 20 3.4.1 Nguồn thông tin cần thu thập 20 3.4.2 Cách xử lý nguồn thông tin 21 3.4.3 Vận dụng những thông tin đã xử lý 21

CHUONG 4: NHUNG CO HOI VIEC LAM MO RA DOI VOI MANG DATA

4.1 Marketing Insight and Analysis (1000 - 3000 USD) .-«eeses se 23 4.2 Chuyên viên phân tích chỉ số Marketing (1000 - 2500 USD) 23 4.3 Social Data Analysis (700 - 2000 USD) 23

iti

DANH MUC BANG

Bảng 1.1 So sánh Dữ liệu cấu trúc và Dữ liệu phi cấu trtiC cccccccccecseeseessesssessessssesssessesseee 4 Bảng 2.1 So sánh nguyên cứu Marketing truyền thống và nghiên cứu Marketing sử dựng 7 9 ; nn8n8®ee 9 [17/1.027m7m 01).09 01 0n nen e.< 12 Bảng 3.1 Tóm tắt các ứng dụng Big Data trong nghiên cứu Marketing của Amazon 21

DANH MỤC HÌNH

Hình 2.1 Process for Extracting Insights From Big DAqIA c.eccexeeeeeexee 10

IV

DANH SÁCH THÀNH VIÊN

3 Nguyễn Thị Hồng Huệ K194070904 Nội dung + Thuyết trình 100%

4 Võ Hoàng Nhật Vy K194070957 Nội dung + Slide 100%

LOI MO DAU

Cuộc Cách mạng công nghiệp lần thứ tư đã đi qua được một thập ký, tuy còn những bất cập mà chúng ta chưa giải quyết được nhưng tầm quan trọng và lợi ích mà nó mang

lại là điều không thể chối cãi Mặc dù không phải là một khái nệm mới nhưng đến giai

đoạn này, thế giới mới thực sự chứng kiến sự bùng nô của kỷ nguyên Big data Big Data thê hiện vai trò của mình trong mọi lĩnh vực từ y tế, viễn thông, sản xuất, hàng không, tài

chính, ngân hàng, điện tử, giải trí, Có thể thấy, đữ liệu là vũ khí hết sức quan trọng, ai

năm được thông tin, người đó sẽ vượt lên dẫn đầu và bỏ xa những đồi thủ còn lại Thật vậy, trong thế giới phẳng như hiện nay, việc nắm bắt tâm lý và hành vi của khách hàng cũng ngày càng khó khăn hơn Doanh nghiệp muốn bắt kịp xu hướng chung và phát triển bền vững cần tập trung vào chuyên đổi số, đầu tư vào công nghệ, đặc biệt là trong lĩnh vực Marketing Nhằm thấu hiểu khách hàng, tạo ra trải nghiệm mua hàng tốt

nhất Kết hợp với Big Data, doanh nghiệp sẽ nắm được nhiều thông tin hơn, thấu hiểu

khách hàng hơn, từ đó gia tăng trải nghiệm khách hàng và giúp doanh nghiệp nắm được lợi thế cạnh tranh so với các đôi thủ Đó cũng chính là lý do nhóm chúng em chọn đề tài “Sư bùng nỗ của Big data trong Nghiên cứu Marketing” dé tiễn hành tìm hiểu và nghiên cứu

Chúng em xin cảm ơn Cô Võ Thị Ngọc Trinh đã cho nhóm những kiến thức bồ ích

cũng như cơ hội đề tiễn hành đề tài này

Với thời gian và năng lực còn hạn chế sẽ không thê tránh những sai sót Chúng em rất mong cô thông cảm và được nhận những nhận xét, góp ý từ cô

Một lần nữa chúng em chân thành cảm ơn.

CHUONG 1: SO LUOC VE BIG DATA

1.1 Khai niém

Big Data duoc xem là xu hướng công nghệ xuất hiện trong thời đại Cách mang

công nghiệp 4.0 và hứa hẹn là lời giải cho rất nhiều bài toán kinh doanh hóc búa không

chỉ đối với các doanh nghiệp trên thế giới mà còn cả với các doanh nghiệp Việt Nam trong bối cảnh hội nhập sâu và rộng vào nền kinh tế quốc tế Các tổ chức hàng đầu đang

chuyên đổi tư duy của họ về dữ liệu, từ việc coi đữ liệu như một chỉ phí hoạt động cần

được giảm thiểu sang nuôi dưỡng dữ liệu như một tài sản chiến lược cần được mua lại, làm sạch, được chuyên đổi, làm giàu và phân tích để mang lại thông tin chỉ tiết hữu ích

Vậy, Dữ liệu lớn (Big data) là một thuật ngữ về việc xử lý một tập dữ liệu rất

lớn và phức tạp khác với cách truyền thông Dữ liệu này bao gồm các hoạt động khác nhau như: thu thập, tìm kiếm, giám sát, dự báo, phân tích hành vi người dùng, hoặc một sô phương pháp phân tích đữ liệu tiên tiễn khác nhằm trích xuất những giá trị từ

dữ liệu mà ít khi đề cập đến kích thước dữ liệu này Cụ thê, nó có thể truy vấn những

tập tin phi cầu trúc (unstructured ñles) như video kỹ thuật số, hình ảnh, dữ liệu cảm biến, tập tin lưu nhật ký, thực sự bất cứ dữ liệu nào không có trong hồ sơ với các phạm vi tìm kiếm khác

Năm 2014, Gartner đưa ra một khái niệm mới về Big Data với mô hình “5V§”

tương ứng với năm tính chất quan trọng, như sau:

Volume: là sự tăng trưởng về mặt khối lượng Dữ liệu trong các hệ thống thông

tin luôn luôn và không ngừng tăng lên về mặt kích thước (khối lượng) Chúng ta có thê tìm thấy dữ liệu trong các định dạng video, music, image lớn trên các kênh truyền thông xã hội Khối lượng dữ liệu của một hệ thông thông tin có thê lên đến hàng Terabyte và Petabyte Theo tai liệu của Intel hồi tháng 9/2013, cứ mỗi II giây, l PBI dữ liệu được tạo ra trên toàn thê giới, tương đương với một đoạn video HD dài 13 năm Facebook phải

xử lý khoảng 500 TB2 dữ liệu mỗi ngày

Velocity: la sw tăng trưởng về mặt tốc độ xử lý Bên cạnh sự tăng trưởng về khối lượng, tốc độ tăng trưởng của dữ liệu cũng tăng lên một cách chóng mặt Các ứng dụng được sử dụng phô biến trên các lĩnh vực Internet, tài chính, ngân hàng, hàng không, quân sự, y tế - sức khỏe ngày nay phần lớn đều được xử lý trong thời gian thực thông qua hệ

thống Big Data Đơn cử, trên các mạng xã hội, đôi khi các thông báo cách đó vài giây (tweet, status ) đã là cũ và không được người dùng quan tâm Người dùng thường loại

bỏ các tin nhắn cũ và chỉ chú ý đến các cập nhật gần nhất Sự chuyển động của dữ liệu

giờ đây hầu như là tức thời (real time), và tốc độ cập nhật thông tin đã giảm xuống đơn vị hàng mili giây

Variety: la sy tang lén vé tinh da dang của dữ liệu Dữ liệu không chỉ ở dạng có

cầu trúc, mà còn bao gồm rất nhiều kiểu dữ liệu phi câu trúc nữa (như video, hình ảnh, dữ liệu cảm biến, giọng nói, blog, .) Big Data cho phép chúng ta phân tích và liên kết đa

đạng các chủng loại dữ liệu với nhau ví dụ như các bình luận, bài đăng của một nhóm

người dùng nào đó trên Facebook với thông tin các video đã được chia sẻ từ các kênh xã hội khác nhau như YouTube, Twitter

Veracity: là tính xác thực của dữ liệu Với xu hướng “Soc1al” ngày nay và sự gia tăng mạnh mẽ tính tương tác và chia sẻ của người dùng di động đã làm cho khả năng xác

định về độ tin cậy và tính chính xác của dữ liệu ngày một khó khăn hơn Bài toán phân

tích và loại bỏ dữ liệu thiếu chính xác và gây nhiễu đang là một trong những tính chất

quan trọng của Big data

Value: Giá trị thông tin mang tính chất quan trọng nhất của xu hướng công nghệ Big Data Thật vậy, doanh nghiệp phải hoạch định được những giá trị thông tin hữu ích của Big Data một cách phù hợp nhằm giải quyết cho những vấn đề, bài toán mà doanh nghiệp đang gặp phải hoặc mô hình hoạt động kinh doanh của mình Có thể nói việc đầu tiên các doanh nghiệp cần làm trước khi bắt tay vào thực hiện Big Data là phải làm sao

xác định được tính chât “Value” của nó

1.2 Phân loại

Dữ liệu đến từ nhiều nguồn và thuộc các định dạng khác nhau nên chủng rất đa

dạng Chính vì vậy, việc phân loại dữ liệu cũng có nhiều cách Và một trong những cách

cơ bản nhất và thể hiện được sự khác biệt giữa các loại dữ liệu là phân loại dựa vào cầu trúc của chúng: Dữ liệu có câu trúc và Dữ liệu phi câu trúc

Dữ liệu có cấu trúc là những thông tin được thể hiện trong các cột và hàng có tiêu

đề, có thể dễ dàng đặt hàng và xử lý bằng các công cụ tìm kiếm dữ liệu Chúng ta có thé

xem chúng như một tủ hô sơ được tô chức hoàn hảo, các dữ liệu được xác định, dán nhãn và dễ dàng truy cập

Dữ liệu phi cấu trúc là những thông tin không được tổ chức thông qua các mô

hình hoặc lược đồ dữ liệu được xác định trước

Bảng 1.1 So sánh Dữ liệu cấu trúc và Dữ liệu phi cấu trúc

- Cac file van ban (text), file PDF - Báo cáo

- Tin nhắn, Email - File Audio, Video, ảnh

- Các nội dung truyền thông trên

mạng xã hội

Đặc trưng - Mô hình dữ liệu được xác định trước (thường chỉ có đạng văn bản)

Ứng dụng chính | - Kiểm soát hàng tồn kho

- Hệ thông CRM, ERP - Xử ly văn bản - Phần mềm trình chiếu

- Hệ thông đặt vé máy bay - Email

- Các công cụ hiển thị và chính sửa

truyền thông Được tạo bởi Con người và máy móc Con người và máy móc

1.3 Các giả định của Big Data N=All

(Nguon: Internet)

Nếu thu thập thông tin dựa trên mẫu nhỏ, thậm chí những kết quả được thu thập “một cách khoa học” thì thông tin đó cũng không đáng tin cậy (phương sai cao trên các

mau lặp lại), không mang tính đại diện và không đủ sức mạnh về mặt thống kê (tức là,

các suy luận hợp lý bị hạn chế) Một số nhà nghiên cứu cho rằng Big Data có thể khắc phục những hạn chế này và sẵn sàng cung cấp các bài kiểm tra về các thông số dân số vì nó tương đối rẻ, tương đôi đại diện, được bô sung liên tục và dễ dàng sao chép Tuy nhiên, một lưu ý quan trọng liên quan đến giả định này: Big Data loại trừ những người không sử dụng internet hoặc công nghệ xử lý thông tin kỹ thuật số Việc tham gia vào nền táng trực tuyến, cho dù thương mại hay không, thì cũng có sự khác biệt đáng kê theo

vị trí địa lý, tuổi tác, giới tính, chủng tộc và các yêu tô xã hội học khác

(www.statista.com) Today = Tomorrow

Bởi vì nó di động và có mặt khắp nơi, cuộc sống kỹ thuật số năng động hơn nhiều so với cuộc sông thực Người tiêu dùng liên tục chuyên đôi, thử và từ bỏ sự hiện diện kỹ

thuật số của họ Các dấu vết của hành vi đó có thê trở thành đối tượng của cuộc điều tra

Ban đầu, Facebook giới hạn thành viên cho người dùng trong ngành giáo dục; do đó, chí

cần đăng ký một tài khoản email edu Khi Facebook mở rộng, nó đã được mở cho cả

những người dùng phi giáo dục

Online behavior = Offline behavior

Người tiêu dùng có thể hiện các mô hình hành vi giống nhau cả trên trực tuyến và ngoại tuyến không? Điều này rất phức tạp và các nhà tiếp thị phải tìm hiểu cách người tiêu dùng biểu hiện trong cá hai mô hình hành vi mua hàng đôi với các sản phẩm cy thé

Behavior of all today = Behavior of all tomorrow

Gia dinh nay tong hop ba gia dinh noi trén Big Data là sự phản ánh sô hóa không hoàn hảo về cuộc sông trực tuyến và ngoại tuyến của con người Các mô hình mô tả hành vi của người tiêu dùng đang thay đổi để giải thích cho ảnh hưởng của công nghệ và Internet

Những giả định này giúp kiểm soát những thông tin có được từ việc phân tích Big Data Nhiều nhà tiếp thị tin rằng tất cả người tiêu dùng của họ đều có mặt trực tuyến và

sẽ cư xử giống nhau cho dù trực tuyến hay ngoại tuyến Tuy nhiên, việc không đặt câu hỏi hoặc không quan tâm các giá định nói trên có thê cán trở khả năng tồn tại của các phân tích Big Data đối với doanh nghiệp

1.4 Thách thức khi sử dụng Big Data

Big Data là bước ngoặt đánh dấu sự phát triển của Cách mạng Công nghiệp 4.0, việc ứng dụng công nghệ này mang lại tiềm năng phát triển tuyệt vời cho doanh nghiệp Tuy nhiên việc ứng dụng Big Data một cách hiệu quả thì không phải là điều dễ đàng và còn rất nhiều thách thức mà các doanh nghiệp cần phải đối mặt

Sự đa dạng thông tin: Trước khi tiễn hành phân tích dữ liệu, doanh nghiệp cần đám bảo nguồn dữ liệu là chính xác và có định dạng phù hợp cho việc phân tích Trên thực tế thì sự tồn tại của một dữ liệu đồng nhất và có cấu trúc tốt với cùng kích thước và

câu trúc là rất cần thiết Chính vì vậy, việc làm sạch và xử ly các lỗi từ các nguồn dữ liệu

không đầy đủ hay các dữ liệu gây nhiễu là tôi quan trọng và không thể thiểu Tuy nhiên, điều đó đòi hỏi doanh nghiệp cần đầu tư một khoán chỉ phí (thời gian, ngân sách) lớn để

có được kết quả mang giá frỊ cao

Quy mô: Thực tế cho thấy rằng khối lượng dữ liệu đang gia tăng khá lớn và gần như đã vượt qua khả năng sức mạnh xử lý và lưu trữ của máy tính Bên cạnh đó, việc truyền dữ liệu lớn thường phái gánh chịu chi phi cao Day là “nút cô chai” của việc tính toán Big Data

Yếu tổ thời gian: Khi số lượng dữ liệu tăng nhanh chóng, các kết quả phân tích thì cần phải được đưa ra một cách tức thì nghĩa là trong thời gian thực nên cần phải có sự phát triển các quy trình xử lý dựa vào sự gia tăng của các cấu trúc dữ liệu nhằm đạt được mục đích cuối cùng đó là đáp ứng yêu cầu truy cập thông tin một cách tức thì của người

sử dụng

Tinh cá nhân và Bảo mật dữ liệu: Các yêu tô luật pháp liên quan đên các hạn chê

về quyên cá nhân hiện đang trở thành một môi đe dọa vì nó có thê hạn chê các ích lợi

tiềm năng Chính vì lý do đó mà các chính sách an ninh mạng hay cụ thê là an ninh thông

tin chia sẻ các dữ liệu liên quan đến người dùng cá nhân cần phải được xem xét một cách

thận trọng và nghiêm túc Bên cạnh đó, một số ví dụ trong thực tế cho thấy, không chỉ

thông tin cá nhân người tiêu dùng, thông tin mật của các tô chức mà ngay cả bí mật an ninh quốc gia cũng có thể bị xâm phạm Do đó, giải quyết các vấn để an ninh dữ liệu băng các công cụ kỹ thuật và các chính sách trở nên vô cùng câp bách

Thiếu chuyên gia công nghệ: Dù là thời đại công nghệ 4.0, hoạt động bằng máy móc chiếm ưu thế, nhưng nêu không có con người vận hành, quản lý thì dù máy móc có hiện đại đến đâu cũng khó có thể mang đến hiệu quả tốt nhất Công nghệ Big Data cũng vậy Các đánh giá của chuyên gia là hết sức cần thiết dé co thé hiểu các nguồn dữ liệu và để khai thác một cách tối ưu các tiềm năng của nó đòi hỏi sự phối hợp nhịp nhàng và nhuân nhuyên g1ữa máy móc vả con người

Đòi hỏi thay đối văn hóa doanh nghiệp: Văn hóa doanh nghiệp được xây dựng và phát triên không phải chỉ trong ngày một ngày hai Chính vì vậy, để một doanh nghiệp

thay đổi văn hóa làm việc của mình, đặc biệt là từ truyền thống sang hiện đại, không phải

là điều đơn giản Theo khảo sát của New Vantage, chỉ có 32.4% doanh nghiệp thành công trong việc thay đôi văn hóa doanh nghiệp theo hướng hiện đại mới.

CHƯƠNG 2: BIG DATA TRONG NGHIÊN CỨU MARKETING 2.1 Khái niệm nghiên cứu Marketing

Theo Philp Kotler (2003) “Nghiên cứu marketing là xác định một cách có hệ thống những tư liệu cần thiết do tình huồng marketing đặt ra cho một công ty, thu thập, phân tích chúng và báo cáo kết quả”

Theo Hiệp hội Marketing Mỹ (AMA): Nghiên cứu marketing là quá trình thu thập và phân tích có hệ thống những dữ liệu về các vấn đề liên quan đến các hoạt động marketing của doanh nghiệp

Tư tưởng chủ đạo của Marketing là “Mọi quyết định kinh doanh đều xuất phát từ thị trường” Muôn thực hiện được tư tưởng chủ đạo này thì phải có đầy đủ thông tin về thị trường, về môi trường kinh doanh Căn cứ vào các thông tin thu được qua nghiên cứu Marketing, các nhà quản lý sẽ vạch ra chiến lược, chính sách kinh doanh phù hợp nhắm

vào thị trường mục tiêu

2.2 Nghiên cứu Marketing truyền thống và Nghiên cứu Marketing sử dụng Big Data

Nhìn chung mục đích của nghiên cứu marketing là đê chuyên đổi dữ liệu thu thập

được thành thông tin có giá trị và hiểu biết hữu ích cho việc ra quyết định Mặc dù khái

niệm và mục tiêu của nghiên cứu marketing vẫn không thay đôi trong bồi cảnh Big Data, nhưng với lợi ích ngày càng lớn của việc phân tích big data như hiện nay thì đòi hỏi cần có một quan điêm nghiên cứu marketing rộng hơn

Nhóm chúng tôi đưa ra một số điểm khác biệt giữa nghiên cứu Marketing truyền thống và nghiên cứu Marketing sử dụng Big Data, các tiêu chí so sánh chủ yếu là về thu thập và phân tích dữ liệu Nghiên cứu Marketing truyền thông theo nhóm là nghiên cứu thường dựa trên sự giá định dữ liệu ngẫu nhiên và sử dụng các phương pháp thống kê truyền thống, còn Nghiên cứu Marketing sử dụng Big Data giả định dữ liệu có độ phức tạp cao và sử dụng thêm các phương pháp thống kê nâng cao bên cạnh các phương pháp thống kê truyền thống đã được cải tiễn Đặc biệt, trong quá khứ chưa có sự bùng nô của

tiễn bộ khoa học kỹ thuật như hiện nay.

Bang 2.1 So sánh nguyên cứu Marketing truyền thống và nghiên cứu Marketing sử dung Big Data

liệu

Chi thu được dữ liệu hạn chế

mô tả theo khoảng thời gian

nhất định

Thu thập được lượng dữ liệu không lỗ mô tá

theo thời gian thực phong phú hơn

Từ các thiết bị lưu trữ dữ liệu người dùng như điện thoại thông minh, phương tiện

truyền thông xã hội, các thiết bị cảm biến

Lưu trữ và quản lý

đữ liệu

Thiết bị lưu trữ, quán lý có

dung lượng lưu nhỏ

Công nghệ điện toán đám mây cung cấp kỹ thuật lưu trữ, quản lý với lưu lượng lớn và hiệu quá Một số nền táng lưu trữ đám mây hiện nay gom: Google Store, Amazon,

Microsoft Azure, IBM Blue Cloud

Phuong phap phan

tich dir

liệu Phương pháp phân tích dữ liệu truyền thống bắt nguồn từ thống kê và khoa học máy tính như phân tích cụm, phân tích nhân tố, phân tích tương

quan, phân tích hồi quy Phuong phap phan tich big data là các mô hình thuật toán cũng dựa trên thống kê va

khoa học máy tính hiện đại hơn cho phép trích xuất thông tin và tạo ra các mô hình dự đoán hiệu quả cao ví dụ như mô hình thuật

toán MapReduce do Google đề xuất, kỹ thuật phân tích và giải mã NLP

(Nguồn: Nhóm tự tông hợp) Thực tế hiện nay chưa có nhiều phương pháp phân tích dữ liệu big data được phát triển vì khối lượng và tốc độ của nó quá lớn Tuy nhiên trong thời đại công nghiệp 4.0

như hiện nay, việc doanh nghiệp biết cách phân tích dữ liệu big data sé là một lợi thé rat

lớn

2.3 Mô hình trích xuất thông tin từ Big Data cho nghiên cứu marketing

Điều thực sự mang lại giá trị cho việc sử dụng big data là phân tích đữ liệu Nếu

không có phân tích, big data chỉ là một tập dữ liệu với việc sử dụng hạn chế

10

Khi mà sự xuất hiện của big data đang dần định hình lại quá trình nghiên cứu

marketing M6 hình dưới đây trình bày năm giai đoạn chính của nghiên cứu marketing sử dung big data Trong đó, năm giai đoạn này được nhóm thành quản lý đữ liệu (data management) va phan tích (analytics) Quan lý đữ liệu là những quy trình và công nghệ

hỗ trợ được thiết kế và sử dụng đề thu thập, lưu trữ và trích xuất dữ liệu cho việc phân

tích ở giai đoạn sau Còn Phân tích là tập hợp các kỹ thuật được sử dụng để phân tích, phác họa và tạo ra những thông tin có giá trị từ nguồn dir liéu big data

Hinh 2.1 Process for Extracting Insights From Big Data

2.3.1 Thu thập và lưu trữ dữ liệu

Để có dữ liệu thì đầu tiên cần phải thu thập, vấn đề chính gây khó khăn cho việc thu thập dữ liệu từ big data đó là sự phân tán của dữ liệu ở nhiều nguồn khác nhau Các

công cụ thu thập dữ liệu từ thiết bị cảm biến người dùng (cảm biến là sự đo lường và biến

đôi đại lượng vật lý thành tín hiệu số có thể đọc được, dữ liệu cảm biến có thê là sóng âm

thanh, giọng nói, rung động ), thiết bị có định vị vị trí, các phương tiện truyền thông xã hội, giao dịch tài chính, điện thoại thông mình,

Dữ liệu sẽ được ghi lại và lưu trữ trên nhiều thiết bị lưu trữ như kho dữ liệu truyền

thống, data lakes hay điện toán đám mây

Dữ liệu được thu thập và lưu trữ ở giai đoạn này là dữ liệu thô, chưa có giá trị sử

dụng cao

2.3.2 Xử lý làm sạch dữ liệu

Thông thường dữ liệu từ các nguồn công khai thường không đầy đủ, không có cầu

trúc nhất quán (dữ liệu ở nhiều kiểu khác nhau như: văn bản, âm thanh, video ), bị lỗi

định dạng hay đơn gián là sai Ví dụ, những người tham gia khảo sát có thé trả lời sai hay

dữ liệu thu được từ các thiết bị theo dõi trên điện thoại thông minh (các app được hỗ trợ

Đây là bước quan trọng cân thiết để đảm bảo các tệp dữ liệu đáp ứng các tiêu chuân về chât lượng và co gia tri su dung

2.3.3 Tông hợp, đối chiếu dữ liệu

Đề tiến hành phân tích dữ liệu cần hợp nhất các tệp dữ liệu không đồng nhất với

kích thước đa dạng ở bước trên thành một tập dữ liệu tích hợp phù hợp với nhu cầu

nghiên cứu Sau đó, tiễn hành đối chiếu dữ liệu, tìm những dữ liệu giống nhau, bị trùng

lap dé loại bỏ Sự trùng lặp dữ liệu là rất phô biến trong các tệp dữ liệu từ các nguồn khác nhau, việc loại bỏ những dữ liệu bị lặp nhằm tránh lãng phí không gian lưu trữ cũng như

để có cơ sở phân tích chính xác Ví dụ như một công ty thẻ tín dụng và một nhà bán lẻ có

thê ghi lại các giao dịch giống nhau của một khách hàng 2.3.4 Mô hình hóa và phân tích dữ liệu

Có rất nhiều loại phân tích được sử dụng đề tìm ra các mẫu thông tin có ý nghĩa trong nguồn đữ liệu big data Phân tích văn bản có thê chuyển đôi văn bán như các tweet đánh giá thương hiệu của người tiêu dùng thành bản tóm tắt các ý chính có ý nghĩa Phân tích âm thanh dé trích xuất thông tin từ âm thanh không có cấu trúc, chăng hạn như tệp âm thanh cuộc gọi phản nàn của khách hàng Tương tự, phân tích nội dung video để trích xuất thông tin từ video, ví dụ như các unboxing video do người tiêu dùng tạo Phân tích nội dung hình ảnh cho phép các nhà nghiên cứu trích xuất những dữ liệu từ những từ được 1n trong một bức ảnh của người tiêu dùng, chang han trén Twitter bi gidi han 5000 ký tự nên người tiêu dùng thường chuyên dữ liệu văn bản vào ảnh Phương tiện truyền thông xã hội và phân tích mạng để khám phá nội dung mà người tiêu dùng tạo trên các nền táng truyền thông xã hội và chuyên các nội dung đó thành âm thanh, video hay các phân tích khác

Sau khi phân tích các kiêu dữ liệu trên thì nhà nghiên cứu đã có thể xây dựng một

mô hình về hảnh vi, thái độ và tình cảm của khách hảng.