M 影E"VKçW"A陰 TÀI
2.5.2 THÀNH PH井N CHÍNH TRONG TI蔭N TRÌNH ETL
Ki院n trúc ETL Pipeline g欝m 3 thành ph亥n chính:
Trích xu医t (Extract) n "swƒ"vt·pj"8丑c d英 li羽u t瑛 m瓜t ho員c nhi隠u ngu欝n khác nhau ch鰯ng h衣p"pj逢"File JSON, File CSV, thi院t b鵜 c違m bi院p"*Ugpuqt+."e挨"u荏 d英 li羽w"*Fcvcdcug+.000"A員e"8k吋m c栄a các d英 li羽u này cĩ th吋 n "8«"e„"u印n c医w"vt¿e"pj逢"eƒe"d違pi"vtqpi"e挨"u荏 d英 li羽u quan h羽 ho員c khơng cĩ c医u trúc, 8鵜nh d衣ng chu育p"pj逢"File Logs. Cơng vi羽c chính c栄a d逢噂c này là d英 li羽w"8逢嬰c truy xu医t t瑛 nhi隠u ngu欝n khác nhau x "8逢c"x隠 m瓜t khu n逢w"vt英 t壱p trung vj逢運pi"8逢嬰c g丑i là d逢噂c 8羽m ho員c m瓜t s嘘vt逢運ng h嬰p nh医v"8鵜nh s胤8逢嬰c g丑i là h欝 d英 li羽u (Datalake).
Bi院p"8鰻i (Transform) là c亥u n嘘i gi英a trích xu医t (Extract) và t違i (Load), t衣k"8¤{"f英 li羽u trích xu医v"8逢嬰c s胤8k"swc"ejw厩i các bi院p"8鰻i theo các d衣ng cơng th泳c khác nhau 8吋 ti院p"x q"d逢噂c t違i (Load) phía saụ Cơng vi羽c chính c栄c"d逢噂c bi院p"8鰻i là lo衣i b臼 d英 li羽u trùng l員p."8鵜nh d衣ng l衣i, làm s衣ch, xố b臼 f逢"vj瑛a, k院t h嬰p ho員c tách r運i d英 li羽u t瑛 nhi隠u ngu欝p"8吋 8逢嬰c d英 li羽u hồn ch雨nh,... Quá trình bi院p"8鰻i ph違k"8違m b違o k院t qu違 d英 li羽u cĩ s詠 8欝ng nh医t v隠 c医u trúc, tr壱t t詠 ho員c m瓜t chu育p"tk‒pi"p q"8„"ik¿r"v<pi"v pj"鰻p"8鵜nh cho qua trình t違i d英 li羽u cu嘘i cùng.
28
T違i (Load) là quá trình ghi chép d英 li羽u vào m瓜t ho員c nhi隠w" 8k吋o" 8 ej" pj逢" Fcvc" Warehousẹ T衣k"d逢噂c này vi羽c t違i cĩ th吋 th詠c hi羽n th栄 cơng ho員c cĩ chu k t詠 8瓜ng nh茨m c壱p nh壱v"ejq"8k吋o"8 ej0"Jq p"vj pj"xk羽c t違i d英 li羽u khơng nh医t thi院t ph違i k院t thúc dây chuy隠n trích xu医t - bi院p"8鰻i - t違i (ETL Pipeline) mà ta cĩ th吋 th詠c hi羽n các ch泳e"p<pi"mjƒe"ej鰯ng h衣p"pj逢" kích ho衣t m瓜t chu厩i ETL Pipeline khác.
S渦 LI烏U HỐ (DIGITIZATION)
2.6.1A卯PJ"PIJ C
S嘘 li羽u hố (Digitization) là quá trình bi院p"8鰻i, mã hố thơng tin d衣ng Analog thành con s嘘 0, 1 mà máy tính cĩ th吋n逢w"vt英, x穎 lý và v壱n chuy吋n. Analog là m瓜t phép nĩi 育n d映 cho vi羽c n逢w"vt英 d英 li羽w"f逢噂i d衣ng gi医y0"Ak隠u quan tr丑ng c栄a s嘘 li羽u hố là d英 li羽w"8逢嬰c s嘘 hố và khơng bao g欝m quy trình(Process). [14]
S嘘 li羽u hĩa d英 li羽w"n逢w"vt英 là hình th泳c chuy吋p"8鰻i d英 li羽u t瑛 d衣pi"x<p"d違n h羽 th嘘ng bên ngồi thành nh英ng d英 li羽u d衣ng tín hi羽u s嘘8逢嬰c máy tính hi吋w"x "n逢w"vt英. [15]
S嘘 li羽u hố là m瓜v"d逢噂c chuy吋p"8鰻i t瑛 cách ghi chép truy隠n th嘘ng trên gi医{"vj pj"n逢w"vt英 trên các t壱p tin máy tính, s嘘 li羽u hố khơng thay th院 hồn tồn cách th泳c ghi chép truy隠n th嘘ng, vjc{"x q"8„."8¤{"n "o瓜t quy trình c亥n thi院t cho vi羽c áp d映ng cơng ngh羽 thơng tin vào cách th泳c v壱n hành c栄a cơng ty và doanh nghi羽p.
M瓜t s嘘 ví d映 8k吋n hình c栄a s嘘 li羽u hố là vi羽c chuy吋p"8鰻i t瑛 ch英 vi院v"jqƒ"8挨p"vt‒p"ik医y thành d衣ng t壱r"vkp"n逢w"vt英 trên máy tính f逢噂i d衣ng pdf và csv, ho員c chuy吋p"8鰻i âm nh衣c sang OR5."OR6"vjc{"ejq"f́pi"d<pi"8 c"XJU.
2.6.2S渦 LI烏U HỐ (DIGITIZATION) VÀ S渦 HỐ (DIGITALIZATION)
Khác v噂k"uw{"pij "e栄c"8衣k"8c"u嘘 m丑k"pi逢運i, các khái ni羽m v隠 S嘘 li羽u hố (Digitization), s嘘 hố (Digitalization) và Chuy吋p"8鰻i s嘘 (Digital Transformation) là khác nhaụ Chuy吋p"8鰻i s嘘 là m瓜t quy trình ph泳c t衣p, t嘘n kém c違 v隠 m員t th運i gian và ti隠n b衣c, th壱m chí chuy吋p"8鰻i s嘘 s胤 mj»pi"8go"n衣i quá nhi隠u l嬰k" ej"vt逢噂c m逸t cho doanh nghi羽r"8亥w"v逢0
Khác v噂i S嘘 li羽u hố, S嘘 hố mj»pi"e„"8鵜pj"pij c"t "t pị"ÐFkikvk¦cvkqp"x "Fkikvcnk¦cvkqp" là các thu壱t ng英 cĩ liên quan ch員t ch胤x "vj逢運pi"8逢嬰c s穎 dung thay th院 cho nhau trong nhi隠u tài li羽wĐ."ÐFkikvcnk¦cvkqp"n "o瓜t cách th泳c mà nhi隠w"n pj"x詠e"8運i s嘘ng xã h瓜k"8逢嬰c tái c医u trúc xung swcpj"e挨"u荏 h衣 t亥ng truy隠n thơng và giao ti院p k悦 thu壱t s嘘Đ [16]. S嘘 hố 荏 8¤{"8«"mj»pi"e”p"ej雨 8挨p"vjw亥n là chuy吋p"8鰻i hình th泳e"n逢w"vt英vj»pi"vkp"pj逢"u嘘 li羽u hố, S嘘 hố 8«"v瑛pi"d逢噂c ti院p c壱p"j挨p"x噂i cách th泳c v壱n hành, quy trình ho衣v"8瓜ng c栄a t瑛ng doanh nghi羽p.
S嘘 hố n "swƒ"vt·pj"8逢嬰c th詠c hi羽p"ucw"mjk"8«"u嘘 li羽u hố, b茨ng cách áp d映ng nh英ng thơng vkp"8«"8逢嬰c s嘘 li羽u hố vào m映e"8 ej t嘘k"逢w."8挨p"ik違n hố cách th泳c ho衣v"8瓜ng, giúp doanh nghi羽p 8衣v"8逢嬰c hi羽u qu違 ncq"8瓜pi"ecq"j挨p0"Vtqpi"mjƒk"pk羽m s嘘 hố mj»pi"8隠 c壱r"8院n vi羽e"vjc{"8鰻i cách doanh nghi羽p kinh doanh hay t衣o ra lo衣i hình kinh doanh m噂k."o "8¤{"ej雨 là vi羽c ti院p t映c mơ hình kinh doanh s印p"e„"pj逢pi"x噂i t嘘e"8瓜 v壱n hành nhanh, hi羽u qu違 ecq"j挨p"vt逢噂e"8¤{0
Thơng qua H·nh 6, m瓜t quá trình chuy吋p"8鰻i s嘘 tr違k"swc"5"ikck"8q衣n chính t瑛 S嘘 li羽u hố, s嘘 hố và cu嘘i cùng là chuy吋p"8鰻i s嘘. Trong khi s嘘 li羽u hố t壱p trung vào gi違i quy院t các v医p"8隠 trong quá kh泳 pij c"n "vjc{"8鰻i t瑛 rj逢挨pi"rjƒr"vtw{隠n th嘘ng sang s穎 d映ng cơng ngh羽 máy tính cho vi羽c ghi chép, qu違n lý và truy v医n, s嘘 hố t壱p trung vào c違i thi羽n các quy trình, ho衣v"8瓜ng trong cơng ty mà cĩ áp d映ng các cơng c映, k悦 thu壱t máy tính và d詠a trên d詠 li羽u s嘘 hố, v<pi"p<pi" xu医t và hi羽u qu違 c栄a t瑛ng quy trình, ho衣v"8瓜ng, cu嘘k"épi"n "d逢噂c chuy吋p"8鰻i s嘘."vjc{"8鰻i hồn tồn cách th泳e"o "e»pi"v{"8«"x壱n hành, t壱r"vtwpi"u¤w"j挨p"e違 x q"eqp"pi逢運i và cơng ngh羽 nh茨m 8go"n衣i giá tr鵜 c衣nh tranh m噂ị Nhìn chung, m厩i ikck"8q衣n trong quá trình chuy吋p"8鰻i s嘘 cĩ m嘘i quan h羽 ch員t ch胤 khơng tách r運i và 違pj"j逢荏ng tr詠c ti院r"8院n nhaụ
29
H·nh 6: Mơ hình Chuyあp"Aごi Sぐ [17]
NH一N D萎NG KÝ T衛 QUANG H窺C (OCR)
2.7.1KHÁI NI烏M
Nh壱n d衣ng ký t詠 quang h丑c là m瓜t cơng ngh羽ejw{‒p"f́pi"8吋8丑c các ký t詠 ch英 cĩ trên các t壱r"vkp"pj逢"違nh, Video và chuy吋n các ký t詠 8„"vj pj"eƒe"v壱p tin cĩ th吋 ch雨nh s穎c"8逢嬰c. OCR 8逢嬰c bi院v"8院n là m瓜t cơng c映 Scan k悦 thu壱t s嘘 chuyên nh壱n d衣ng các ký t詠, ch英 vi院t tay hau ch英 8ƒpj"oƒ{È Cơng ngh羽p {"vj逢運pi"8逢嬰c s穎 d映pi"8吋 truy隠n t違i và nh壱p li羽ụ
H·nh 7: Cơng Nghう OCR [18]
T瑛 H·nh 7, OCR khơng ch雨ejq"rjfir"8丑c d英 li羽u trên các t壱r"vkp"8逢嬰c vi院t b荏i máy tính, mà th壱m chí là các ch英 vi院v"vc{."8c"f衣ng v隠 ngơn ng英, b嘘 c映c e pi"8逢嬰c áp d映ng, nh運 vào s詠 phát tri吋n c栄a các mơ hình trí tu羽 nhân t衣o và h丑c sâu, t瑛 8„"vt ej"zw医t sang các t壱r"vkp"x<p"d違n và cĩ th吋n逢w"vt英 trên máy tính ho員c e挨"u荏 d英 li羽ụ
2.7.2A窺C JQè"A愛P"BÁN HÀNG B稲NG CƠNG NGH烏 OCR
Jqƒ"8挨p"ej泳a các thơng tin c亥n thi院t cho m瓜t giao d鵜ch gi英a cơng ty v噂i khách hàng ho員c v噂i cơng ty khác, h亥u h院v"eƒe"jqƒ"8挨p"8逢嬰c in ra gi医y t瑛 các máy POS, ho員c các t壱p tin PDFs và d英 li羽u t瑛 jqƒ"8挨p"8k羽n t穎.
Truy隠n th嘘pi"vt逢噂e"8¤{."eƒe"jqƒ"8挨p"kp"tc"ik医{"8逢嬰c áp d映ng 荏8衣k"8c"u嘘 các c穎a hàng bán l飲pj逢"các c穎a hàng ti羽n l嬰i, siêu th鵜, ch嬰 giao d鵜ch,È m瓜v"jqƒ"8挨p"u胤8逢嬰c g穎i cho khách hàng, m瓜v"jqƒ"8挨p"e”p"n衣i s胤 do c穎c"j pi"n逢w"vt英. Khi t鰻ng k院v"fqcpj"vjw."eƒe"jqƒ"8挨p"vtqpi" ngày ho員c tháng s胤8逢嬰c l医y ra và ghi chép vào s鰻 sách. V医p"8隠 phát sinh v噂i cách làm truy隠n th嘘ng này là các hố 8挨p"n逢w"vt英 th運i gian dài cĩ th吋 d磯p"8院n m医t mát, ch医v"n逢嬰ng ch英 vi院t gi違m, chi phí c亥n thi院t cho kho n逢w"vt英 eƒe"jqƒ"8挨p v<pi"ecq0"Xì v壱{"rj逢挨pi"rjƒr"ik違i quy院t hi羽u qu違 ngày nay mà m丑i c穎a hàng 8鰻i m噂i áp d映ng là s穎 d映ng các h羽 th嘘pi"n逢w"vt英 thơng minh nj逢"e挨" s荏 d英 li羽u máy tính, v瑛a gi違i quy院v"8逢嬰c bài tốn nh壱p li羽u, v瑛a gi違o"8逢嬰e"ejk"rj "vjw‒"mjq"n逢w" tr英."8ƒr"泳pi"8逢嬰c nhu c亥u truy v医p"eƒe"jqƒ"8挨p"o瓜t cách nhanh chĩng và chính xác.
30
A吋 vi羽c qu違n lý các d英 li羽u hi羽u qu違, cơng ty s胤 n逢w"vt英 các thơng tin hqƒ"8挨p"x q"o瓜t e挨"u荏 d英 li羽u máy tính, theo cách truy隠n th嘘ng các cơng ty s胤 s穎 d映ng nhân cơng cĩ nhi羽m v映 nh壱p li羽u t瑛pi"jqƒ"8挨p"tk‒pi"n飲x q"vtqpi"e挨"u荏 d英 li羽u c栄a cơng tỵ V噂k"rj逢挨pi"rjƒr"vt‒p."o瓜t s嘘 v医p"8隠 phát sinh pj逢"ejk"rj "fw{"vt·"8瓜k"pi "nhân cơng, th運i gian nh壱p li羽u dài và quan tr丑ng nh医v"n "eƒe"vt逢運ng h嬰p nh壱p li羽u saị Vì v壱y, c亥n cĩ m瓜t gi違i pháp v瑛a cĩ kh違 p<pi"ik違o"8逢嬰c th運i gian nh壱p li羽u."v逢挨pivƒe"8逢嬰c v噂i các h羽 th嘘ng thơng tin khác nhau, e pi"pj逢"ik違m thi吋u s詠 sai sĩt trong quá trình s嘘 li羽u hố.
S嘘 li羽u jqƒ"eƒe"jqƒ"8挨p"dƒp"j pi"nên là m瓜t quy trình cĩ trách nhi羽m t詠 8瓜ng hố vi羽c rút trích thơng tin t瑛 m瓜v"jqƒ"8挨p"ucw"8„"n逢w"vt英vj»pi"vkp"8„ trên m瓜v"e挨"u荏 d英 li羽u máy tính. T瑛 H·nh 8, v噂k"8亥u vào là m瓜t b泳c hình ch映p c栄a m瓜v"jqƒ"8挨p."b茨ng cách áp d映ng cơng ngh羽 OCR, 8亥u ra c栄a quá trình s嘘 li羽u hố là d英 li羽u cĩ c医u trúc JSON v噂i các n瓜i dung c亥n thi院t 8逢嬰c rút trích t瑛 違nh.
H·nh 8: Ví dつ minh hoＴ OCR
Pj·p"ejwpị"sw{"vt·pj"8丑c thơng tin trên m瓜v"jqƒ"8挨p"u胤 e„"7"d逢噂c chính, H·nh 9:
‚ Ti院n x穎 lý 違pj"8亥u vàọ
‚ Phát hi羽p"x<p"d違n (Text Detection)
‚ Nh壱n di羽n x<p"d違n (Text Recognition)
‚ Trích xu医t thơng tin (Information Extract)
‚ Xu医t Thơng tin (Data Dumps)
31
CÁC NGHIÊN C永U, S謂N PH域M LIÊN QUAN