Nghiên cứu cơ sở dữ liệu song song và ứng dụng trong việc tính cước khách hàng VNPT Phú Yên

MỞ ĐẦU 1. Lý do chọn đề tài Cơ sở dữ liệu (CSDL) song song (parallel database Systems) là CSDL được tổ chức, khai thác và xử lý trong một hệ thống máy tính song song [2].Với CSDL lớn và phức tạp những máy tính truyền thống phải mất nhiều thời gian để thực hiện các thao tác cập nhật, tìm kiếm thông tin. Những khó khăn này có thể khắc phục được bằng các kỹ thuật xử lý song song trên các máy tính song song. Một máy tính song song hoặc máy tính đa xử lý là một hệ thống được xây dựng từ nhiều thiết bị phần cứng như bộ xử lý, bộ nhớ, ổ đĩa,... Chúng được tổ chức thành nhiều nút, kết nối nhau qua mạng truyền thông tốc độ cao. CSDL song song hiện đang được sử dụng rộng rãi, chúng không những giúp giảm nhân lực quản lý, vận hành, mà còn giúp người người sử dụng nhận được thông tin nhanh hơn, chính xác hơn. CSDL song song được sử dụng ở hầu hết các công ty, tập đoàn có nhu cầu xử lý dữ liệu lớn và phức tạp, đi cùng với đó là xử lý song song được lập trình để chạy trên các Server có đa bộ xử lý giúp các công ty quản lý và xử lý dữ liệu tốt hơn [4],[5]. Tập đoàn bưu chính viễn thông Việt Nam nói chung và Viễn Thông Phú Yên nói riêng cần quản lý nhiều loại dữ liệu và với dung lượng khá lớn được tăng thêm theo từng tháng. Với việc xử lý trên CSDL song song đã được phân hoạch của công ty sẽ giúp cho việc truy xuất đồng thời từ các đơn vị trên cùng một bảng dữ liệu nhưng được phân hoạch theo từng giai đoạn hoặc đơn vị sẽ nhanh hơn và hiệu quả hơn vào từng thời điểm cụ thể trong tháng. Với mong muốn sử dụng các kiến thức đã học vào công việc hằng ngày của mình tại Viễn Thông Phú Yên, tôi mạnh dạn chọn đề tài “Nghiên cứu cơ sở dữ liệu song song và ứng dụng trong việc tính cước khách hàng VNPT Phú Yên” làm đề tài luận văn thạc sĩ.

B GIO DC V O TO I HC HU TRNG I HC KHOA HC NGUYN TH CM Nghiên cứu sở liệu song song ứng dụng việc tính c-ớc khách hàng VNPT Phú Yên CHUYấN NGNH: KHOA HC MY TNH M S: 60.48.01.01 LUN VN THC S KHOA HC MY TNH Hu, 2015 MC LC M U 1 Lý chn ti: Tng quan ti liu: Mc tiờu nghiờn cu i tng nghiờn cu Phng phỏp nghiờn cu Phm vi nghiờn cu Chng TNG QUAN V C S D LIU SONG SONG V CC K THUT PHN HOCH D LIU 1.1 Gii thiu v C s d liu song song 1.2 Cỏc kin trỳc ca h thng mỏy tớnh song song 1.2.1 Kin trỳc b nh chia s 1.2.2 Kin trỳc a chia s 1.2.3 Kin trỳc khụng chia s 1.2.4 Kin trỳc phõn tng 10 1.3 Cỏc k thut phõn hoch d liu CSDL song song 11 1.3.1 Phõn hoch theo vũng trũn Robin 13 1.3.2 Phõn hoch theo hm bm 15 1.3.3 Phõn hoch theo khong 18 1.3.4 Phõn hoch ngu nhiờn khụng cõn bng 19 1.4 Cỏc c ch x lý song song 21 1.4.1 Song song liờn truy 21 1.4.2 Song song ni truy 23 1.4.3 Song song liờn toỏn t 24 1.4.4 Song song ni toỏn t 26 1.5 Cỏc phộp toỏn song song 26 1.5.1 Phộp ni: 26 1.5.2 Phộp tỏch 27 1.6 Tiu kt chng 27 Chng MY TNH SONG SONG V CC Mễ HèNH LP TRèNH SONG SONG 28 2.1 Gii thiu v mỏy tớnh song song 28 2.1.1 B nh: 29 2.1.2 Nguyờn tc kt ni: 29 2.1.3 H iu hnh: 30 2.1.4 Chng trỡnh dch: 30 2.2 Phõn loi mỏy tớnh song song 31 2.2.1 Mụ hỡnh SISD: n lung lnh, n lung d liu 31 2.2.2 Mụ hỡnh SIMD: n lung lnh, a lung d liu 32 2.2.3 Mụ hỡnh MISD: a luụng lnh, n luụng d liu 33 2.2.4 Mụ hỡnh MIMD: a lung lnh, a lung d liu 34 2.3 Cỏc mụ hỡnh lp trỡnh song song 35 2.3.1 Lp trỡnh trờn h thng dựng chung b nh 35 2.3.2 Lp trỡnh chia s b nh da vo tin trỡnh 35 2.3.3 Lp trỡnh chia s b nh da vo lung 36 2.4 Tiu kt chng 42 Chng NG DNG C S D LIU SONG SONG TRONG VIC TNH CC KHCH HNG VIN THễNG PH YấN 44 3.1 Thit k h thng thụng tin tớnh cc cho khỏch hng VNPT Phỳ Yờn 44 3.1.1 c t cỏc chc nng chớnh ca h thng 44 3.1.2 Mụ t phõn tớch v thit k c s d liu 48 3.2 Mụ t ng dng sau ó ci t 58 3.2.1 Ci t CSDL Song Song 59 3.2.2 Lp trỡnh giao din ng dng 61 3.3 ỏnh giỏ kt qu v so sỏnh thi gian thc t tớnh cc gia x lý tun t v x lý song song 67 KT LUN V HNG PHT TRIN 68 TI LIU THAM KHO 69 DANH MC VIT TT T VIT TT DIN GII BXL B x lý CSDL C s d liu PKHKD T Phũng k hoch kinh doanh Tng i TTH Trung tõm iu hnh TTKD Trung tõm kinh doanh TTTH Trung tõm tin hc TXLC T x lý cc TTTK Trung tõm khon DANH MC CC BNG S hiu bng Tờn bng Trang 1.1 Phõn hoch theo vũng trũn Robin 15 1.2 So sỏnh cỏc phng phỏp phõn hoch 21 DANH MC CC HèNH V, TH S hiu hỡnh v Tờn hỡnh v Trang 1.1 Kin trỳc b nh chia s 1.2 Kin trỳc a chia s 1.3 Kin trỳc khụng chia s 10 1.4 Mụ hỡnh kin trỳc phõn tng 11 1.5 Phõn hoch d liu theo chiu dc v theo chiu ngang 12 1.6 Phõn hoch theo vũng trũn Robin 13 1.7 Phõn hoch d liu theo hm bm 16 1.8 Phõn hoch d liu theo khong 18 1.9 Phõn hoch d liu ngu nhiờn khụng cõn bng 20 2.1 H thng n lnh n d liu SISD 31 2.2 Mụ hỡnh mỏy tớnh kiu von Neumann 32 2.3 H thng n lnh a d liu (SIMD) 32 2.4 H thng a lnh n d liu (MISD) 33 2.5 H thng a lnh a d liu (MIMD) 35 2.6 Mụ hỡnh lung 36 2.7 Hot ng ca lung Pthread 38 M U Lý chn ti C s d liu (CSDL) song song (parallel database Systems) l CSDL c t chc, khai thỏc v x lý mt h thng mỏy tớnh song song [2].Vi CSDL ln v phc nhng mỏy tớnh truyn thng phi mt nhiu thi gian thc hin cỏc thao tỏc cp nht, tỡm kim thụng tin Nhng khú khn ny cú th khc phc c bng cỏc k thut x lý song song trờn cỏc mỏy tớnh song song Mt mỏy tớnh song song hoc mỏy tớnh a x lý l mt h thng c xõy dng t nhiu thit b phn cng nh b x lý, b nh, a, Chỳng c t chc thnh nhiu nỳt, kt ni qua mng truyn thụng tc cao CSDL song song hin ang c s dng rng rói, chỳng khụng nhng giỳp gim nhõn lc qun lý, hnh, m cũn giỳp ngi ngi s dng nhn c thụng tin nhanh hn, chớnh xỏc hn CSDL song song c s dng hu ht cỏc cụng ty, on cú nhu cu x lý d liu ln v phc tp, i cựng vi ú l x lý song song c lp trỡnh chy trờn cỏc Server cú a b x lý giỳp cỏc cụng ty qun lý v x lý d liu tt hn [4],[5] Tp on bu chớnh vin thụng Vit Nam núi chung v Vin Thụng Phỳ Yờn núi riờng cn qun lý nhiu loi d liu v vi dung lng khỏ ln c tng thờm theo tng thỏng Vi vic x lý trờn CSDL song song ó c phõn hoch ca cụng ty s giỳp cho vic truy xut ng thi t cỏc n v trờn cựng mt bng d liu nhng c phõn hoch theo tng giai on hoc n v s nhanh hn v hiu qu hn vo tng thi im c th thỏng Vi mong mun s dng cỏc kin thc ó hc vo cụng vic hng ngy ca mỡnh ti Vin Thụng Phỳ Yờn, tụi mnh dn chn ti Nghiờn cu c s d liu song song v ng dng vic tớnh cc khỏch hng VNPT Phỳ Yờn lm ti lun thc s Tng quan ti liu CSDL song song ó c nghiờn cu v phỏt trin bi nhiu nh khoa hc nc v th gii Nghiờn cu v cỏc h CSDL song song ó c u t nm 1983 ng cnh ca mụ hỡnh quan h Vic t chc v thit k cỏc CSDL song song l phự hp vi kiu thit k ca mụ hỡnh d liu quan h Cỏc truy quan h thc s phự hp cho vic thc hin song song, bi vỡ chỳng bao gm cỏc phộp toỏn thc hin trờn cỏc dũng d liu cú cu trỳc ging [1], [2] Mi toỏn t l mt quan h mi, vỡ th cỏc toỏn t ny cú th to thnh cỏc biu lung d liu song song bi vỡ u ca toỏn t ny cú th l u vo ca mt toỏn t khỏc, hai toỏn t cú th thc hin song song bng cỏch phõn hoch d liu u vo bng nhiu b nh v nhiu b x lý [4] Trong sut thp niờn va qua, mt lot cỏc cụng ty nh Teradata, Tandem, NCR, Oracle, SqlServer, ó thnh cụng vic phỏt trin v a vo s dng cỏc mỏy CSDL vi tc cao giỳp cho vic x lý d liu c nhanh hn nht l thi i cụng ngh s hin Mc tiờu nghiờn cu - Tỡm hiu CSDL song song, cỏch thit k CSDL song song - Tỡm hiu cỏc mụ hỡnh x lý song song, cỏch lp trỡnh x lý song song i tng nghiờn cu Tỡm hiu cỏc k thut phõn hoch, c ch x lý song song c s d liu song song v lp trỡnh x lý song song, t ú xõy dng CSDL song song tớnh cc khỏch hng Vin Thụng Phỳ Yờn phõn hoch theo tng khong trờn SQL Server 2012 v s dng ngụn ng C# lp trỡnh song song cho vic tớnh cc Phng phỏp nghiờn cu Phng phỏp nghiờn cu ca lun l trung vo vic tỡm hiu v CSDL song song, phõn tớch, tng hp, bỡnh lun, cỏc phng phỏp t chc d liu song song ti cng s trỡnh by mt cỏch cú h thng cỏc nghiờn cu v x lý song song, CSDL song song v xõy dng ng dng tớnh cc khỏch hng trờn c s d liu song song ó c thit lp ú Phm vi nghiờn cu - Nghiờn cu ti liu, nghiờn v lý thuyt x lý song song, h c s d liu song song v lý thuyt thit k CSDL song song, cỏc loi phõn hoch CSDL song song - Tỡm hiu v h qun tr CSDL phõn tỏn SQL Server 2012 v cỏch phõn hoch table theo khong h qun tr ny - Tỡm hiu thờm v lp trỡnh song song, c th l lp trỡnh a lung, a tin trỡnh MultiThread C# - Nghiờn cu cỏc thụng tin cn thit tớnh cc t ú chn la cỏc loi d liu no cn phõn hoch to mt c s d liu song song Cu trỳc ca lun gm: Chng 1: Tng quan v CSDL song song v cỏc k thut phõn hoch d liu Chng ny gii thiu cỏc khỏi nim c bn v CSDL song song, cỏc kin trỳc ca h thng mỏy tớnh song song, cỏc k thut phõn hoch d liu CSDL song song v cỏc c ch x lý song song [1] [2],[4] Chng 2: Gii thiu mỏy tớnh song song v cỏc mụ hỡnh lp trỡnh song song Chng ny gii thiu mỏy tớnh song song, phõn loi mỏy tớnh song song v cỏc mụ hỡnh lp trỡnh song song [3],[5] Chng 3: ng dng CSDL song song vic tớnh cc khỏch hng VNPT Phỳ Yờn xõy dng ng dng tớnh cc cho khỏch hng Vin Thụng Phỳ Yờn CSDL c s dng cho ng dng ny l CSDL song song c hỡnh thnh theo chin lc phõn hoch d liu Ngụn ng lp trỡnh c s dng l C# [3],[5][6],[7] Phn kt lun v hng phỏt trin Ti liu tham kho Chng TNG QUAN V C S D LIU SONG SONG V CC K THUT PHN HOCH D LIU 1.1 Gii thiu v C s d liu song song Cỏch õy hn thp k, h c s d liu song song ó gn c xỏc nh, thm nú cũn c s ng h vng chc nht Ngy nay, h c s d liu song song c tip th thnh cụng bi cỏc nh cung cp h c s d liu ln Mt s xu hng thỳc y quỏ trỡnh chuyn i ny l: Cựng vi vic s dng mỏy tớnh ngy cng tng dn theo cỏc yờu cu giao dch cỏc cụng ty cng tng theo rt ln Hn na, s phỏt trin ca mng ton cu ó to nhiu trang web vi hng triu ngi xem, v s lng d liu thu thp ngy cng tng t nhng ngi dựng ó to c s d liu rt ln ti nhiu cụng ty Cỏc t chc ang s dng lng cỏc d liu ngy cng ln ny nh l d liu v nhng mún hng m khỏch hng ó mua, cỏc liờn kt trang web m khỏch hng ó chn, v khỏch hng thc hin cuc gi in thoi tc l h cú k hoch s dng v hi v giỏ c Cỏc truy s dng cho cỏc mc ớch trờn c gi l truy h tr quyt nh, v cỏc d liu cho cỏc truy ú cú th lờn ti hng terabyte H thng x lý n khụng cú kh nng x lý lng ln d liu ny cựng lỳc Bn cht nh hng ca cỏc truy c s d liu l da vo s song song ca nú mt cỏch t nhiờn Mt s h thng thng mi v nghiờn cu ó chng minh sc mnh v kh nng ca x lý truy song song Khi b vi x lý ó tr nờn r hn, mỏy song song ó tr nờn ph bin v tng i r tin B x lý cỏ nhõn ó t tr thnh mỏy song song s dng kin trỳc a lừi Nh chỳng ta ó bit s song song c s dng tng tc x lý, ú cỏc truy c thc hin nhanh hn bi vỡ nhiu ngun lc hn, chng hn nh b x lý, a c cung cp Song song cng c s dng tng lng cụng vic Cụng tỏc TT Thi gian ( phỳt) ( X lý d liu theo tun) khỏc D a d liu lờn thc th CallChargeControl v CallChargeMonth E Ghi cỏc nht ký x lý thụ v nht ký x lý cc X lý gom chm Thi gian Cụng tỏc TT ( phỳt) ( X lý d liu theo tun) 1 A Tỡm cỏc cuc gi cú cựng s ch gi v b gi cỏch giõy gom li vi trờn CallChargeMonth ng thi lu cỏc cuc cha thay i d liu trờn OriginalCall_PreProcessing B - Tỡm cỏc cuc gi cú cựng s ch gi v b gi v ngy gi gi trựng xúa trờn CallChargeMonth ng thi lu cỏc cuc cha thay i d liu trờn OriginalCall_PreProcessing C - Lu nht ký x lý gom chm trờn LogProcessChargeExec Tớnh cc Thi gian Cụng tỏc TT ( phỳt) ( X lý d liu theo ngy) 1 A Cp nht tờn khu vc in, Khon mc theo u s b gi B Tớnh cc cỏc cuc gi theo u s b gi v cp nht cuc gi ú ó c tớnh cc C Tớnh cc cỏc cuc gi thuc gi gim cc D Tớnh cc cỏc cuc gi E Lu nht ký tớnh cc C Cỏc mụ hỡnh ER Vỡ c trng ca mụ hỡnh tớnh cc l da trờn cỏc u s ca ch gi v b gi tớnh cc nờn gia mt s thc th s th tn ti mi quan h m phi da vo mt hm x lý t s ch gi v b gi sang u s xỏc nh mi quan h X lý cc thụ: (n,1) CallChargeControl Ghi nht ký (1,n) CallChargeMonth X lý gom cuc v cỏc cuc gi trựng (0,1) (1,1) X lý gom , trựng CallChargeMonth OriginalCall_PreP rocessing Tớnh cc CalledNumbe rPrefix (1,1) CalledNumberPrefix Thuc (n,1) 1,n Cú ChargeMode 1,n ChargeRate C Cỏc mụ hỡnh quan h X lý cc thụ 1,n CalledNumber Group X lý gom trựng Tớnh cc 3.2 Mụ t ng dng sau ó ci t Sau nghiờn cu CSDL song song v cỏc k thut phõn hoch d liu cng nh cỏc mụ hỡnh lp trỡnh song song, ỏp dng vo yờu cu xõy dng chng trỡnh tớnh cc c nh vi phn cng cú sn ti VNPT Phỳ Yờn, tụi ó ỏp dng cỏc ni dung nghiờn cu sau vo chng trỡnh X Lý Cc: - p dng k thut phõn hoch theo khong thit kt CSDL song song - Ci t CSDL song song MS SQL Server 2012 trờn kin trỳc h thng mỏy tớnh song song l a chia s - p dng cỏc c ch x lý song song CSDL song song truy vn, thờm, sa d liu nhanh chúng - p dng mụ hỡnh lp trỡnh chia s b nh da vo lung xõy dng chng trỡnh giao din ngi s dng X Lý Cc 3.2.1 Ci t CSDL Song Song Sau õy l mt s hỡnh nh mụ t CSDL song song sau ó ci t v phõn hoch d liu: CSDL c xõy dng trờn MS SQL Server 2012 Release 2, phõn hoch d liu ca cỏc bng thnh cỏc FileGroups Cỏc Files cha cỏc d liu lu tr trờn cỏc a ca FileGroups Bng CallChargeMonth c phõn hoch d liu l 32 khong v ct phõn hoch d liu l Days Bng CallChargeControl phõn hoch theo tng k cc, hin ti l 29 khong v ct phõn hoch d liu l Months 3.2.2 Lp trỡnh giao din ng dng A Quy trỡnh chy chng trỡnh trờn giao din D liu t file dbf, Sql Server Chuyn bng c.trỡnh Convert D liu nm cỏc table SQL Server X lý cc thụ D liu tớnh cc (Cc thụ, Cc tớnh) Tc c d liu ca bng Cc thụ dựng tra cu v i soỏt Thc hin gụm chm, tớnh cc chi tit cuc gi trờn Cc tớnh Tng hp d liu cỏc bng cha chi tit cuc gi ng di , ni ht v cỏc bng khỏc phc v bỏo cỏo Tng hp v tớnh cc khỏc Cỏc bỏo cỏo Tng hp v tớnh cc thuờ bao Tng hp v tớnh cc dch v cng thờm B Cỏc giao din chng trỡnh X Lí CC: Giao din chng trỡnh x lý cc gm phn chớnh tng ng vi cỏc tờn menu : - Menu H thng : cha cỏc bin ton cc c s dng chng trỡnh v to thỏng cc mi - Menu X lý d liu thụ: x lý d liu t Dbf a lờn Sql Server theo tng loi d liu v nht ký x lý cc thụ - Menu Tớnh cc- tng hp cc: tớnh cc chi tit cuc gi, nhp li danh b, i s ch gi thỏng v tng hp cc - Menu Khai bỏo u s: khai bỏo cỏc u s ch gi, b gi tớnh cc v cỏc u s c khỏc phc v cho vic tớnh cc - Menu Khai bỏo chit khu khuyn mói: khai bỏo danh sỏch cỏc mó khỏch hng, s ch gi c hng khuyn mói, chit khu v cỏc mc t l chit khu - Menu Khai bỏo d liu tớnh cc: khai bỏo cỏc loi giỏ cc, ma trn cc, phng thc tớnh cc - Bỏo cỏo: cỏc bỏo cỏo v i soỏt Khai bỏo,cp nht u s ch gi tớnh cc theo host (thuc Menu Khai bỏo u s): cỏc cuc gi c a vo phn tớnh cc cú s ch gi ly Host hoc Host Nhp vo nm v thỏng tớnh chun b tớnh cc hay cũn gi l k cc s s nguyờn tng dn ( vd: thỏng 01 nm 2012 s l k cc 201201) k cc ny cng l cỏc phõn on Partition cho cỏc bng cú Partition Ngoi khi to thỏng cc mi cũn thờm cỏc x lý sau: Phõn Partition chớnh l k cc cho cỏc bng cú Partition X lý d liu thụ a lờn tớnh cc ca Host v Host ca thỏng trc ct sang ( ly file cc ca tun cui thỏng s cú cỏc d liu cc ca thỏng tip theo, ú s ct d liu cc ca thỏng tip theo vo cỏc bng tm õy l TempAXNextMonth v TempALNextMonth cho hai Host2 v 3) Sao chộp d liu t thỏng trc lờn thỏng tớnh cc hin ti cỏc bng cú cha d liu cú mt phn trựng gia cỏc thỏng (bng tớnh cc khỏc) Nhp vo s phn Nhp tun x lý, sau ú chn nỳt X Lý chng trỡnh tin hnh tỏch d liu a lờn tớnh cc bng CallChargeMonth v d liu dựng lu tr, bỏo cỏo bng CallChargeControl Sau ú chng trỡnh s hin Nht ký x lý cc thụ cú cha cỏc thụng tin v s record tớnh cc, partition bt u v kt thỳc ca loi file va c x lý Khai bỏo, cp nht u s b gi : bao gm nhng u s b gi, nhn tin c m tớnh cc Khai bỏo, cp nht phng thc tớnh cc: bao gm tt c phng thc tớnh cc c ỏp dng tớnh cc (VD: giõy + giõy, phỳt + phỳt,) Nht ký x lý cc, ng thi tớnh cc theo cỏc tựy chn Quỏ trỡnh tng hp cc c thc hin tun t theo cỏc checkbox ó c lit kờ, nu cỏc bc trờn khụng thc hin s khụng cho phộp chy cỏc bc tip theo Check vo cỏc hng cn x lý sau ú nhn nỳt X Lý hon tt 3.3 ỏnh giỏ kt qu v so sỏnh thi gian thc t tớnh cc gia x lý tun t v x lý song song Vic kt hp gia CSDL song song v lp trỡnh x lý song song ó lm gim ỏng k v ngun nhõn lc v thi gian tớnh cc VNPT Phỳ Yờn trc cha ỏp dng chng trỡnh ny phi ũi hi ngi s dng x lý cc v thi gian l ngy, cht cc vo ngy hng thỏng, hin ch cn ngi s dng x lý cc v thi gian rỳt li l ngy v cht cc vo cui ngy Thi gian tớnh cc gia x lý song song bng khong 1/3 ca x lý tun t KT LUN V HNG PHT TRIN Lun ó tng hp mt s kin thc c bn v CSDL song song, cỏc kin trỳc ca h thng mỏy tớnh song song, cỏc k thut phõn hoch d liu CSDL song song v cỏc c ch x lý song song, ng thi tỡm hiu tng quỏt mỏy tớnh song song, phõn loi mỏy tớnh song song v cỏc mụ hỡnh lp trỡnh song song Trờn c s lý thuyt, tụi cng ó chn cỏc k thut phõn hoch cng nh mụ hỡnh lp trỡnh song song phự hp vi kin trỳc phn cng ca VNPT Phỳ Yờn Sau nghiờn cu v chn cỏc gii phỏp phự hp tụi ó thit k CSDL song song da lờn k thut phõn hoch theo khong v lp trỡnh song song theo Lung xõy dng chng trỡnh X Lí CC phc v cho vic x lý cc c nh cho khỏch hng VNPT Phỳ Yờn * nh hng phỏt trin ca lun Trong tng lai tụi mong mun xõy dng mụ hỡnh tớnh cc c nh cho ton Tp on Bu chớnh Vin thụng Vit Nam vi mụ hỡnh CSDL Phõn tỏn, mi tnh l mt mt nỳt vi CSDL song song giỳp cho vic tớnh cc c trung ti on, lm gim ngun nhõn lc tớnh cc cng nh vic hp s liu bỏo cỏo c y v kp thi TI LIU THAM KHO Ting Vit PGS TS Nguyn Mu Hõn, Giỏo trỡnh c s d liu phõn tỏn, Nh xut bn i hc Hu, 2012 PGS.TS on Vn Ban, PGS.TS Nguyn Mu Hõn, X lý song song v phõn tỏn, Nh xut bn khoa hc v k thut, 2006 Tng cụng ty bu chớnh vin thụng, Quy nh nghip tớnh cc v qun lý cc thu khỏch hng, Nh xut bn bu in, 2001 Ting Anh Abraham Silberschatz, Henry F Korth, S Sudarshan, Database System Concepts, Last updated 2006 Hasan Waqar, Optimization of SQL Query for Parallel Machines, Springer, 2005 Joseph Albahari, Threading in C#, last updated 2011 Andrew Novick, www.NovickSoftware.com Partitioning Tables, Views, and Indexed Views in SQL Server, 2010 [...]... hệ cơ sở dữ liệu được tổ chức, khai thác và xử lý trong một hệ thống máy tính song song Các hệ này tận dụng tính chất song song trong việc quản lý dữ liệu để khai thác các máy cơ sở dữ liệu có hiệu năng cao và khả năng xử lý nhanh Hệ thống song song cải thiện xử lý và tốc độ vào ra bằng cách sử dụng nhiều bộ xử lý và các ổ đĩa song song Máy song song đang trở nên ngày càng phổ biến, khiến cho việc nghiên. .. việc nghiên cứu các hệ cơ sở dữ liệu song song quan trọng hơn Các động lực để thúc đẩy phát triển hệ cơ sở dữ liệu song song là nhu cầu của các ứng dụng phải truy vấn cơ sở dữ liệu cực kỳ lớn (tương ứng với hàng terabyte-có nghĩa là 1012 byte) hoặc có thể xử lý một số lượng rất lớn các giao dịch trong một giây tương ứng với hàng ngàn giao dịch mỗi giây) Hệ thống cơ sở dữ liệu client-server và trung tâm... thực hiện trong một đơn vị thời gian Song song liên truy vấn là dạng song song sớm nhất được sử dụng trong các hệ thống cơ sở dữ liệu, đặc biệt là trong các hệ thống song song có bộ nhớ dùng chung Các hệ cơ sở dữ liệu dược thiết kế cho các hệ thống bộ xử lý đơn có thể được sử dụng trên kiến trúc song song bộ nhớ dùng chung với thay đổi ít hoặc không có, bởi vì ngay cả các hệ thống cơ sở dữ liệu tuần... các bộ vi xử lý mà không chứa trường/thuộc tính cụ thể đó sẽ trở nên nhàn rỗi Mô hình này là phổ biến hơn trong các hệ thống cơ sở dữ liệu phân tán, ở đó các hệ thống mạng/giao tiếp chậm hơn so với hệ thống cơ sở dữ liệu song song, mà phần tử xử lý mạnh hơn thông qua một kết nối mạng nhanh chóng Lý do cho việc sử dụng song song trong các hệ thống cơ sở dữ liệu là để phân tán các nhiệm vụ xử lý giữa... Các hệ Oracle 7 và Oracle RDB là các ví dụ về các Hệ cơ sở dữ liệu song song ổ đĩa chia sẻ có hỗ trợ cơ chế song song liên truy vấn 1.4.2 Song song nội truy vấn Song song nội truy vấn là dạng song song hóa thi hành song song một truy vấn đơn trên nhiều bộ xử lý và ổ đĩa Nghĩa là nó thực hiện từng truy vấn một và cho phép thực hiện đồng thời các phép toán trên truy vấn đó Để minh họa cho việc xác định... bản song song của một số phép toán quan hệ thông thường 1.5 Các phép toán song song Thay vì phải xây dựng các phép toán song song mới, chúng ta có thể xây dựng các phép toán quan hệ truyền thống với các dòng dữ liệu song song Mỗi phép toán quan hệ có một tập các cổng vào chứa các mẫu tin và một cổng chứa dòng dữ liệu kết quả Dòng dữ liệu song song thực hiện bằng cách phân chia và ghép các dòng dữ liệu. .. gian đáp ứng, thông qua sự gia tăng mức độ song song Hệ cơ sở dữ liệu song song bao gồm nhiều bộ xử lý và nhiều đĩa kết nối với nhau bằng một mạng lưới kết nối nhanh chóng Độ tăng tốc là chúng ta có thể tăng tốc độ xử lý bằng cách tăng sự song song cho một giao dịch đơn Độ mở rộng là xử lý các giao dịch tăng lên bằng cách tăng song song Vì vậy chúng ta có thể định nghĩa hệ cơ sở dữ liệu song song là... trong hệ thống cơ sở dữ liệu song song, ở đó giao tiếp diễn ra nhanh chóng và bộ vi xử lý tham gia trong toàn bộ quá trình xử lý thường xuyên là rất quan trọng Phương thức phân hoạch ngang đã được sử dụng bởi hầu hết các hệ thống cơ sở dữ liệu quan hệ song song Có một số phân hoạch ngang được biết đến phổ biến hơn, cụ thể là:  Phân hoạch dữ liệu theo vòng tròn Robin  Phân hoạch dữ liệu theo hàm băm... công việc Hình 1.3.5 đưa ra một minh họa của một phân hoạch dữ liệu ngẫu nhiên không cân bằng Hình 1.9 Phân hoạch dữ liệu ngẫu nhiên không cân bằng Tóm tắt so sánh: Bốn phương pháp phân vùng dữ liệu cơ bản ở trên thực sự có thể được phân loại thành loại (i) phân hoạch dữ liệu dựa vào thuộc tính và loại (ii) phân hoạch dữ liệu không dựa trên thuộc tính Phân hoạch dữ liệu dựa trên thuộc tính sử dụng. .. thác cơ chế song song như quá tải khi khởi động, quá tải trong truyền thông hiện tượng nút cổ chai,… Các vấn đề này hoàn toàn có thể giải quyết được bằng cách sử dụng hợp lý phần cứng và đảm bảo dải thông vào ra của hệ thống Chương 2 MÁY TÍNH SONG SONG VÀ CÁC MÔ HÌNH LẬP TRÌNH SONG SONG 2.1 Giới thiệu về máy tính song song Ngày nay, với các bài toán yêu cầu xử lý trên một số lượng lớn dữ liệu và phức ... máy tính song song, phân loại máy tính song song mô hình lập trình song song [3],[5]  Chương 3: Ứng dụng CSDL song song việc tính cước khách hàng VNPT Phú Yên xây dựng ứng dụng tính cước cho khách. .. dựng ứng dụng tính cước khách hàng sở liệu song song thiết lập Phạm vi nghiên cứu - Nghiên cứu tài liệu, nghiên lý thuyết xử lý song song, hệ sở liệu song song lý thuyết thiết kế CSDL song song,... hiệu vào thời điểm cụ thể tháng Với mong muốn sử dụng kiến thức học vào công việc ngày Viễn Thông Phú Yên, mạnh dạn chọn đề tài Nghiên cứu sở liệu song song ứng dụng việc tính cước khách hàng VNPT