hàng hoá
Khoá luận tốt nghiệp Xây dựng kho dữ liệu phục vụ cho việc lập báo cáo ngành Hải quan Việt Nam
Hình 3. 6:Mô hình đẩy dữ liệu lên tầng Staging
Hình 3. 7:: Map dữ liệu từ hệ thống nguồn lên tầng Staging
Sau khi thực hiện map 1 1 từ cột dữ liệu nguồn sang cột dữ liệu của tầng Stage, chạy
turn chúng ta thu được kết quả: các đường kết nối hiện xanh là thực hiện map thành công, hiện đỏ là thực hiện không thành công. (Như hình:3.7 )
■V DSlinkH
Constraint
DcnvatKXI Cotumn Nome
DSLnk' NGAY-GETOUT NGAY-GETOUT DSlnkTVI-TRI-HH VI-TRI-HH DSLnkT MO-TA-4^ MO-TA-HH DSLnk'GHI-CHU GHI-CHU DSLnkTSO-CONTAJNER SO-CONTAJ NER DSLnkTCHU-KHO CHU-KHO DSLnkTSO-LUONG SO-UOftG DSLnkTDIA-CHI DlA-CHI
I DStnkTTINH-THANH _____________I TINH.THANH -
Khoá luận tốt nghiệp Xây dựng kho dữ liệu phục vụ cho việc lập báo cáo ngành Hải quan Việt Nam
Từ hình 3.6 mô tả được việc chọn các dữ liệu nguồn và sử dựng công cụ Transformer
đẩy dữ liệu lên tầng Satging. Ở bước này thường là dữ liệu được đưa lên theo dữ liệu nguồn được chọn
3.3.2. Xây dựng tầng Data Warehouse
Hình 3. 8: Mô hình trích lọc đẩy dữ liệu lên DWH
Hình 3.8 Mô phỏng trích lọc dữ liệu trên Data Warehouse nhờ công cụ Turn DataStage.
Sau khi lựa chọn các bảng cần thiết cho DWH, ta cần định dạng lại cấu trúc dữ liệu theo một dạng chuẩn mà DWH quy định
Khoá luận tốt nghiệp Xây dựng kho dữ liệu phục vụ cho việc lập báo cáo ngành Hải quan Việt Nam
Hình 3. 9: Kéo dữ liệu từ tầng Staging lên tầng DWH
Hình 3. 10: Sửa lại định dạng chuẩn cho các trường dữ liệu
Khoá luận tốt nghiệp Xây dựng kho dữ liệu phục vụ cho việc lập báo cáo ngành Hải quan Việt Nam
Hình 3. 11: Trích lọc dữ liệu có điều kiện
Khoá luận tốt nghiệp Xây dựng kho dữ liệu phục vụ cho việc lập báo cáo ngành Hải quan Việt Nam
Hình 3.8 công cụ Turn DataStage thực hiện gộp các bảng có liên kết với nhau theo thiết kế. Tuy nhiên công cụ này chỉ mô phỏng mối liên kết về vật lý. Để DWH có thể liên kết mặt logic trong hệ thống thì các lệnh kết nối được viết trong công cụ như sau:
SELECT A.ID_KHO, A.MA_KHO, A.TEN_KHO, B.DIA_CHI, B. TINH_THANH, A.VI_TRI_HH, A.MO_TA_HH,
A.GHI_CHU,A.CHU_KHO,A.SO_LUONG froM ECARGO.AAKNQ_QUAN_LY_KHO A INNER JOIN ECARGO.AAKNQ_QUAN_LY_KHODETAIL B ON A.MA_KHO=B.MA_KHO;
SELECT A.TK_ID, A.MA_HQ, A.TEN_KBC, A.SO_VAN_DON,
A.SO_CONTAINER, A.VI_TRI_CONTAINER, A.MO_TA_HH, A.NGAY_GETIN, A.NGAY_GETOUT FROM ECARGO.AAKNQ_CONTAINER A ;
SELECT ID_SP, MA_SP, TEN_SP, LOAI_SP, MO_TA_SP, SO_LUONG, GIA_TIEN, TONG_TIEN, NGAY_CAP_NHAP, MAHS FROM
VNACCSSHAREDINT.AADS_HANG_HOA; (adsbygoogle = window.adsbygoogle || []).push({});
SELECT ID_MAHS, MAHS, LOAI_MAHS, MOTA_MAHS,
NGAY_BH,NGAY_PD,KHOASO FROM VNACCSSHAREDINT.AAMAHS ; SELECT A.ID_XN, A.MA_XN, B.KIEU_XN, A.LY_DO_THUC_HIEN, A.NGAY_THUC_HIEN, F.TEN_SP, C.SO_LUONG, A.NGUOI_DUYET,
A.NGAY_DUYET,A.LY_DO_DUYET,A.TRANG_THAI,A.MA_DN,A.TEN_DN,C. ID_KHO,C.MA_KHO, D.TK_ID, D.SO_CONTAINER, F.ID_SP,F.MA_SP,
G.ID_MAHS,G.MAHS FROM ECARGO.AAKNQ_QUAN_LY_XN A INNER JOIN ECARGO.AAKNQ_QUAN_LY_XNDETAIL B ON A.MA_XN=B.MA_XN
INNER JOIN ECARGO.AAKNQ_QUAN_LY_KHO C ON A.MA_KHO = C. MA_KHO
INNER JOIN ECARGO.AAKNQ_CONTAINER D ON C.SO_CONTAINER = D. SO_CONTAINER
χ∣B , I 1-1 xI 1=1 ì 1 1 11888
Tang truɛng kinh ti 22-APR-18 AB
Cll xe kia Long3 Quang 22-APR-18 Đồng ýXNK NGUYÊN 6677 CHIiC
1
2 12 666 Tang truɛng kinh tẻ 23-APR-18 C12AB xe kia ITam long 23-APR-18 Đồng ýXNK NGUYÊN CHIiC 7788
1
3 13 888 Tang truɛng kinh ti 24-APR-18 C13AB Xe Iexus 350 2Thuy Linh 24-APR-18 Đồng ýXNK NGUYÊN CHIiC 5566
1
4 14 666 Tang truồng kinh ti 25-APR-18 Cl 4AB Xe Iexus 460 LiênINguyen 25-APR-18 Đồng ýXNK NGUYÊN CHIiC 6677 1
5 15 888 Tang truɛng kinh ti 26-APR-18 Cl 5AB Xe Iexus 570 IVan Hài 26-APR-18 Đồng ýXNK NGUYÊN CHIiC 7788
1
6 16 666 Tang truồng kinh ti 27-APR-18 Cl 6AB Xe Iexus 571 Long3 Quang 27-APR-18 Đồng ýXNK NGUYÊN CHIiC 5566
1
7 17 888 Tang truɛng kinh ti 28-APR-18 C17AB Xe bon bê tông 2 Tâm long 28-APR-18 Đồng ýXNK NGUYÊN CHI;C 6677
1
8 18 666 Tang truɛng kinh ti 29-APR-18 Cl 8AB Xe chỏ hàng 3Thuy Linh 29-APR-18 Đồng ýXNK NGUYÊN CHIiC 7788
1
9 19 888 Tang truɛng kinh tẻ 30-APR-18 Cl 9AB Xe chở hàng Liên3 Nguyễn 30-APR-18 Đồng ýXNK NGUYÊN 5566 CHIiC 2
0 20 666 Tang truɛng kinh tẻ 01-MAY-18 C20ẪB Xe chỏ hàng 2 Văn Hài 01-MAY-18 Đồng ýXNK NGUYÊN CHIiC 6677
SweIcomePage i⅛ DatabaseHatQuanl O AAKNQ-CONTAINER
Columns Data Model I Constraints !Grants !statistics !Triggers I Flashback !Dependencies !Details !Partitions !indexes ISQL
▼
▼Actions ,.,
m×∙∣sort.. IFfef!∣ (adsbygoogle = window.adsbygoogle || []).push({});
XTK
-ID _____V MA-HQ A NGAY-DK IA MA-KBC IA TEN-KBCCONTAINER _________IỘ SO-VAN-DON IA SO- JiJsO-HIEU- VI-TRI-CONrAINE I ộ MO-TA-HH
1 1 01 999 03-JAN-15 MKOl KHO NGOẠI QUAN CÁI LÂN 66881 ... 12301 10001 30 1 Bau kéo
2 2 999
02 04-JAN-15 MK02 KHO NGOẠI 66881 QUAN TÂN TAO ... 12302 10002 30 2 Xe tà 9 tấn
3 3 999
03 05-JAN-15 MK03 KHO NGOẠI QUAN HAI PHÒNG 66881 ... 12303 10003 30 3 Xe tà 8 tấn
4 4 999
04 06-JAN-15 MKOl KHO NGOẠI QUAN CÁI LÂN 66881 ... 12304 10004 30 4 Xe tả 7 tấn
5 5 999
05 07-JAN-15 MK02 KHO NGOẠI QUAN TÂN TẠO 66881 ... 12305 10005 30 5 Xe tả 6tan
6 6 999
06 03-JAN-15 MK03 KHO NGOẠI QUAN HAI PHÒNG 66881 ... 12306 10006 30 6 Xe tả 5tan
7 7 999
07 04-JAN-15 MKOl KHO NGOẠI QUAN CÁI LÂN 66881 ... 12307 10007 30 7 Xe tà 4tan
8 8 999
08 05-JAN-15 MK02 KHO NGOẠI QUAN TÂN TẠO 66881 ... 12308 10008 30 8 Xe co 4Cho
9 9 999
09 06-JAN-15 MK03 KHO NGOẠI QUAN HAI PHỒNG 66881 ... 12309 10009 30 9 Xe co 4Cho
1
0 10 10 999 07-JAN-15 MKOl KHO NGOẠI QUAN CÁI LÂN 66881 ... 12310 10010 30 10 Xe co 4Cho
1
1 11 11 999 03-JAN-15 MK02 KHO NGOẠI QUAN TÂN TẠO 66881 ... 12311 IOOll SO 11 Xe co 4 chỗ
1
2 12 12 999 04-JAN-15 MK03 KHO NGOẠI QUAN HAI PHỒNG 66881 ... 12312 10012 SO 12 Xe co 4 chỗ
1
3 13 13 999 05-JAN-15 MKOl KHO NGOẠI QUAN CÁI LÂN 66881 ... 12313 10013 SO 13 Xe co 7 chỗ
1
4 14 14 999 06-JAN-15 MK02 KHO NGOẠI QUAN TÂN TẠO 66881 ... 12314 10014 30 14 Xe co 7 chỗ
1 (adsbygoogle = window.adsbygoogle || []).push({});
5 15 15 999 07-JAN-15 MK03 KHO NGOẠI QUAN HAI PHÒNG 66881 ... 12315 10015 SO 15 Xe co 7 chỗ
1 16 999 03-JAN-15 MKOl KHO NGOẠI QUAN CÁI LÂN ... 12316 10016 3 16 X c 7
Khoá luận tốt nghiệp Xây dựng kho dữ liệu phục vụ cho việc lập báo cáo ngành Hải quan Việt Nam
INNER JOIN VNACCSSHAREDINT.AAPF HANG HOA E ON E.MA KHO = C.MA_KHO
INNER JOIN VNACCSSHAREDINT.AADS HANG HOA F ON F.MA SP = E. MA_SP
INNER JOIN VNACCSSHAREDINT.AAMAHS G ON G.MAHS = F.MAHS;
3.3.3. Đẩy dữ liệu từ Data warehouse lên datamart
Hình 3. 13: Đẩy dữ liệu từ tầng DWH lên tầng Data Mart
3.3.4. Kêt xuât dữ liệu lập báo cáo
Dữ liệu ở trong Data Warehouse được chia nhỏ theo nghiệp vụ ở Data Mart
Nguyễn Quang Long - K18H∣I∣B 59
Khoá luận tốt nghiệp Xây dựng kho dữ liệu phục vụ cho việc lập báo cáo ngành Hải quan Việt Nam
QL Developer
View Navigate Run Team Tools Window Help
J g Ọi ɔ © I Q AAKNQ-QU AN-LY-KHO ⅛≡ AAKNQ-QUAN-LY-KHODETAIL ⅛aM≡≡⅛ι B S AAKNQ-QUAN-LY-XNDETAIL B S ADNK_DS_HANG_HOA B B AKBC-NHAP-KHO B’S AKNQ-KHO-DETAIL Bi AUDΓΓ-DNK-HANG-HOA-MO-1K BS AUDIT-DNK-HANG-HOA-MO-TK-D B S CAP-SO-CT-HH S S CAP-SO- ^ B B DNK-DSjl.. »0 DNK-DS-HANG-HOA-CHOT ⅛ B DNK-DS-HANG-HOA-EMF ⅛ DNK-DS-HANG-HOA-EMF-LS s≡ DNK-DS-HANG-HOA-HQCN a S DNK_DS_HANG_HOA.se B S DNK-DS-HANG-HOA-SC-LS S S DNK-DS-HANG-HOA-SK
IB ra DNK ns HANG HOA SIIA
Ξ Welcome Page ê DatabaseHaQudnl 10 AAKNQ-QUAN-LY-XN
Columns Data Model !constraints I Grants !statistics !Triggers !Flashback I Dependencies !Details I Partitions !indexes
ISQL 1888 2 666 3 888 4 666 5 888 6 666 7 Rfifi Mjable ECARGO.CAP_SO_CT_HH@DatabaseHaiQua nl I ;_HANG_HOA---■ -------9 888 Tang truɛng Tang truɛng Tang truɛng Tang truɛng Tang truɛng Tang truồng Tang truɛng Tang truɛng Tang truɛng Tang truɛng Icinh kinh kinh kinh kinh kinh kinh kinh kinh 10 10 666 NGAY-THUC-HIEN ∣⅞ MA-SP IH TDJ-SP container tài tài tài tài tài tẻ 12-APR-18 ti 13-APR-18 ti 14-APR-18 tɛ 15-APR-18 tẻ 16-APR-18 tẻ 17-APR-18 tẻ 18-APR-18 ti 19-APR-18 tê 20-APR-18 ti 21-APR-18 ABCOl ABC02 ABC03 ABCO 4 ẰBC05 ABCO 6 ABC07 ABCO 8 ABCO 9 Xe Xe Xe Xe Xe Xe Xe Xe Xe kinh ABClO Xe tấn tân tấn tấn tấn tan toyota camry mada 3 ’!▼Actions...
SO-LUONG IỘ NGUOI-DUYETI; C NGAY-DUYET I ⅜ LY-DO-DUYETI A TRANG- THAI I ʌ MA IQuang Long 2Tam long 3Thuy Linh 2 Nguyễn Liên IVan Hài 3 Quang Long 2 Tấm long IThuy Linh INguyen Liên 2 Văn Hài 12-APR-18 13-APR-18 14-APR-18 15-APR-18 16-APR-18 17-APR-18 18-APR-18 19-APR-18 20-APR-18 21-APR-18 Đồng Bong Đồng Đồng Đồng Bong Bong Đồng Bong Bong ý XNK ý XNK ý XNK ý XNK ý XNK ý XNK ý XNK ý XNK ý XNK ý XNK NGUYÊN CHI;C 5566 NGUYÊN CHIiC 6677 NGUYÊN CHIiC 7788 NGUYÊN CHIiC 5566 NGUYÊN CHIiC 6677 NGUYÊN CHIiC 7788 NGUYÊN CHIiC 5566 NGUYÊN CHIẻC 6677 NGUYÊN CHIiC 7788 NGUYÊN CHIiC 5566
File Edit View Navigate Run Team Tools Window Help
3ũEã a ɑ' Ê Λ Connections + ’ ⅛ 7 4! ¾ φ È Tables (Filtered) I φ B AAKNQ-CONTAINER I B B AAKNQ-QUAN-LY-KHO Ị ậ B AAKNQ-QUAN-LY-KHODErAIL B O AAKNQ-QUAN-LY-XN ị ItlSAAKNQ-QUAN-LY-XNDETAIL I a S ADNK-DS-HANG-HOA I B B AKBC-NHAP-KHO ! φ B AKNQ-KHO -DETAIL I φ S AUDrr-DNK-HANG-HOA-MO-TK Ị Ij SAUDIT-DNK-HANG-HOA-MO-TK-D B B CAP-SO-CT-HH I B Q CAP-SO-CT-VO B Q DNK-DS-HANG-HOA I ⅛s DNK-DS-HANG-HOAjatOT I B O DNK-DS-HANG-HOA-EMF I φ B DNK-DSJiANGJIOA-EMF-LS ItlBDNK-PS-HANG-HOA-HQCN I B S DNK_DS_HANG_HOA.se ! IB ra DNK ns HANG HOA SC IS <CΞ ) ► Reports
i⅞ All HiiWtr !■
DBA
2
0 20 20 999 07-JAN-15 MK02 KHO NGOẠI QUAN TÂN TẠO 66881 ... 12320 10020 30 20 Xe co 5 tấn
7
1 71 JQ71Q< ∩WaN-1 S Mm Iffl∩ NG∩a T ∩ττaw HẲT PHÒNGΛfiRR1 17471 1nn?1 □ 71 YP
Λ Λ 4 tấn
MaH S (adsbygoogle = window.adsbygoogle || []).push({});
MotaHS Title Amoun
t (C) Price (USD) SUMPrl ce (USD)
lax Territory Port YEAR
r 8701
Xe kéo (trừ xe kéo thuộc nhóm 87.09). - - - Mái 1 193,264 193,264 19,326 Austria Cáng móng cái
(QN)
2017 8702 Xe kềcó động CO chở 10 người ườ lên,cả
lái xe.
- — Loại khác
6 ,237 28 169,422 2,824 Japan Càng Cát Lái (HCM) 2017
8702 Xe kểcó động CO chờ 10 người ưở lên,cả lái xe.
- - - - Loại khác 200 ,000 31 6,200,000 3,100 Thailand Cảng Cát Lái (HCM) 2017
F
8703
Ô tô và các loại xe khác có động CO được
thiết kế chủ yếu đê chở người (trừ các loại
thuộc nhóm 87.02), kể cả ô tô chõ người
...Loại khác 1 ,310 10 10,310 1,031 (Republic)Korea PhòngCàng Hải 2017
F---
8703
Ồ tô và các loại xe khác có động CO được
thiết kế chủ yếu để chờ người (trừ các loại
thuộc nhóm 87.02), kề cà ô tô chờ người
...Loại khác 202 7,733 1,562,156 773 Thailand PhòngCảng Hái 2017
8703
Ổ tô và các loại xe khác có động CO được
thiết kế chủ yếu để chở người (trừ các loại
thuộc nhóm 87.02), kể cả ô tô chở người
---ô tô cứu thưong 20 ,878 39 797,550 3,988 Japan PhòngCàng Hài 2017
F (adsbygoogle = window.adsbygoogle || []).push({});
8703
Ô tô và các loại xe khác có động CO được
thiết kế chủ yếu để chở người (trừ các loại
thuộc nhóm 87.02), kế cà ô tô chở người
- - - - ô tô kiều Sedan (SEN) (1) 450 9,828 4,422,542 983 Thailand PhòngCảng Hải 2017
F
8703
ô tô và các loại xe khác có động CO được
thiết kế chủ yếu đề chó người (ưừ các loại
thuộc nhóm 87.02), kề cả ô tô chở người
---Loại khác 1 ,670 11 11,670 1,167 (Republic)Korea PhòngCảng Hài 2017
MaH S MotaHS Title Amoun t (O Price (USD) SUMPrlce
(USD) Tax Territory Port
YEAR
r 8701
Xe kéo (trừ xe kéo thuộc nhóm 87.09). -■-Mới 10 44
,650 446,500 4,465 Belarus Cảng mỏng cái (QN) 2018 8702 Xe kếcố động CO chở 10 người ttở lên,cà lái xe.
---Loại khác 1 247,500 247,500 24,750 China Càng Cát Lái (HCM) 2018
F
8702
Xe có động CO chờ 10 người ưở lên,
kế cá
lái xe.
---Khối lượng toàn bộ theo thiết kế
(SEN) từ 6 tân nhưng không quá 18
tấn 1 ,791 11 11,791 1,179 Turkey Cảng Cát Lái (HCM) 2018 F 8703 Ô tô và các loại xe khác cố động CO được
thiết kế chù yếu để chó người (trừ các loại
thuộc nhóm 87.02), kề cà ô tô chò người
---Loại khác 20 3,400 68,000 340 China PhòngCáng Hải 2018
F (adsbygoogle = window.adsbygoogle || []).push({});
8703
Ô tô và các loại xe khác có động CO được
thiết ké chủ yếu để chở người (trừ các loại
thuộc nhóm 87.02), kể cá ô tô chở người
---Loại khác 10 20,447 204,471 2,045 Germany PhòngCáng Hải 2018
F
8703
Ổ tô và các loại xe khác cố động CO được
thiết ké chủ yếu để chờ người (trừ các loại
thuộc nhóm 87.02), kề cà ô tô chó người
...Loại khác 1019 21,851 22,265,949 2,185 Thailand PhòngCáng Hải 2018
F
8703
Ô tô và các loại xe khác có động CO đưọc
thiết ké chủ yếu để chở người (trừ các loại
thuộc nhóm 87.02), kề cà ô tô chớ người
---Loại khác 1 20,000 20,000 2,000 United States of America PhòngCảng Hải 2018
F
8703
ô tô và cảc loại xe khác có động CO được
thiết kế chủ yếu để chở người (trừ các loại
thuộc nhóm 87.02), kể cả ô tô chở
- - - - Ô tô cứu thương 1 53,634 53,634 5,363 Japan PhòngCáng Hài 2018
Hình 3. 14: Kết quả thử nghiệm Load dữ liệu lên Data Mart
Khoá luận tốt nghiệp Xây dựng kho dữ liệu phục vụ cho việc lập báo cáo ngành Hải quan Việt Nam
Hình 3. 15: Kết quả thử nghiệm báo cáo
Với các dữ liệu đã được thiết kế trong kho dữ liệu, thì cán bộ Hải quan lập báo cáo quản lý hàng hoá xuất nhập khẩu tại kho bãi cảng không phải thực hiện trên nhiều CSDL
mà thực hiện trực tiếp trên dữ liệu được chia trên tầng Data Mart. Kết quả thí nghiệm như hình 3.15Như thực tế ban đầu để có được báo cáo với các nội dung này thì cán bộ Hải quan phải lấy dữ liệu từ ba hệ thống với việc sử dụng 3 User khác nhau mất nhiều thời gian, công sức và chưa đảm bảo an toàn bảo mật thông tin. Khi có Data Warehouse các vấn đề nếu trên đã được giải quyết.
Khoá luận tốt nghiệp Xây dựng kho dữ liệu phục vụ cho việc lập báo cáo ngành Hải quan Việt Nam
3.4. Kết luận chương (adsbygoogle = window.adsbygoogle || []).push({});
Chương 3, đã trình bày quá trình xây dựng Kho dữ liệu và thực nghiệm khai thác kho dữ liệu để lập báo cáo về quản lý hàng hoá xuất nhập khẩu tại kho bãi cảng. Ket qủa
thực nghiệm về cơ bản đã đạt được các nội dung cần thiết trong báo cáo. Tuy nhiên trong quá trình xây dựng hệ thống vẫn còn tồn tại một số các vấn đề phát sinh sau: Dữ liệu chưa được làm sạch hoàn toàn, vẫn có trường hợp bị dư thừa dữ liệu, một số trường
dữ liệu bị lỗi vì chưa định dạng được thuộc tính chuẩn theo form của turn yêu cầu. Trong
Khoá luận tốt nghiệp Xây dựng kho dữ liệu phục vụ cho việc lập báo