Rút trích các thuộc tính khoa học của các tập dữ liệu mở dạng json

I H C QU C GIA TP HCM I H C BÁCH KHOA NGUY N H U NHÂN RÚT TRÍCH CÁC THU C TÍNH KHOA H C C A CÁC T P D LI U M D NG JSON Chuyên ngành: H Th ng Thông Tin Qu n Lý Mã s : 8340405 LU N TP H CHÍ MINH, tháng 08 C HOÀN THÀNH T I: I H C BÁCH KHOA -HCM Cán b ng d n khoa h ng Tr n Khánh Cán b ng d n khoa h c: TS Lê H ng Trang Cán b ch m nh n xét 1: PGS.TS Nguy n Tu Cán b ch m nh n xét Lu cb ov t (tr c n) ih Thành ph n H Ch t ch h G Tp HCM m: ng: PGS.TS Tr n Minh Quang ng Nhân GV ph n bi n 1: PGS.TS Nguy n Tu GV ph n bi h Nguyên y viên: PGS.TS Nguy n Thanh Bình Xác nh n c a Ch t ch H ngành sau lu CH T CH H ng Khoa qu n lý chuyên c s a ch a (n u có) NG NG KHOA KHOA H C VÀ K THU T MÁY TÍNH - - NHI M V LU : 8340405 I II III IV 22/02/2021 13/06/2021 V 21 MÁY TÍNH ii L IC Tôi xin chân thành c nt tc m i, th y, cô, anh ch nghiên c u sinh, h c viên cao h c, b n sinh viên nh th c hi tài lu c bi t, xin g i l i c ng Tr n Khánh TS Lê H v i c trình theo h Thành ph H tơi q trính n th ng d n khoa h c c a tôi, PGS.TS tr ng viên, chia s kinh nghi m ih ct ng iii TÓM T T D li u m d li c cung c p r ng rãi m quy n truy c p, tái s d ng phân ph i l i cho phép s tham gia toàn c kho d li bùng n c a thông tin quy nh quan tr ng t ch c ngày d a d li u n d li u tr thành m t lo i tài s n m i Vi c quy a vào d li u n cho nhu c u phân tích d li u tr nên ph bi n Cây li u l n, phân tích d li u gi i thu t h c máy tr thành công c m nh m cung c p nh ng d ch c, sách c n giúp vi c h tr quy nh t c tr vi c có m t gi i thu t h c máy t tích d li u t t k t qu nh t h t ng tính tốn m nh, kh u c a vi c d thu c a d li xác, p d li u tr nên t c l a ch n thu c tính khoa h c, hay thu c tính quan tr c tài bao g m vi c phân tích thu c tính thơng qua khung phân lo i thu c tính, d a vào truy v n tìm ki thu c tính quan tr ng Bên c v th nh c áp d ng lý thuy t thông tin, ki n pháp quan tr ng ho c liên quan l n gi a thu c tính gi a thu d u vào v i thu c tính m c tiêu, k t qu c a mơ hình t nl c thu c tính quan tr ng phù h p nh t Ngo i vi c ng d ng máy h c giúp xây d li u m t cách t qu ng thông qua vi u c a mơ hình t nl t qu c a t p thu c tính v i k t c t p thu c tính t t nh t theo yêu c u iv ABSTRACT Open data is data that is widely available on the network, allowing full rights of access, reuse, and redistribution and allowing global participation to contribute to that data warehouse The explosion of information and critical decisions in increasingly datadriven organizations makes data a new asset class Data-driven decision making makes the need for data analytics popular Big data trident, data analytics and machine learning algorithms become powerful tools to provide accurate predictions that make decision support in organizations, government policies become more accurate more precise and to the point In addition to having an optimal machine learning algorithm, a strong computing infrastructure, and good data analysis capabilities, the output of the prediction depends on the accuracy and completeness of the input data The topic considers methods to make the data set better through the selection of scientific attributes, or important attributes The methods mentioned in the topic include analyzing attributes through attribute classification frameworks, based on search queries to determine which attributes are important Besides, the application of information theory, knowledge of statistics to evaluate the importance or interrelationship between attributes and between input attributes and the target attribute, is the result of machine learning predictive models to select the most suitable important attributes In addition, the application of machine learning helps to build automatic data extraction methods by evaluating the results of the attribute sets with the output results of the model, thereby selecting the set of attributes best on desired v L Tơi, Nguy n H tài lu c tính khoa h c c a t p d li u m d tài c a Tôi xác nh n r ng: - Công vi c th c hi n tồn b ho c ch y trình th - i h c ng h p b t k ph n c a lu b ng c p ho c b t k c n p cho m t ng khác t giáo d c khác, ph - Khi tham kh i h c ho c b t k c trích d n rõ ràng t b n c a nh i khác, ph n c ghi nh n rõ ràng - Trích d n t tác ph m c nh ng trích d - i khác, ngu c cung c p Ngo i tr y, lu c c a riêng Tôi th a nh n t t c ngu n tr giúp Thành ph H Chí H c viên Nguy n H u Nhân vi M CL C NHI M V LU L IC i ii TÓM T T iii ABSTRACT iv L v DANH M C HÌNH viii DANH M C B NG ix M U 1.1 Lý ch tài .1 1.2 M c tiêu 1.3 Gi i h n nghiên c u c tài .2 1.4 K t qu c th 1.5 c ti n .3 T NG QUAN 2.1 Gi i thi u v d li u m 2.2 Gi i thi u v t p d li u 2.3 Thu c tính c a t p d li u c tính c a t p d li u 12 a vào kh o sát tóm t t t p d li u 12 a b l c thu quan tr ng thu c tính 13 14 2.5 JSON 17 2.6 H th ng qu n lý d li u m CKAN 19 U 21 u 21 21 3.3 T p d li u m cho trình nghiên c u, th c nghi m 22 3.4 D li u 22 A CH N THU C TÍNH D NG L C 23 a s 4.2 L a ch n thu a thu c tính 23 25 a ch n thu c tính ANOVA 26 vii a ch n s d 31 a ch n b 4.6 M t s 33 37 n l c thu c tính quan tr ng 37 4.6.2 Phép phân tích thành ph n (Principle Component Analysis CÁC PH PCA) 39 A CH N THU C TÍNH D NG BAO GĨI 39 5.1 Forward Selection 39 5.2 Backward Elimination 41 44 K T LU N 46 TÀI LI U THAM KH O 47 viii DANH M C HÌNH Hình 2-1 Gi i thi u v t p d li u .6 Hình 2-2 Ví d t ch c c a m t t p d li u Hình 2-3 Ví d t p d li u d ng JSON (2006 - 2011 NYS Math Test Results by Grade - Citywide by Race-Ethnicity) Hình 2-4 Phân lo i thu c tính 11 Hình 2-5 Quá trình th c hi c 14 Hình 15 Hình 2d elimination 15 Hình 2a ch n thu c tính d ng bao gói 16 Hình 2-9 Ví d c u trúc JSON 18 Hình 2-10 Ki n trúc c a CKAN 20 Hình 3u c 22 Hình 4-1 K t qu a thu c tính 24 Hình 4-2 K t qu c a ANOVA f test cho thu c tính liên t c 29 Hình 4-3 K t qu c a ANOVA f test cho thu c tính 31 Hình 4-4 K t qu c 33 Hình 4-5 K t qu c 36 Hình 4-6 K t qu c n thu c tính quan tr ng 38 Hình 5-1 K t qu c 40 Hình 5-2 K t qu th nghi m lo i backward elimination 42 Hình 5-3 K t qu l a ch n thu c tính v d n RFE 43 35 n xem xét s phân ph i c a hai thu c tính r i r c (phân lo i ho c th t ), ch ng h u vào phân lo i thu c tính m c tiêu, u phân lo i Tuy nhiên, có th vào d ng s thu u ch s d ng v i thu u u phân lo i c a hai thu c tính l l n hai thu c tính có m i quan h g n li b ng không hai thu c c l p v i s d ng l i t p d li u phân lo ki uc n scikit- gi a thu c tính S d ng l p SelectKBest v m: score_func = mutual_info_classif wine = load_wine() data = pd.DataFrame(data=wine.data, columns = wine['feature_names']) data['target'] = wine.target X = data.drop('target',axis=1) Y = data['target'] X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=0.4, random_state=1) feature_selected = SelectKBest(score_func=mutual_info_classif, k='all') feature_selected.fit(X_train, Y_train) X_train_fs = feature_selected.transform(X_train) X_test_fs = feature_selected.transform(X_test) n code 36 Hình 4-5 K t qu c mc phân bi t, d th c hi n v i thu c tính có nhi u giá tr n vi ng th i, giá tr d h nh 37 4.6 M t s n l c thu c tính quan tr ng n l c thu c tính quan tr ng d a phân tích th hi c thu c tính n k t qu u c t c nh ng thu c tính quan tr ng, h u ích nh t Có nhi u k thu nh thu c tính quan tr i tr s d ng mơ hình b t kh tri n scikit-learn cung c nh thu c tính quan tr ng thơng qua b phân lo i RandomForest s d ng t p d li u phân lo uc n scikit- giá thu c tính quan tr ng wine = load_wine() data = pd.DataFrame(data=wine.data, columns = wine['feature_names']) data['target'] = wine.target X = data.drop('target',axis=1) Y = data['target'] X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=0.4, random_state=1) model = RandomForestClassifier(n_estimators=700, n_jobs=1, random_state=52) model.fit(X_train, Y_train) features = data.drop('target', axis=1).columns importances = model.feature_importances_ indices = np.argsort(importances) n code 38 Hình 4-6 K t qu c n thu c tính quan tr ng K t qu phân tích thu c tính flavanorid, proline, color intensity thu c tính quan tr p d li u 39 M quan tr ng c ng cung c t ng thu tính c a t p d li i phân tích d li u m s cho m cao thu c tính quan tr ng ho c có i v i thu c tính m u Bên c nh b phân lo bên trên, nhi u b phân lo i khác s d ng gi i thu t h c má c hi n th phân lo i Extra Tree Classifier 4.6.2 Phép phân tích thành ph n (Principle Component Analysis PCA m cs d tính t t p d li PCA) trích xu t thu c ày s d ng phân tích nhân t ma tr s chi u c a ma tr n xu ng m t giá tr nh cs d nh gi c c a d li u r t cao lo i b thu m t p d li u v i thu c tính khác thành m t t p d li u v i s làm gi m ng thu c tính mong mu n A CH N THU C TÍNH D NG BAO GĨI 5.1 Forward Selection pb c ch n, nh thu c tính vào t p thu t ch n t qu c a mô hình N u k t qu c a c c i thi n ch n thu th c hi n vòng l p ch u v i t p khơng có thu c p thu c tính t t nh t L n k t qu c c i thi t c n a d ng l i khơng thêm thu c tính vào t p t t nh t n a Ví d p t c s d ng t p d li u d báo giá nhà scikit-learn s d h i quy n tính (linear regression) Boston c hd n c h c b ng 40 from mlxtend.feature_selection import SequentialFeatureSelector from sklearn.linear_model import LinearRegression from matplotlib import pyplot from sklearn.datasets import load_boston import matplotlib.pyplot as plt %matplotlib inline import seaborn as sns import numpy as np import pandas as pd from sklearn.model_selection import train_test_split boston = load_boston() data = pd.DataFrame(data=boston.data, columns = boston['feature_names']) data['target'] = boston.target X = data.drop('target',axis=1) Y = data['target'] X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=0.4, random_state=1) sfs = SequentialFeatureSelector(LinearRegression(), k_features=7, forward=True, floating=False, scoring='r2', cv=0) sfs.fit(X, Y) n code Hình 5-1 K t qu c 41 K t qu c a trình l a ch n l qu n th t thu giá Các thu c thêm vào l t thêm vào thu c tính cho th c ch ms k t thêm vào t p thu t LSTAT, RM, PTRATIO, DIS, NOX, CHAS, B 5.2 Backward Elimination ib d cl iv Nó b u v i t p t t c thu c tính, th c hi hình Ti n hành lo i b t ng thu c t qu u c a mô n k t qu c c i thi n n a d ng l i T p thu c tính l i sau t p thu c tính t t nh t c a t p d li th p t hai Ví d c i thi n hi u su t th c hi n gi m chi phí tính tốn cl boston = load_boston() data = pd.DataFrame(data=boston.data, columns = boston['feature_names']) data['target'] = boston.target X = data.drop('target',axis=1) Y = data['target'] X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=0.4, random_state=1) sfs = SequentialFeatureSelector(LinearRegression(), k_features=13, forward=False, floating=False, scoring='r2', cv=0) sfs.fit(X, Y) n code 42 m c a hàm SequentialFeatureSelector Hình 5-2 K t qu th nghi m lo i backward elimination Ta chuy n qua s d th l i from sklearn.feature_selection import RFE from sklearn.linear_model import LinearRegression import pandas as pd import numpy as np boston = load_boston() data = pd.DataFrame(data=boston.data, columns = boston['feature_names']) data['target'] = boston.target X = data.drop('target',axis=1) Y = data['target'] model = LinearRegression() #Define RFE rfe = RFE(model, 7) #Use RFE to select the top features fit = rfe.fit(X, Y) n code 10 43 Hình 5-3 K t qu l a ch n thu c tính v d n RFE K t qu có chút khác bi t v i ví d c tính B c thay b ng thu c tính RAD mc ct s c th cơng th c hi t ng hóa nên gi m cơng ng th i giúp gi m th i gian th c hi xác, c a mơ hình mc pv n u t p d li p d li t n t i nhi u thu mà n chóng lo i b chúng v chi phí th i gian tính tốn c l n ho c c c l c ta có th nhanh 44 a vào kh o sát tóm t t t p d li u: m: - Nhóm nghiên c c m t framework giúp phân lo i lo i thu c tính: M - liên quan, Kh d ng, Ch ng.[13] Vi c phân lo i thu c tính m c tiêu n cho t p d li u d c tái s d ng tìm ki m - Nhanh chóng tóm t c t p d li u thơng qua thu c tính v m liên quan m: - T p trung vào m c c th , khó áp d ng r ng rãi cho m c khác - S d ng kh o sát t tình nguy n viên am hi u ho c không am hi u v v c quan tâm nên mi n nghiên c u h n ch a ch n thu c tính d ng l c: [19] m: - Có th áp d ng cho t p d li u - Có th áp d ng cho t p d li tính m c khác h c giám sát, có thu c u ra) t p d li u h c khơng giám sát (khơng có thu c tính m c tiêu) - Có th áp d tính có giá tr m x lý nhi u v i, x p h n nhau) m: khác c a t p d li u (lo i b thu c quan tr ng c a thu 45 - M ts i dùng hi u rõ v lo i thu s d - C n có ki n th c v th ng kê lý thuy n m rõ (Pearson, Chi ) - M ts n ph nh thu c tính m c tiêu ph i ti n hành trình h so sánh k t qu u k th p m: - Quá trình th c hi ct ng hóa s d p, tìm ki - xác cao Thích h p d li u dán nhãn m: - T n chi phí tính tốn ch p nh n s d ng vòng l p, chi - Không áp d - Ph i hi u rõ lo i thu c tính lo i d li c vét c n c cho t p d li u không dán nhãn s d pháp.(h i quy hay liên t c) - Không linh ho t M m riêng, c n ph l a ch n p v i hồn c nh s d ng Có th k t h gi i quy t nh ng t ng c a t ng lo i b thu c tính có giá tr gi c, s chi u c a t p d li u k t h p v t c q trình rút trích thu c tính c 46 K T LU N a ch n thu c tính c a t p d li áp d ng cho t p d li u có c u trúc d ng b n ghi, d ng key-value Các nghiên c u ti p theo c n b sung cách k t h p c chi c hi u qu s d ng chúng 47 TÀI LI U THAM KH O [1] https://schema.org/Dataset, Jul 07, 2021 [2] https://opendatahandbook.org/guide/en/what-is-open-data, Jun 14, 2021 [3] L.M Koesten, E Simperl, T Blount, E Kacprzak and J Tennison, International Journal of Human-Computer Studies, vol 135, 2020 [4] D VallejoData in Brief, vol 24, 2019 [5] L.M Koesten, E Kacprzak, J.F.A Tennison and E Simperl, and tribulations of working with structured data: - a study on information Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems ACM, New York, NY, USA, pp 1277 1289, 2017 [6] McDonald, D David, "Natural Language Generation." Handbook of Natural Language Processing 2, pp.121-144, 2010 [7] https://jsonlines.org, Jun 14, 2021 [8] https://www.geeksforgeeks.org/understandingdata-attribute-types-qualitative-and-quantitative, Jan 19, 2021 [9] https://www.w3.org/TR/2013/PR-vocab-dcat-20131217/diff20131105.html, Dec 17, 2013 [10] K.J Cios, W Pedrycz, R.W Swiniarski and L.A Kurgan Springer-Verlag, Berlin, Heidelberg, 2007 48 [11] C.D Manning, P Raghavan and H Schütze, , Cambridge University Press, 2008 [12] D.T Khanh et al., tích h p d li [13] ng framework chuy i d li u cho h th ng , 2020 L.M Koesten, K Gregory, P Groth and E International Journal of Human-Computer Studies, vol 146, 2021 [14] Neural computing and applications, vol 24, pp.175-186, 2014 [15] Data classification: Algorithms and applications, 2014 [16] Feature engineering and selection: A practical approach for predictive models [17] R.J Urbanowicz, M Meeker, W La Cava, R.S Olson, J.H Moore, - Journal of Biomedical Informatics, vol 85, pp 189-203, 2018 [18] 2012 International Conference on Computer Science and Electronics Engineering, vol 2, 2012 [19] C.V Vadlamudi, S.P.D Vadlamudi, V.N Gudivada, C.R Rao Handbook of Statistics, Elsevier, vol 38, pp 53-73, 2018 49 133/36/7 Quang - - Q TRÌNH CƠNG TÁC 2011 2012 -2018: Sinh viên khoa KH KT Máy tính, h Khoa, ... trình rút trích thu c tính khoa h c s tr v k t qu t p thu c tính khoa h i d ng json Hình 3-1 u c 23 A CH N THU C TÍNH D NG L C a s a thu c tính S quan h n tính gi a hai ho c nhi u thu c tính v... ng b ng cách sau: - Không ch a ký t xu ng dòng JSON object s d ng ký t làm d u phân cách - M t ký t u c g i kèm v c dùng làm d u phân cách - Các JSON object khơng có d u phân cách d trích xu... d ng t p d li c rút trích, l a ch ct i c thu Xu t phát t th c ti n nêu trên, vi c nghiên c n thi t a ch n, rút trích thu c tính khoa h c c a t p d li u m d pháp l a ch n thu c tính c a t p d li