Nghiên cứu ứng dụng machine learning trong dự đoán chỉ số giá xây dựng công trình dân dụng tại thành phố hồ chí minh

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC MỞ THÀNH PHỐ HỒ CHÍ MINH ∞0∞ TRẦN VŨ NGHIÊM NGHIÊN CỨU ỨNG DỤNG MACHINE LEARNING TRONG DỰ ĐOÁN CHỈ SỐ GIÁ XÂY DỰNG CƠNG TRÌNH DÂN DỤNG TẠI THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ XÂY DỰNG CƠNG TRÌNH DÂN DỤNG VÀ CƠNG NGHIỆP TP HỒ CHÍ MINH, NĂM 2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC MỞ THÀNH PHỐ HỒ CHÍ MINH ∞0∞ TRẦN VŨ NGHIÊM NGHIÊN CỨU ỨNG DỤNG MACHINE LEARNING TRONG DỰ ĐOÁN CHỈ SỐ GIÁ XÂY DỰNG CƠNG TRÌNH DÂN DỤNG TẠI THÀNH PHỐ HỒ CHÍ MINH Chun ngành: Xây dựng cơng trình dân dụng công nghiệp Mã số chuyên ngành: 60 58 02 08 LUẬN VĂN THẠC SĨ XÂY DỰNG CÔNG TRÌNH DÂN DỤNG VÀ CƠNG NGHIỆP Giảng viên hướng dẫn: TS NGUYỄN THANH PHONG TP HỒ CHÍ MINH, NĂM 2020 TRƯỜNG ĐẠI HỌC MỞ THÀNH PHỐ HỒ CHÍ MINH KHOA ĐÀO TẠO SAU ĐẠI HỌC CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc GIẤY XÁC NHẬN Tôi tên là: TRẦN VŨ NGHIÊM Ngày sinh: 27/07/1991 Nơi sinh: Bình Định Chuyên ngành: Xây dựng dân dụng công nghiệp Mã học viên: 1685802080003 Tơi đồng ý cung cấp tồn văn thơng tin luận văn tốt nghiệp hợp lệ quyền cho Thư viện trường đại học Mở Thành phố Hồ Chí Minh Thư viện trường đại học Mở Thành phố Hồ Chí Minh kết nối tồn văn thơng tin luận văn tốt nghiệp vào hệ thống thông tin khoa học Sở Khoa học Công nghệ Thành phố Hồ Chí Minh Ký tên (Ghi rõ họ tên) d2 ceNG ndn xA ngr cu0 Ncnia vrET NAM D6c lf,p - Tu - Hanh phlic ''f Xrnx CHO PHEP nAo VE LUAN vAN THAC CUA GIANG VINN rrrTdNC DAN si -\ \ J Hsc vi6n thuc hiQn: TP.IN {!1 Nft11.8N Nedy sinh: AU.oX ran cr6 tai: frrry { l.lgg n Noi sinh: &til e'd .hhli& qi^i d ,tq f*6 *N aJ ?{ 4rg Pi nt*.fr1 No chi*- t*ot*rg-,,, N dw ry fffi de *a r\u 'f Uen ctu gi6o vi6n hu6ng adn vC vi6c cho ph6p hec vi6n .IR/N yQ Mg*fEU duoc bAo vQ luQn vdn tru6c H6i d6ng: b.dr, G 1.t+[.+ .q44-"+ Thdnh phii ruA Cnt Urnh, ngdy 4{.thdng ? ndm 20tO Ngudi nh0nx6t 7\7r.Nguyril = {.K*nk Pk^'f LỜI CAM ĐOAN Tôi xin cam đoan Luận văn “ NGHIÊN CỨU ỨNG DỤNG MACHINE LEARNING TRONG DỰ ĐOÁN CHỈ SỐ GIÁ XÂY DỰNG CƠNG TRÌNH DÂN DỤNG TẠI THÀNH PHỐ HỒ CHÍ MINH” đề tài nghiên cứu thật cá nhân tôi, thực dựa sở nghiên cứu lý thuyết tính tốn số liệu hướng dẫn của: TS NGUYỄN THANH PHONG Ngoại trừ tài liệu tham khảo trích dẫn luận văn này, tơi cam đoan tồn phần hay phần nhỏ luận văn chưa công bố sử dụng để nhận cấp nơi khác Khơng có sản phẩm/nghiên cứu người khác sử dụng luận văn mà khơng trích dẫn theo quy định Luận văn chưa nộp để nhận cấp trường đại học sở đào tạo khác TP HCM, ngày……tháng……năm 2020 HỌC VIÊN TRẦN VŨ NGHIÊM LỜI CẢM ƠN Để hoàn thành Luận văn này, cố gắng nỗ lực thân, nhận giúp đỡ từ nhiều từ tập thể cá nhân Tơi xin ghi nhận tỏ lịng biết ơn đến tập thể cá nhân giúp đỡ cách chân thành Tôi xin bày tỏ biết ơn sâu sắc đến Thầy TS NGUYỄN THANH PHONG, Trưởng Bộ Môn Quản lý Dự Án XD, Trường Đại học Mở Thành Phố Hồ Chí Minh Thầy góp ý cho nhiều cách nhận định đắn vấn đề nghiên cứu, cách tiếp cận giải vấn đề nghiên cứu cho hiệu Tơi xin bày tỏ lịng biết ơn thầy cô Khoa Xây dựng Khoa Sau Đại Học, Trường Đại học Mở Thành Phố Hồ Chí Minh tạo điều kiện thuận lợi cho tơi q trình học tập, nghiên cứu Luận văn tốt nghiệp hoàn thành thời gian quy định với nỗ lực thân, nhiên khơng thể khơng có thiếu sót Kính mong Q Thầy/Cô dẫn thêm để bổ sung kiến thức hoàn thiện Xin trân trọng cảm ơn TP.HCM, ngày … tháng … năm 2020 HỌC VIÊN TRẦN VŨ NGHIÊM TÓM TẮT LUẬN VĂN THẠC SĨ NGHIÊN CỨU ỨNG DỤNG MACHINE LEARNING TRONG DỰ ĐOÁN CHỈ SỐ GIÁ XÂY DỰNG CƠNG TRÌNH DÂN DỤNG TẠI THÀNH PHỐ HỒ CHÍ MINH TĨM TẮT: Đề tài nghiên cứu ứng dụng Machine Learning dự đoán số giá xây dựng cơng trình dân dụng cơng trình nghiên cứu yếu tố gây ảnh hưởng đến số giá xây dựng, phương pháp lập bảng câu hỏi khảo sát ý kiến chuyên gia, từ rút yếu tố quan trọng thu thập số liệu yếu tố để làm liệu đầu vào cho mơ hình dự đốn, xây dựng mơ hình ứng dụng Machine Learning, cụ thể Phương pháp KNN (K-Nearest Neighbor), từ sở liệu số giá xây dựng, số kinh tế, tài chính, xã hội… thu thập từ Sở Xây dựng Cục Thống kê TP, dựa vào kết dự đốn liệu sau chạy mơ hình, tiến hành so sánh số giá xây dựng dự đoán với số giá xây dựng thực tế Sở Xây dựng cơng bố tính toán sai số Kết luận kiến nghị độ xác tính ứng dụng mơ hình dự đốn Từ đề xuất cách tính tốn chi phí dự phòng RESEARCH ON THE APPLICATION OF MACHINE LEARNING IN THE PROJECT OF CONSTRUCTION PRICE INDICATOR FOR CIVIL WORKS IN HO CHI MINH CITY ABSTRACT: The research topic of Machine Learning in predicting the price index of civil works is the study of the factors affecting the construction price index, by the methods of preparing questionnaires expert's opinion, from which to draw the most important factors and collect data of these factors to make input data for prediction model, build machine learning application model, namely KNN method (K-Nearest Neighbor), from the database of construction price indexes, economic, financial, social indicators collected from the Department of Construction and the Municipal Statistics Office, based on the results Predict new data after running the model, compare the predicted construction price index with the actual construction price index announced by the Department of Construction and calculate the error Conclusions and recommendations on the accuracy and applicability of the prediction model From there propose a way to calculate contingency costs MỤC LỤC CHƯƠNG : MỞ ĐẦU 1.1 ĐẶT VẤN ĐỀ: 1.2 MỤC TIÊU NGHIÊN CỨU CỦA ĐỀ TÀI: 1.3 CÂU HỎI NGHIÊN CỨU: 1.4 ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU: 10 1.5 Ý NGHĨA KHOA HỌC VÀ THỰC TIỄN 10 Ý nghĩa khoa học 10 Ý nghĩa thực tiễn .10 CHƯƠNG : TỔNG QUAN 12 2.1 CƠ SỞ LÝ THUYẾT VỀ MACHINE LEARNING 12 2.2 CHỈ SỐ GIÁ XÂY DỰNG 15 2.2.1 Khái niệm 15 2.2.2 Phân loại 15 2.2.3 Giải thích số thuật ngữ 16 2.3 PHƯƠNG PHÁP XÁC ĐỊNH CHỈ SỐ GIÁ XÂY DỰNG 17 2.3.1 Xác định số giá xây dựng cơng trình 17 2.3.2 Xác định số theo yếu tố chi phí 18 2.3.3 Xác định số theo cấu chi phí 21 2.4 THU THẬP DỮ LIỆU BẰNG PHƯƠNG PHÁP PHỎNG VẤN 24 2.5 TÌNH HÌNH NGHIÊN CỨU TRONG NƯỚC VÀ THẾ GIỚI 26 2.5.1 Các nghiên cứu nước .26 2.5.2 Các nghiên cứu giới .27 CHƯƠNG 3: PHƯƠNG PHÁP NGHIÊN CỨU 29 3.1 QUY TRÌNH NGHIÊN CỨU 29 3.2 PHƯƠNG PHÁP KHẢO SÁT BẢNG CÂU HỎI 31 3.2.1 Giới thiệu chung 31 3.2.2 Các bước thực 31 3.2.3 Xử lý liệu .33 3.3 THUẬT TOÁN KNN (K-NEAREST NEIGHBOR) 34 3.3.1 Định nghĩa 34 3.3.2 Ý tưởng KNN 35 3.3.3 KNN cho Regression 38 3.3.4 Sai số tồn phương trung bình 39 3.3.5 Ví dụ minh họa 39 CHƯƠNG 4: XÂY DỰNG MƠ HÌNH 44 4.1 XÁC ĐỊNH DỮ LIỆU ĐẦU VÀO 44 4.1.1 Tổng quan yếu tố ảnh hưởng CCI 44 4.1.2 Khảo sát ý kiến chuyên gia chọn yếu tố 44 4.1.3 Chọn yếu tố .45 4.1.4 Sự tương quan biến đầu vào CCI 50 4.2 THỰC THI BÀI TOÁN BẰNG PYTHON 52 4.3 ĐỀ XUẤT CÁCH TÍNH TỐN CHI PHÍ DỰ PHỊNG 70 CHƯƠNG 5: KẾT LUẬN VÀ KIẾN NGHỊ 77 5.1 KẾT LUẬN 77 5.2 HẠN CHẾ 78 5.3 KIẾN NGHỊ 79 TÀI LIỆU THAM KHẢO 80 Publication Exclude quotes On Exclude bibliography On Exclude matches < words TRTIOT{G EAr HQC TITANH rHO M6 CQNG HOA XA HQI CHU NGHIA VIET NAM Ddc lAp - Tu - Hanh phrfic no cni nnrNn xnoa oAo r,lo sLu oa.r ngc Thdnh phii Ui Cni pttnh, ngdy 06 thdng 10 ndm 2020 BITN BAN HoI DoNG CHAM LUAN vAN TIIAC Si cHUytN NGANH xAv D1NG cONc rniNn daN DU{c vA cONG NGHTEr Cin cri Quyrit itinh s6 1953/QE-EHM, ngdy 08 th6ng 09 ndm 2020 Trudng D4i hgc Md Thenh pfrO UO Chi Minh vd viQc thdnh lap HQi d6ng ch6m ct,r- HiQu vi trudng ph6n bi6n lu6n vdn th4c si chuy6n nginh XAy dgng c6ng trinh ddn dpng vd cOng nghiQp, HQi d6ng dE ti6n ,97 Yd Vdn TAn, P.6, Q.3, TP HCM I Hgc vi6n: HQ TEN LUAN VAN tran VU Nghi6n cr?u img {rng Machine Leaming (Hqc m6y) dU iloan chi s6 gi6 xAy Nghi6m GVHD TS NguySn Thanh Phong KHOA 2016 drmg c6ng trinh d6n dpng II Thinh vi0n h6i tliing ch6m: thhnh vi6n - Cht tich HQi tl6ng: PGS TS Nguy6n Trsng Phu6c - Phan biQn 1: TS LC Nguy6n Quiic Khang - Phan biQn 2: TS Dinh C6ng Tinh - uy vlen: PGS.TS Le 86 Vinh - Thu ky: TS.VO Nguy6n Phri HuAn 56 thenhvi6n c6 m[t: .0* t Y: 5ri6 eP o ;t (D> t D), P o9 dL O)d o\ UI O| Fl i :: ;J H'o, .ivo E!5 b^ 0Q+ z o> (D) = d A)) tD, ;+ a- E FD 0a o i-a o $)(\ 0q rc5 a)> (D> o- Ar d Y.> (J, 2t 0a 0e 9l z O) a o o 0q o Ar 'P tr tD, o' ( _ ET ' tli D {, a t C) o P))' F0 !D u./ gDI a fO, EJ o3 i-r A), oa o\ J 0a UJ \] I i o> rro (}) TD 0a \o :J' F-t A) oq l= t? -l -l r-t A) i- 0q PD> H bT U) a)( to(' o>" 0c Ar a- (D>/ TD o *o- 'o)> lJ' d TDI F{ o (+ O+ t0r o (A d o 90> Do !0, oAr 90, d j z o> oa lo> a + (D a Or t iJ (D (D C) () tD)" tD>! \J' CD tD t oq a a, Itl 0q Ai z f) Er A, z t.,i 0e F)( ol o> ar) E D or Ar -l l3s (n o' t, tE's fi, :a: \iS 'Fr '+ = 0a 0q o\ \] oa (/.) oa I v.aD> O)) u ir ql/ ix(J o, rj t! !, 0q t t" z- lB E' o o> ;-' -{(1 7f i\i, ltrlo O loE ll 9+ (,) DD l-.O, lE Itl F-t TD Fr, lr E (D>, : s) \o 13' a + ts1 0q z t.l lEo>' z O) 0a B o o o (1t o o *7 z t0 o -l lEp) z rl a () J 9' oa to" oa > \,, oo u) )i ? t.,l 0a Ar El, BH* (D> o oq E Ov 0q PD p) o o 'o DT Pr r+ z^ o Ft o .tD rl r! 3'u P( Irl la! H O) FD (D> 0q HC) z oe O) -l tst lal' (D 0a I -^; ? \-(" -ri >!r ts' a a (D L o tD>" 0a f) lr>/ o (D ,f F o6 oo E:z I o>, g) C) TD Fl Et (D>/ EI l P5 FO>, o 0a 0q >U o ,_,t J o a Ft b.) p)> (r (J H p F.a o;, (, S't C>6 L 8, A- F {o t] z z $ N