Phương pháp xử lý hiện tượng mô hình quá khớp trong xây dựng mô hình học sâu để ước lượng khả năng chịu tải của giàn phi tuyến

Hiện tượng mô hình quá khớp (overfitting) là một trong những nguyên nhân quan trọng làm giảm hiệu quả của mô hình học sâu, đặc biệt là trong các bài toán có tính phi tuyến cao như bài toán ước lượng khả năng chịu tải của giàn làm bằng kim loại. Bài báo này sẽ trình bày, phân tích và so sánh hiệu quả của một số kỹ thuật thường được áp dụng hiện nay cho việc xử lý hiện tượng mô hình quá khớp bao gồm kỹ thuật dừng sớm (Early Stopping), nhớ mô hình (Model Checkpoint) và kết hợp hai kỹ thuật trên. Một giàn phẳng gồm 39 thanh được sử dụng để minh họa cho nghiên cứu. Tập dữ liệu cho mô hình học sâu được tạo ra từ phân tích phi tuyến giàn có thông số đầu vào là diện tích mặt cắt ngang của các thanh giàn và thông số đầu ra là hệ số khả năng chịu tải (LF). Kết quả nghiên cứu cho thấy phương pháp kết hợp cả hai kỹ thuật dừng sớm và nhớ mô hình đem lại hiệu quả cao nhất về cả góc độ thời gian huấn luyện và độ chính xác của mô hình.

Tạp chí Khoa học Cơng nghệ Xây dựng NUCE 2020 14 (1V): 12–20 PHƯƠNG PHÁP XỬ LÝ HIỆN TƯỢNG MÔ HÌNH Q KHỚP TRONG XÂY DỰNG MƠ HÌNH HỌC SÂU ĐỂ ƯỚC LƯỢNG KHẢ NĂNG CHỊU TẢI CỦA GIÀN PHI TUYẾN Hà Mạnh Hùnga , Trương Việt Hùngb,∗, Đinh Văn Thuậta , Vũ Quang Việtc a Khoa Xây dựng dân dụng Công nghiệp, Trường Đại học Xây dựng, 55 đường Giải Phóng, quận Hai Bà Trưng, Hà Nội, Việt Nam b Khoa Cơng trình, Trường Đại học Thủy Lợi, 175 đường Tây Sơn, quận Đống Đa, Hà Nội, Việt Nam c Khoa Cơng trình, Trường Đại học Hàng Hải Việt Nam, 484 đường Lạch Tray, quận Lê Chân, Hải Phòng, Việt Nam Nhận ngày 13/10/2019, Sửa xong 02/11/2019, Chấp nhận đăng 22/11/2019 Tóm tắt Hiện tượng mơ hình q khớp (overfitting) nguyên nhân quan trọng làm giảm hiệu mơ hình học sâu, đặc biệt tốn có tính phi tuyến cao toán ước lượng khả chịu tải giàn làm kim loại Bài báo trình bày, phân tích so sánh hiệu số kỹ thuật thường áp dụng cho việc xử lý tượng mơ hình q khớp bao gồm kỹ thuật dừng sớm (Early Stopping), nhớ mô hình (Model Checkpoint) kết hợp hai kỹ thuật Một giàn phẳng gồm 39 sử dụng để minh họa cho nghiên cứu Tập liệu cho mô hình học sâu tạo từ phân tích phi tuyến giàn có thơng số đầu vào diện tích mặt cắt ngang giàn thông số đầu hệ số khả chịu tải (LF) Kết nghiên cứu cho thấy phương pháp kết hợp hai kỹ thuật dừng sớm nhớ mơ hình đem lại hiệu cao góc độ thời gian huấn luyện độ xác mơ hình Từ khố: học sâu; trí tuệ nhân tạo, phân tích trực tiếp; kết cấu giàn; máy học METHODS TO SOLVE OVERFITTING OF DEEP LEARNING MODEL FOR ESTIMATING LOADCARRYING CAPACITY OF NONLINEAR TRUSSES Abstract Overfitting is one of the most important problems to reduce the performance of a deep learning model, especially in highly nonlinear problems such as estimation of load-carrying capacity of nonlinear inelastic steel trusses This paper presents common methods to solve overfitting such as Early Stopping, Model Checkpoint, and the combination of both methods A planar steel truss with 39 elements is used to illustrate the study Data for the deep learning model is generated by using an advanced analysis, where the inputs are cross-sectional areas of the truss elements and output is the ultimate load factor of the structure The results show that the combination of Early Stopping and Model Checkpoint provide the best performance regarding both computational efforts and accuracy Keywords: deep learning; artificial intelligent; advanced analysis; truss; machine learning https://doi.org/10.31814/stce.nuce2020-14(1V)-02 c 2020 Trường Đại học Xây dựng (NUCE) Đặt vấn đề Kết cấu giàn sử dụng phổ biến ưu điểm trội loại kết cấu vượt nhịp lớn, phát huy tối đa làm việc vật liệu, hình thức đẹp, nhẹ, linh hoạt phong phú ∗ Tác giả Địa e-mail: truongviethung@tlu.edu.vn (Hùng, T V.) 12 Hùng, H M., cs / Tạp chí Khoa học Cơng nghệ Xây dựng Tương tự loại kết cấu thép khác, tính chất phi tuyến hình học phi tuyến vật liệu cần xét đến phân tích hệ giàn thép nhằm mơ tả xác ứng xử cơng trình Để xét đến tính phi tuyến kết cấu, phương pháp thiết kế truyền thống xây dựng dựa hai bước là: (i) xác định nội lực cấu kiện hệ kết cấu sử dụng phân tích tuyến tính đàn hồi (ii) phân tích, đánh giá thiết kế cho cấu kiện riêng lẻ cơng trình có xét đến ảnh hưởng phi tuyến công thức thiết kế cung cấp tiêu chuẩn hành AISC LRFD [1], Eurocode [2], Rõ ràng, cách tiếp cận không mô tả cách trực tiếp ứng xử phi tuyến hệ kết cấu, đồng thời việc thiết kế riêng lẻ cho cấu kiện không đảm bảo tương thích chúng với hệ kết cấu Vì thế, phương pháp thiết kế đơn giản cho kết thiết kế chấp nhận được, chúng dần thay phương pháp phân tích trực tiếp cho phép xét đến phi tuyến hình học phi tuyến vật liệu cơng trình [3–9] Một nhược điểm quan trọng phương pháp phân tích trực tiếp thời gian tính lâu, đặc biệt tốn đòi hỏi số lần phân tích kết cấu lớn tốn tối ưu, tính độ tin cậy cơng trình, Để khắc phục vấn đề này, hướng tiếp cận hay thu hút quan tâm, nghiên cứu nhiều học giả sử dụng thuật toán máy học (Machine Learning - ML) Một số nghiên cứu bật việc ứng dụng thuật tốn ML kể đến như: Zhang cs [10], Breiman [11], Friedman [12], Safavian Landgrede [13], Worden Lane [14], Thuật toán học sâu (Deep Learning - DL) sử dụng mơ hình mạng nơ-ron nhân tạo (Artificial Neural Network - ANN) thuật toán ML Thuật tốn DL áp dụng thành cơng nhiều lĩnh vực thiết kế cơng trình như: phát hư hỏng [15], quan trắc cơng trình [16], Các mơ hình DL dựa mạng ANN tổ chức hệ thống lớp đại diện khác (layer) liên kết đơn giản phi tuyến với nhiều nơ-ron lớp Các lớp sau có độ phức tạp cao lớp trước Thông qua hệ thống lớp đại diện, thông tin quan trọng liệu đầu vào khuếch đại thông tin quan trọng thông tin nhiễu giảm dần loại trừ khỏi hệ thống Với hệ thống tổ chức phức tạp linh hoạt vậy, mơ hình DL có khả xử lý liệu có độ phức tạp cao nhiều chiều Mặc dù việc xây dựng mơ hình DL đơn giản khơng đòi hỏi kỹ thuật cao người sử dụng, việc khảo sát đánh giá tác động tham số mơ hình DL tốn cụ thể quan trọng Đối với toán ước lượng khả chịu tải kết cấu giàn phi tuyến, Hung cs [17] gần tiến hành xây dựng mơ hình DL phân tích đánh giá ảnh hưởng tham số mơ hình Nhiều kết đưa ra, nhiên tác giả chưa xem xét đến vấn đề mơ hình q khớp (overfitting) nghiên cứu Điều khiến cho mơ hình xây dựng chưa hồn thiện có nhiều hạn chế áp dụng vào thực tế Mơ hình q khớp việc mơ hình thu sau huấn luyện có tượng đạt hiệu tốt với tập liệu huấn luyện hiệu lại không cao tập liệu Nguyên nhân tượng giải thích sau Các mơ hình học sâu mạnh mẽ việc ước lượng đặc tính liệu Khi số vòng huấn luyện (epochs) lớn mơ hình ước lượng đặc tính liệu có độ xác cao Tuy nhiên, lúc xảy tượng mơ hình ước lượng đặc tính tổng quát cá thể tập liệu huấn luyện Nghĩa là, mơ hình xây dựng chưa tổng quát với toàn tập liệu mà mang nhiều đặc tính cá thể tập huấn luyện Phân tích cho thấy tượng mơ hình q khớp thường liên quan trực tiếp đến số lượng vòng huấn luyện sử dụng Khi số lượng vòng huấn luyện q lớn, mơ hình khớp với tập huấn luyện nên giảm tính tổng qt mơ hình dẫn đến hiệu mơ hình giảm Bài báo tập trung phân tích phương pháp xử lý tượng mơ hình q khớp cho tốn xây dựng mơ hình DL để ước lượng khả chịu tải giàn phi tuyến Một giàn phẳng gồm 13 Hùng, H M., cs / Tạp chí Khoa học Cơng nghệ Xây dựng 39 sử dụng để minh họa cho nghiên cứu Đầu tiên, phân tích trực tiếp sử dụng để ước lượng ứng xử phi tuyến kết cấu Sau đó, tập liệu sử dụng cho mơ hình DL xây dựng từ kết thu việc sử dụng phân tích trực tiếp Thơng số đầu vào mơ hình diện tích mặt cắt ngang phần tử giàn thông số đầu hệ số khả chịu tải (LF) LF tỉ số khả chịu tải lớn hệ kết cấu chia cho hiệu ứng tải trọng Các thông số mô hình lựa chọn dựa khuyến nghị đưa Hung cs [17] Dựa mơ hình DL trên, [17] kỹ thuật lýhình hiệnDL tượng khớp xem xét so sánh Dựa trênxử mơ trên,mơ cáchình kỹ thuật xử lýđược tượng mơvàhình q khớp xem xét so sánh Sơ đồ giàn phẳng 39 tượng khớp Sơ đồ giàn phẳng 39 tượng khớp Hình thép phẳng phẳng gồm gồm39 39thanh Hình 1 Giàn Giàn thép Trong báo này, giàn phẳng có 39 Hình sử dụng với nhịp Trong báo này, giàn phẳng có 39 Hình sử dụng với nhịp m chiều 3Diện (m) tích chiều cao (m) Diện giàn tích tiết diện củalà3939thanh 39 biếngiá trị tùy cao m tiết diện 39 xem biến giàn thiếtđược kế vàxem nhận 2 ý khoảng mm giá đếntrị11290,3 mmkhoảng Vật liệu nhơm có mơ đun hồiliệu 68950 thiết kếtừvà645,16 nhận tùy ý từ 645,16 đến 11290,3 (mmđàn ) Vật MPa cường độ chảy 172,375 MPa Tải trọng tác dụng theo phương ngang giàn nhơm có mô đun đàn hồi 68950 (MPa) cường độ chảy 172,375 (MPa).được qui đổi tải trọng tập trung tất nút có giá trị 136 kN Tải trọng thẳng đứng Tải trọng tác dụng theo phương ngang giàn qui đổi tải trọng tập trung qui đổi tải trọng tập trung nút có giá trị 170 kN tác dụng theo chiều từ xuống Tải có giábỏ trị qua Biến 136 (kN) Tảicủa trọng đổichịu tải trọng bảntấtthân củanút giàn đầu mơthẳng hình đứng là hệ sốđược khả qui tải kết cấu (LF).trọng Hệ sốtậpLF đượctạitính cơng thức trung nút dựa cótheo giá trị 170sau: (kN) tác dụng theo chiều từ xuống Tải trọng thân giàn bỏ qua Biến đầuRra mơ hình là hệ số khả chịu LF = S công thức sau: tải kết cấu (LF) Hệ số LF tính dựa theo (1) R R S tương ứng khả năngLFchịu (1)được xác = tải cơng trình tác dụng tải trọng LF S định phần mềm phân tích phi tuyến kết cấu PAAP [18] 14 R S tương ứng khả chịu tải cơng trình tác dụng tải trọng LF xác định phần mềm phân tích phi tuyến kết cấu PAAP [18-20] Để phục vụ cho nghiên cứu này, 50000 liệu tạo có biểu đồ phân bố Hùng, H M., cs / Tạp chí Khoa học Cơng nghệ Xây dựng xác suất Hình Hình cho thấy LF 50000 liệu phần lớn tập Đểtrung phụctrong vụ cho nghiên với liệutrên có liệu biểucó đồgiá phân bố xác suất khoảng giácứu trị này, từ 0.650000 đến 1.8 99%.tạo Tỉ lệ trị LF bé Hình Hình cho thấy LF 50000 liệu phần lớn tập trung khoảng giá trị từ chiếm 26.9% nghĩa xác suất cơng trình bị hư hỏng cho liệu tùy biến 0,6 đến 1,8 với 99% Tỉ lệ liệu có giá trị LF bé chiếm 26,9% nghĩa xác suất cơng trình 26.9% bị hư hỏng cho liệu tùy biến 26,9% Hình Biểuđồ đồxác xácsuất suất của LF 50000 liệu Hình 2 Biểu LFcủa củagiàn giànvớivới 50000 liệu DL mạng dựa mạng đượcsử xây dựng sử ngữ dụng lập trình Mơ hìnhMơ DLhình dựa ANN đượcANN xây dựng dụng ngơn lậpngơn trình ngữ Python thư viện Keras Python dựa kết nghiên cứu trình bày tài liệu [17] với thơng số thư viện Keras dựa kết nghiên cứu trình bày tài liệu sau Mơ hình lựa chọn mơ hình học có giám sát liệu có thơng số đầu xác 39 biến [17] với thơng số sau Mơ hình lựa chọn mơ hình học có giám sát thiết kế mơ hình thành 39 biến đầu vào (input) mơ hình DL Nhằm tăng hiệu hội có thơng sốđầu đầuvào xác 39 thiết mơ từ hình thành 39 cách tụ mơliệu hìnhđãDL, biến chuẩn hóabiến để giá trịkế nằm đoạn đến chia cho giáđầu trị vào 11290,3 mm Lớp DL gồmNhằm nút tăng tươnghiệu ứngquả vớihội giá tụ trịcủa LF.mơ Số hình lượngDL, lớpcác ẩn biến (input) mơđầu hình chọn lớp với số nút lớp 64-128-64 đảm bảo nằm khoảng giá trị từ đến lần số biến đầu vàokhuyến chuẩn hóa để nằmNhư đến mô chia cho biến đầu vào nghị tài giá liệutrị[17] vậy,đoạn cấu từ trúc hìnhcách 39-64-128-64-1 giá trị 11290,3 (mm2) Lớp đầu sử gồm nút tương ứng với giádotrịưuLF Số hội lượng lớp ẩnvà kết Hàm kích hoạt (activation function) dụng hàm LeakyReLU điểm tụ nhanh tốt Tỉ lệ học (learning rate) lấy 0,01 kích thước batch size 128 chọn lớp với số nút lớp 64-128-64 đảm bảo nằm khoảng giáThuật toán tối ưu Adam sử dụng cho trình huấn luyện khả mạnh mẽ thuật toán trịqua từ 1các đếnđiểm lầntối số ưu biến đầu khuyến liệutối [17] để vượt cục bộvào để đạt đến điểm nghị tối ưutrong nhất.tàiHàm ưuNhư đượcvậy, lựa cấu chọntrúc cho trình huấn luyện hàm ước lượng trung bình bình phương (mean square error MSE) Chi tiết mơ hình 39-64-128-64-1 Hàm kích hoạt (activation function) sử dụng việc xây dựng mơ hình tham khảo tài liệu [17] hàm LeakyReLU ưu điểm hội tụ nhanh kết tốt Tỉ lệ học (learning Hình mơ tả MSE mơ hình qua lần lặp với số liệu cho tập huấn luyện tập kiểm tra lấy vàtakích thước size 128 Thuật tốn tốimơ ưu hình Adam làrate) 5000 Từ Hình 3(a)0.01 chúng thấybatch số vòng lặp (Epochs) tăng, thuđược cho sai số sử đốidụng với tập luyện giảm,do tứckhả độ xácmẽ củacủa mơthuật hìnhtốn cho việcđể ước lượng chohuấn luyện trình huấn mạnh vượt quađầu liệu tập huấn luyện tăng lên Tuy nhiên, Hình 3(b) lại cho thấy Epochs lớn (trong trường hợp Epochs > 1.000) MSE mơ hình thu tập kiểm tra lại giảm dần Điều có nghĩa độ xác mơ hình việc ước lượng liệu không sử dụng tập huấn luyện lại bị giảm Nguyên nhân tượng Epochs lớn, mơ hình thu phản ánh tốt đặc tính tập huấn luyện bao gồm đặc tính mang tính cá thể, cục Điều dẫn đến khả dự đốn đặc tính chung tồn liệu mơ hình bị giảm, kết sai số mơ hình dự đốn liệu tăng lên Vấn đề gọi tượng mơ hình q khớp (overfitting) Các phương pháp dùng để xử lý vấn đề trình bày phần 15 toàn bị giảm, kết saicủa số mơ hình mơ hình khiđốn dự đốn củacủa tồn bộ dữ liệuliệu củacủa mơmơ hìnhhình bị giảm, kết sailàsố dự tăng tượng mơ hình q khớp cáccác dữdữ liệuliệu mớimới tăng lên.lên VấnVấn đề đề nàynày gọi gọi tượng mơ hình q khớp (overfitting) phương pháp dùng để lý xửvấn lý vấn đề bày (overfitting) CácCác phương pháp dùng để xử đề trìnhtrình bày các phần theo phần tiếptiếp theo Hùng, H M., cs / Tạp chí Khoa học Cơng nghệ Xây dựng (a) Đối với tập huấn luyện (b) Đối với tập kiểm tra (a) ĐốiĐối vớivới tậptập huấn luyện (b) Đối với tập tra tra (a) huấn luyện (b) Đối vớikiểm tập kiểm Hình 3.Hình MSE mơ hình quaqua lần lặp với dữliệu liệu tập huấn luyện tập kiểm tra làtra MSE củamơ mơ hình hình lầnlần lặp lặp với huấn luyện tập kiểm tra 5000 Hình MSE qua với dữtậpliệu tập huấn luyện tập kiểm 5000 5000 Các kỹ thuật xử lý tượng mơ hình khớp 3 Các kỹkỹ thuật xử xử lý tượng mơ mơ hình qq khớp Các thuật lý tượng hình khớp Để xử lý tượng mơ hình q khớp có nhiều kỹ thuật áp dụng là: kỹ thuật Để quyxử hóalý(regularization), thuật tắtkhớp ngẫu có nhiên số nút hìnhđược (dropout), kỹ thuật tượng mơkỹ hình q khámột nhiều kỹ thuật mơ áp dụng lý tượng mơ khớpnày cóthường nhiều kỹ người thuật dùng có thểcóđược áp dụng kiểm tra Để chéoxử(cross-validation), hình Các kỹ thuật đòi hỏi tảng là: kỹ thuật quy hóa (regularization), kỹ thuật tắt ngẫu nhiên số nút kiến thức việcchính lập vàquy xây hóa dựng(regularization), mơ hình DL kỹ Xétthuật tắt gócngẫu độ giúp cho ngườisốsửnút dụng có là:sâu kỹ thuật nhiên thể dễ hiểu nhanh chóng áp dụng cơng việc nghiên cứu mình, phạm vi báo chúng tơi tập trung giới thiệu hai thuật tốn có tính hiệu cao lại dễ hiểu kỹ thuật dừng sớm (Early Stopping - ES) kỹ thuật nhớ mơ hình (Model Checkpoint - MC) 3.1 Kỹ thuật dừng sớm (Early Stopping) Dựa vào Hình thấy rằng, Epochs lớn dẫn đến độ xác mơ hình tập kiểm tra bị giảm Như vậy, cách đơn giản để xử lý vấn đề cần tìm thời điểm thích hợp để dừng việc huấn luyện lại để đảm bảo mơ hình thu cho sai số tập kiểm tra nhỏ Kỹ thuật gọi kỹ thuật dừng sớm (Early Stopping - ES) Để thực kỹ thuật ES, liệu cần chia thành tập khác tập huấn luyện, tập kiểm định (validation set) tập kiểm tra Trong trình huấn luyện, độ xác mơ hình thu liên tục đánh giá dựa tập kiểm định nhằm tìm thời điểm dừng hợp lý Tính hiệu mơ hình thu đánh giá tập kiểm tra Kỹ thuật ES thực cách sử dụng hàm EarlyStopping thư viện Keras Dạng đơn giản hàm EarlyStopping sau: es1 = EarlyStopping(monitor=‘val_loss’, mode=‘min’) (2) es1 tên hàm người dùng định nghĩa để sử dụng hàm EarlyStopping; đối số monitor dùng để số muốn theo dõi trình huấn luyện để kết thúc sớm việc huấn luyện; val_loss sử dụng nghĩa số muốn theo dõi MSE tập kiểm định; đối số mode dùng để mục tiêu theo dõi thường dùng với hai trường hợp max tương ứng với giá trị nhỏ giá trị lớn MSE tập kiểm định Trong trường hợp nghiên cứu báo, hàm tối ưu MSE nên ta sử dụng số Khi sử dụng lệnh EarlyStopping này, chương trình huấn luyện dừng lại vòng lặp có giá trị MSE tập kiểm định lớn giá trị tương ứng vòng lặp liền trước 16 Hùng, H M., cs / Tạp chí Khoa học Cơng nghệ Xây dựng Việc chương trình dừng lại giá trị MSE tập kiểm định tăng thông thường khơng phải mơ hình tốt thời điểm mơ hình rơi vào khu vực hội tụ cục vượt qua khu vực mơ hình cải thiện tốt nhiều Do vậy, phần lớn trường hợp nên chờ đợi theo dõi thêm số vòng lặp Nếu sau thời gian đó, mơ hình khơng cải thiện chương trình dừng lại Trong trường hợp này, công thức lệnh (2) thêm đối số patience có dạng sau: es2 = EarlyStopping(monitor=‘val_loss’, mode=‘min’, patience = 50) (3) 50 có nghĩa q trình huấn luyện đợi thêm 50 vòng lặp nữa, 50 vòng lặp mà mơ hình khơng cải thiện chương trình huấn luyện thức dừng lại Số vòng lặp lựa chọn phụ thuộc vào mơ hình xây dựng đặc điểm vấn đề nghiên cứu Có thể nhận thấy rằng, việc sử dụng đối số patience gặp phải số vấn đề làm giảm hiệu thuật toán Thứ nhất, số lượng vòng lặp dùng cho đối số patience phụ thuộc nhiều vào kinh nghiệm người sử dụng Thứ hai, sau số lượng vòng lặp mơ hình thu lúc khơng tốt mơ hình tương ứng với thời điểm giá trị MSE tập kiểm định tăng lên Để tránh vấn đề này, phương pháp khác áp dụng thơng qua kỹ thuật nhớ mơ hình (Model Checkpoint - MC) trình bày sau 3.2 Kỹ thuật nhớ mơ hình Kỹ thuật MC xuất phát từ nguyên tắc đơn giản sau: sau kết thúc bước lặp mơ hình tìm ghi nhớ lại bước lặp mơ hình tìm tốt mơ hình trước mơ hình ghi lại thay cho mơ hình cũ Trong nghiên cứu này, mơ hình đánh giá tốt mơ hình cũ giá trị MSE tập kiểm định tính theo mơ hình nhỏ giá trị tính theo mơ hình cũ Rõ ràng, với ngun tắc mơ hình ghi nhớ cuối mơ hình có giá trị MSE tập kiểm định nhỏ xem mơ hình tốt thu Kỹ thuật MC thực thơng qua việc sử dụng lệnh ModelCheckpoint có thư viện Keras với cấu trúc sau: es3 = ModelCheckpoint(‘model_best.h5’, monitor=‘val_loss’, mode=‘min’, save_best_only=True) (4) es3 tên hàm người dùng định nghĩa để sử dụng hàm ModelCheckpoint; model_best.h5 tên tệp mà mơ hình tìm được ghi lại; save_best_only=True câu lệnh điều khiển mơ hình tốt tìm được ghi nhớ ghi đè lên mơ hình tìm trước đối số khác tương tự (3) So với kỹ thuật ES, kỹ thuật MC rõ ràng đảm bảo mơ hình tìm mơ hình tốt nhất, nhiên số lần lặp kỹ thuật lại lớn nhiều dẫn đến thời gian huấn luyện dài Điều trở thành vấn đề nghiêm trọng mơ hình lớn mà thời gian huấn luyện dài Để khắc phục điều này, kết hợp hai kỹ thuật ES MC ES đóng vai trò dừng chương trình huấn luyện lại mà mơ hình khơng có tiến đáng kể MC đóng vai trò ghi nhớ lại mơ hình tốt tìm trước chương trình huấn luyện dừng lại Rõ ràng, kết hợp phát huy mạnh khắc phục nhược điểm sử dụng riêng kỹ thuật ES MC Kết huấn luyện kỹ thuật Trong phần xem xét cụ thể hiệu kỹ thuật đề cập đến toán giàn phẳng 39 Số liệu tập huấn luyện, tập kiểm định tập kiểm tra 17 Hùng, H M., cs / Tạp chí Khoa học Cơng nghệ Xây dựng 5000, 2000 2000 với điều kiện đảm bảo trùng lặp liệu tập Mơ hình huấn luyện lấy trình bày phần Số vòng lặp lấy 5000 Năm kỹ thuật nghiên cứu học sâu thông thường DL tức số vòng lặp chạy đến giá trị định trước (5000); kỹ thuật ES thông thường tức chương trình huấn luyện dừng MSE tập kiểm định bị giảm; kỹ thuật ES có patience = 500 (ES500); kỹ thuật MC thông thường tức chương trình huấn luyện chạy đến hết 5000 vòng lặp mơ hình tốt lưu lại q trình đó; kết hợp kỹ thuật MC ES với patience = 500 (MC+ES500) Bảng Kết huấn luyện kỹ thuật khác MSE mô hình DL ES ES500 MC MC+ES500 Đối với tập huấn luyện Nhỏ Lớn Trung bình Độ lệch chuẩn 1,17E-04 2,09E-04 1,57E-04 3,34E-05 6,30E-03 8,61E-03 7,60E-03 7,36E-04 8,55E-04 1,06E-03 9,59E-04 7,46E-05 1,37E-03 1,84E-03 1,68E-03 1,89E-04 1,41E-03 1,85E-03 1,66E-03 1,83E-04 Đối với tập kiểm định Nhỏ Lớn Trung bình Độ lệch chuẩn 3,79E-03 4,43E-03 4,02E-03 2,57E-04 5,79E-03 8,25E-03 7,25E-03 8,32E-04 2,84E-03 4,14E-03 3,34E-03 5,23E-04 2,27E-03 3,01E-03 2,57E-03 2,71E-04 2,41E-03 2,98E-03 2,69E-03 2,49E-04 Đối với tập kiểm tra Nhỏ Lớn Trung bình Độ lệch chuẩn 4,10E-03 4,76E-03 4,60E-03 1,89E-03 5,98E-03 7,69E-03 7,16E-03 5,74E-04 2,78E-03 4,38E-03 3,45E-03 1,51E-03 2,58E-03 3,01E-03 2,80E-03 1,16E-03 2,65E-03 3,06E-03 2,84E-03 1,17E-03 5000 20 1440 5000 1481 Số vòng lặp trung bình Kết tổng hợp trình bày Bảng 1, kỹ thuật chạy độc lập 20 lần khác Dựa vào Bảng ta thấy số lần lặp DL MC 5000 lớn nhiều so với ES500 MC+ES500 (trung bình khoảng 1400 lần lặp) Số lần lặp trung bình ES 20, nhỏ nhiều so với kỹ thuật khác điều kiện dừng chương trình huấn luyện mơ hình MSE tập kiểm định vòng lặp lớn vòng lặp Tiếp theo đánh giá việc dừng chương trình huấn luyện kỹ thuật ảnh hưởng đến kết huấn luyện Trong Bảng cho thấy số vòng lặp lên đến 5000 mơ hình huấn luyện thu việc sử dụng DL có kết MSE trung bình so với tập huấn luyện 1,57E-04, nhỏ nhiều so với kết kỹ thuật khác: 7,60E-03, 9,59E-04, 1,68E-03 1,66E-03 tương ứng với ES, ES500, MC MC+ES500 Tuy nhiên, MSE mơ hình thu sử dụng DL tập kiểm tra 4,60E-03, không tốt kết thu sử dụng ES500, MC MC+ES500 với giá trị tương ứng 3,45E-03, 2,80E-03 2,84E-03 Điều tượng mơ hình q khớp xảy trình huấn luyện sử dụng DL Tuy nhiên, kết thu sử dụng DL lại tốt sử dụng ES với MSE trung bình tập kiểm tra 7,16E-03 Như ta thấy kỹ thuật ES khiến cho chương trình huấn luyện dừng q sớm nên mơ hình thu cho kết tập huấn luyện tập kiểm tra không tốt So sánh kỹ thuật ES500, MC MC+ES500 ta thấy MC MC+ES500 cho giá trị MSE mơ hình tốt ES500 Nguyên nhân vấn đề mơ hình huấn luyện thu từ kỹ thuật MC MC+ES500 mơ hình tốt mà ta tìm tất 18 mơ hình tốt 500 Bên cạnh đó, mơ hình MC+ES500 sử dụng số vòng lặp trung bình 1481, nhỏ nhiều so với số vòng lặp 5000 MC Như vậy, kết luận kỹ thuật MC+ES500 cho kết mô hình tìm tốt Để mơ Hùng, H M., cs / Tạp chí Khoa học Cơng nghệ Xây dựng tả rõ thời điểm thu mơ hình huấn luyện kỹ thuật, lần huấn bước khithực kỹ thuật chỉthể tìmhiện mơ hình huấn tương ứng thời điểm luyệnlặp, tùytrong ý kết ES500 Hình luyện Dựa vào Hình 4, với vòng lặp cách vị trí vòng lặp mơ hình tốt 500 Bên cạnh đó, mơ hình MC+ES500 sử thấy kỹ thuật ES khiến mơ hình dừng sớm MSE tập huấn luyện dụng số vòng lặp trung bình 1481, nhỏ nhiều so với số vòng lặp 5000 MC Như vậy, có tập kiểm MC+ES500 lớn Đối với kỹcho thuật mơ tìm hìnhđược thu thời điểm thể kết luận định kỹ thuật kếtES500, mơdohình tốt Để mô tả rõ thời điểm thu mơ hình huấn luyện kỹ thuật, lần huấn luyện tùy ý thực sau mơ hình tốt 500 vòng lặp nên kết MSE tập kiểm định lớn so kết thể Hình Dựa vào Hình 4, thấy kỹ thuật ES khiến mơ hình dừng với sử dụng kỹ thuật MC MC+ES500 Kỹ thuật DL có mơ hình huấn luyện thu sớm MSE tập huấn luyện tập kiểm định lớn Đối với kỹ thuật ES500, mơ điểm số vòng lặphình 5000 nên 500 có MSE tập huấn luyện đối nhỏvới hình thuđược đượctại thời thời điểm sau mơ tốt vòng lặp nên kết MSE tập kiểm định lớnnhưng soMSE với thuật MC+ES500 Kỹvới thuật hình huấn luyện thu củasử tậpdụng kiểmkỹđịnh lạiMC lớn nhiều so kết DL quảcó củamơ ES500, MC thời điểm số vòng lặp 5000 nên có MSE tập huấn luyện nhỏ MSE MC+ES500 Kỹ thuật MC MC+ES500 tìm mơ hình huấn luyện có giá trị MSE tập kiểm định lại lớn nhiều so với kết ES500, MC MC+ES500 Kỹ thuật MC với tập bé huấn luyện có giá trị MSE với tập kiểm định bé MC+ES500 tìmkiểm đượcđịnh mơ hình Hình Thời điểm thu mơ hình huấn luyện kỹ thuật Hình Thời điểm thu mơ hình huấn luyện kỹ thuật Kết luận Kết luận Trong báo này, tượng mơ hình q khớp trình bày cho tốn xâybài dựng sâumơ để hình ước lượng khảđã chịu tảibày củacho giànbài phitốn tuyến Trong báo mơ này,hình hiệnhọc tượng q khớp trình xây Các dựngkỹmơ hình học sâu để ước lượng khả chịu tải giàn phi tuyến Các kỹ thuật xử lý mơ hình q khớp bao gồm dừng sớm (ES), nhớ mơ hình (MC) kết hợp kỹ thuật (MC+ES) trình bày đánh giá hiệu Một giàn phẳng gồm 39 sử dụng để minh họa cho nghiên cứu với tập liệu có thơng số đầu vào diện tích mặt cắt ngang giàn thơng số đầu hệ số khả chịu tải (LF) Kết nghiên cứu cho thấy rằng, xét góc độ thời gian huấn luyện ES khơng sử dụng vòng lặp trễ có thời gian huấn luyện ngắn nhất, DL MC có thời gian huấn luyện dài Xét góc độ độ xác mơ hình, kỹ thuật MC MC+ES với ES sử dụng kỹ thuật vòng lặp trễ cho kết tốt mơ hình huấn luyện tìm mơ hình tốt trong tất vòng lặp Từ kết nghiên cứu trên, kỹ thuật MC+ES có sử dụng vòng lặp trễ khuyến nghị áp dụng để xử lý tượng mơ hình q khớp q trình xây dựng mơ hình học sâu 19 Hùng, H M., cs / Tạp chí Khoa học Công nghệ Xây dựng Tài liệu tham khảo [1] AISC-LRFD (1999) Manual of steel construction – load and resistance factor design Chicago (IL): American Institute of Steel Construction [2] EN 1993-1-1 (2005) Eurocode 3: Design of steel structures – part 1-1: general rules and rules for building Brussels: European Committee for Standardization [3] Truong, V.-H., Kim, S.-E (2018) A robust method for optimization of semi-rigid steel frames subject to seismic loading Journal of Constructional Steel Research, 145:184–195 [4] Truong, V.-H., Kim, S.-E (2018) Reliability-based design optimization of nonlinear inelastic trusses using improved differential evolution algorithm Advances in Engineering Software, 121:59–74 [5] Ha, M.-H., Vu, Q.-A., Truong, V.-H (2018) Optimum design of stay cables of steel cable-stayed bridges using nonlinear inelastic analysis and genetic algorithm Structures, Elsevier, 16:288–302 [6] Truong, V H., Kim, S.-E (2017) An efficient method for reliability-based design optimization of nonlinear inelastic steel space frames Structural and Multidisciplinary Optimization, 56(2):331–351 [7] Truong, V.-H., Kim, S.-E (2017) An efficient method of system reliability analysis of steel cable-stayed bridges Advances in Engineering Software, 114:295–311 [8] Truong, V.-H., Nguyen, P.-C., Kim, S.-E (2017) An efficient method for optimizing space steel frames with semi-rigid joints using practical advanced analysis and the micro-genetic algorithm Journal of Constructional Steel Research, 128:416–427 [9] Vu, Q.-V., Truong, V.-H., Papazafeiropoulos, G., Graciano, C., Kim, S.-E (2019) Bend-buckling strength of steel plates with multiple longitudinal stiffeners Journal of Constructional Steel Research, 158:41–52 [10] Zhang, Y., Hu, S., Wu, J., Zhang, Y., Chen, L (2014) Multi-objective optimization of double suction centrifugal pump using Kriging metamodels Advances in Engineering Software, 74:16–26 [11] Breiman, L (2001) Random forests Machine Learning, 45(1):5–32 [12] Friedman, J H (2002) Stochastic gradient boosting Computational Statistics & Data Analysis, 38(4): 367–378 [13] Safavian, S R., Landgrebe, D (1991) A survey of decision tree classifier methodology IEEE transactions on systems, man, and cybernetics, 21(3):660–674 [14] Worden, K., Lane, A J (2001) Damage identification using support vector machines Smart Materials and Structures, 10(3):540 [15] Ha, M.-H., Vu, Q.-V., Truong, V.-H (2020) A Deep Learning-Based Procedure for Safety Evaluation of Steel Frames Using Advanced Analysis CIGOS 2019, Innovation for Sustainable Infrastructure, Springer, 1137–1142 [16] Worden, K., Manson, G (2006) The application of machine learning to structural health monitoring Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences, 365(1851):515–537 [17] Hung, T V., Viet, V Q., Thuat, D V (2019) A deep learning-based procedure for estimation of ultimate load carrying of steel trusses using advanced analysis Journal of Science and Technology in Civil Engineering (STCE)-NUCE, 13(3):113–123 [18] Thai, H.-T., Kim, S.-E (2011) Nonlinear inelastic analysis of space frames Journal of Constructional Steel Research, 67(4):585–592 20 ... hình ước lượng khả ã chịu tảibày củacho giànbài phitốn tuyến Trong báo mơ này ,hình hiệnhọc tượng q khớp trình xây Các dựngkỹmơ hình học sâu để ước lượng khả chịu tải giàn phi tuyến Các kỹ thuật xử. .. thuật xử lý tượng mơ hình q khớp 3 Các kỹkỹ thuật xử xử lý tượng mô mô hình qu quá khớp Các thuật lý tượng hình khớp Để xử lý tượng mơ hình q khớp có nhiều kỹ thuật áp dụng là: kỹ thuật Để quyxử... phương pháp xử lý tượng mơ hình q khớp cho tốn xây dựng mơ hình DL để ước lượng khả chịu tải giàn phi tuyến Một giàn phẳng gồm 13 Hùng, H M., cs / Tạp chí Khoa học Cơng nghệ Xây dựng 39 sử dụng để