Ứng dụng thuật toán học máy LightGBM cho bài toán hồi quy ước lượng khả năng chịu tải của giàn thép sử dụng phân tích trực tiếp

Nhằm cung cấp cho các kỹ sư thiết kế một tài liệu tham khảo hữu ích về ứng dụng học máy trong thiết kế công trình, trong bài báo này, tác giả giới thiệu thuật toán học máy LightGBM (light gradient boosting machine) cho bài toán hồi qui ước lượng khả năng chịu tải của giàn thép. Phân tích trực tiếp có xét đến phi tuyến tính phi đàn hồi được sử dụng để xác định khả năng chịu tải của công trình.

NGHIÊN CỨU KHOA HỌC nNgày nhận bài: 20/01/2023 nNgày sửa bài: 16/02/2023 nNgày chấp nhận đăng: 03/3/2023 Ứng dụng thuật toán học máy LightGBM cho toán hồi quy ước lượng khả chịu tải giàn thép sử dụng phân tích trực tiếp Application of LightGBM algorithm for regression problem of predicting load-carrying capacity of steel trusses using direct analysis > TS MAI SỸ HÙNG Khoa Cơng trình thủy, Trường Đại học Xây dựng Hà Nội 110 TÓM TẮT Kỹ thuật học máy dựa trí tuệ nhân tạo phát triển nhanh chóng thể hiệu to lớn nhiều lĩnh vực sống bao gồm thiết kế cơng trình Các kỹ thuật học máy thường xây dựng dựa lý thuyết cấu trúc phức tạp, đòi hỏi người sử dụng phải có trình độ hiểu biết định để sử dụng hiệu chúng Ngoài ra, dạng toán khác nhau, hiệu thuật toán học máy thay đổi Nhằm cung cấp cho kỹ sư thiết kế tài liệu tham khảo hữu ích ứng dụng học máy thiết kế công trình, báo này, tác giả giới thiệu thuật toán học máy LightGBM (light gradient boosting machine) cho toán hồi qui ước lượng khả chịu tải giàn thép Phân tích trực tiếp có xét đến phi tuyến tính phi đàn hồi sử dụng để xác định khả chịu tải cơng trình Trên sở đó, tập liệu huấn luyện xây dựng với biến đầu vào tiết diện giàn đầu hệ số chịu tải cơng trình Một cầu thép phẳng 113 xem xét để thể hiệu suất làm việc LightGBM Kết tính tốn cho thấy LightGBM có độ xác cao việc ước lượng khả chịu tải kết cấu giàn phi tuyến áp dụng hỗ trợ công tác thiết kế hàng ngày Từ khóa: Học máy; giàn; LightGBM; phân tích trực tiếp ABSTRACT Machine learning techniques based on artificial intelligence are developing very rapidly and showing great effectiveness in many areas of life including building design Machine learning techniques are often built on complex theories and structures, requiring users to have a certain level of understanding to use them effectively In addition, for each different type of problem, the efficiency of machine learning algorithms also changes In order to provide design engineers with a useful reference on the application of machine learning in building design, in this paper, the author introduces the LightGBM (light gradient boosting machine) machine learning algorithm for the problem Regression estimates the load-carrying capacity of steel trusses Direct analysis taking into account nonlinear inelasticity is used to determine the load-carrying capacity of the building On that basis, the training dataset will be built with the input variable being the cross-section of the truss rod and the output being the load-bearing factor of the building A 113-bar planar steel bridge is considered to demonstrate the performance of LightGBM Calculation results show that LightGBM has high accuracy in estimating the load-carrying capacity of nonlinear truss structures and can be applied to support daily design work Keyword: Machine learning; trusses; LightGBM; direct design ĐẶT VẤN ĐỀ Đặc tính ứng xử phi tuyến từ vật liệu hình học kết cấu thép nói chung giàn thép nói riêng cần xem xét q trình thiết kế cơng trình Các phương pháp truyền thống xét đến ứng xử thông qua thiết kế bước với bước thứ tính tốn nội lực cấu kiện sở sử dụng phân tích đàn hồi tuyến tính Sau đó, an tồn cấu kiện kiểm tra riêng lẻ thông qua công thức cho sẵn tiêu chuẩn thiết kế mà hệ số xây dựng có xét đến độ an tồn cơng trình chịu ứng xử phi tuyến Các phương pháp khơng mơ tả ứng xử cơng trình chịu tải không xác định khả chịu tải lớn cơng trình Để khắc phục nhược điểm này, phương pháp phân tích trực tiếp ngày sử dụng rộng rãi [1-6] Trong cách tiếp cận này, ứng xử cơng trình bao gồm ứng xử phi tuyến hình học phi tuyến vật liệu xác định cách trực tiếp q trình tính tốn qua xác định khả chịu tải cơng trình Chính vậy, phương pháp cho phép loại bỏ việc kiểm tra an toàn cho 04.2023 ISSN 2734-9888 w w w.t apchi x a y dun g v n cấu kiện riêng lẻ phương pháp thiết kế truyền thống Chúng ta xem q trình học thuật tốn GTB minh Ngồi ra, nghiên cứu cho thấy phân tích trực tiếp cịn họa Hình Cây học sau xây dựng nhằm mục đích ước tiết kiệm vật liệu [7] Tuy nhiên, phương pháp phân tích trực lượng giá trị phần sai số học trước Cuối tiếp sử dụng thời gian tính tốn nhiều nhiều lần so với giá trị ước lượng ∑ 𝑓𝑓� �𝑋𝑋� Mơ hình cuối có dạng: M phân tính đàn hồi tuyến tính Chính vậy, việc vận dụng chúng (1) f  x    i h  x ;  fM 1   M  M h  x ;  M  , i vào tốn phức tạp cịn hạn chế, đặc biệt i 1 tốn địi hỏi số lần phân tích kết cấu lớn thiết kế tối ưu Trong x mẫu hàm h  x ;  i  định thứ i sử dụng metaheuristic hay tính tốn xác suất hư hỏng công Các tham số khác tính sau: trình theo phương pháp mơ Các loại mơ hình học máy xem phương án tiềm N L fM 1  x j  , y j để giải vấn đề Trong mơ hình học máy, mối quan hệ phi M , M  argmin     h  x j ;   , fM1  x j  tuyến mức độ cao liệu đầu vào liệu đầu biểu j 1 , (2) diễn thông qua mơ hình huấn luyện dựa tập liệu cho N  M argmin  L fM 1  x j    h  x j  , y j  trước tạo phân tích trực tiếp, liệu đầu vào đầu  j 1 dùng để huấn luyện mơ hình học máy lấy từ kết phân tích nâng cao đề cập Lúc này, ứng xử phi tuyến cơng trình ước lượng mà khơng cần thực q trình phân tích phi tuyến tốn thời gian Một số mơ hình học máy tiếng kể đến là: Kriging [8], artificial neural network (ANN) [9], support vector machines (SVM) [10], polynomial response surface method (RSM) [11], v.v Gần đây, Microsoft giới thiệu thuật toán học máy mạnh mẽ LightGBM dựa tảng thuật toán định [12] Thuật toán hiệu cho toán hồi qui phân loại với ưu điểm mạnh tốc độ xử lý nhanh độ xác cao Do thuật toán mới, việc áp dụng LightGBM vào lĩnh vực khác hạn chế mẻ Do vậy, cần nhiều nghiên cứu chuyên sâu nhằm phân tích đánh giá tồn diện hiệu thuật toán lớp tốn cụ thể Trên sở đó, báo này, tác giả giới thiệu nội dung thuật toán LightGBM việc ứng dụng thuật toán việc giải toán hồi qui ước lượng khả chịu tải giàn thép sử dụng phân tích trực tiếp Cầu giàn thép phẳng 113 Hình Mơ hình thuật tốn GTB sử dụng để minh họa cho nghiên cứu Phần Để nâng cao hiệu suất làm việc mơ hình GTB, mô báo sau: nội dung thuật tốn LightGBM trình hình XGBoost thành phần thêm vào hàm mát bày phần 2; phần ba thông tin cầu giàn (loss function) đơn giản hóa việc tách nút Trong GTB, N thép 113 thanh; phần trình bày kết tính tốn; cuối cần xác định độ dốc tương ứng với mẫu  x j , g j  , kết luận j 1      THUẬT TỐN LIGHTGBM Ngun lý thuật tốn LightGBM phát triển từ mơ hình định tăng cường độ dốc Gradient Tree Boosting (GTB) Fiedman đề xuất [13, 14] Các kết nghiên cứu cho thấy mơ hình LightGBM xử lý hiệu toán phân loại, hồi quy xếp hạng học máy Để hiểu nguyên lý thuật tốn LightGBM, trước hết tìm hiểu lý thuyết thuật toán GTB Nguyên lý chung GTB làa thu câu trả lời cuối cách kết hợp nhiều định cách cộng kết tất định Quá trình cải thiện để đạt mức tăng cường độ dốc cực cao thuật toán XGBoost Sự khác biệt XGBoost GTB cách phân chia cách xác định giá trị nút Ý tưởng cốt lõi tiến hành mở rộng Taylor bậc hai hàm mát để phù hợp với GTB giới thiệu thuật ngữ thông thường cách thông minh, để cơng thức khai triển Taylor bậc hai đơn giản hóa giải phương pháp phân tích đó, phương pháp tách phương pháp xác định giá trị nút đời LightGBM tối ưu hóa sở cải tiến công thức GTB XGBoost Nguyên lý sử dụng thuật toán GTB việc kết hợp mơ hình học tập yếu (tức có độ sai số cao) thành mơ hình học tập mạnh theo kiểu  XGBoost ta cần xác định độ dốc hệ số Hess tương ứng với mẫu dạng:  x , g , h  N j j j j 1 Lúc việc tách nút XGBoost giá trị nút tính dựa Gain  Wj    g ,h  j j sau:   GL  GR   GL2 GR2      HL   HR   HL  H R    ,   Gj (3) Hj   Trong   hệ số mô tả độ phức tạp cách điều chỉnh số nút trọng số tổng bình phương giá trị nút GL HL tổng gj hj tất mẫu phía bên trái, GR HR tổng gj hj tất mẫu phía bên phải Wj giá trị nút Gj Hj tổng gj hj tất mẫu chia khu vực nút thứ j Mơ hình LightGBM tối ưu hóa sở thuật tốn XGBoost mơ tả Những tối ưu hóa thực để giảm thời gian tính tốn, chúng đóng vai trị ngăn chặn tượng mơ hình q khớp (vì liệu gốc bị nhiễu, số xử lý thơ làm tăng khả khái qt hóa mơ hình) Thời gian tính tốn lần tách nút tính sau: (4) cost time  featurenum  samplenum  po int num , ISSN 2734-9888 04.2023 111 NGHIÊN CỨU KHOA HỌC Hình Cầu giàn thép phẳng 113 Trong po int num thể thời gian (giây) cần thiết, featurenum , samplenum po int num số đặc điểm, số mẫu số điểm sử dụng để phân chia Như vậy, thời gian tính tốn phụ thuộc vào vấn đề là: (1) cỡ mẫu, (2) số đặc điểm (3) số điểm tiềm dùng để phân chia Trên sở LightGBM tối thiểu hóa chi phí dược kỹ thuật bản: GOSS (Gradient unilateral sampling) nhằm giảm số mẫu, (2) EFB (Feature binding technology) nhằm giảm số đặc tính mẫu (3) Hist (Histogram algorithm) nhằm giảm số điểm lựa chọn GOSS giữ tất đối tượng có độ dốc lớn thực lấy mẫu ngẫu nhiên đối tượng có độ dốc nhỏ Để bù lại ảnh hưởng phân phối liệu, tính tốn mức tăng thơng tin, GOSS giới thiệu hệ số nhân cho trường hợp đối tượng có độ dốc nhỏ Cụ thể, GOSS trước hết xếp thể liệu theo giá trị tuyệt đối độ dốc chọn 100% đối tượng hàng đầu Sau đó, lấy mẫu ngẫu nhiên b×100% đối tượng phần cịn lại liệu Sau đó, GOSS khuếch đại liệu lấy mẫu với độ dốc nhỏ theo số (1−a)/b tính tốn mức tăng thơng tin Bằng cách đó, đối tượng chưa đào tạo tập trung nhiều mà không làm thay đổi nhiều đặc điểm phân phối cuả liệu gốc EFB xây dựng dựa đặc điểm liệu nhiều chiều thường phân bố thưa thớt theo chiều Sự thưa thớt không gian đặc trưng cung cấp cho khả thiết kế cách tiếp cận gần không liệu để giảm số lượng đặc trưng Cụ thể, không gian đối tượng thưa thớt, nhiều đối tượng loại trừ lẫn nhau, nghĩa chúng không đồng thời nhận giá trị khác khơng Chúng ta kết hợp tính bị loại trừ cách an tồn vào tính (gọi gói tính bị loại trừ) Bằng thuật tốn qt tính thiết kế cẩn thận, tạo biểu đồ tính giống từ gói tính từ tính riêng lẻ Theo cách này, độ phức tạp việc xây dựng biểu đồ thay đổi từ O(#data × #tổng đặc trưng) thành O(#data × # đặc trưng kết hợp), # đặc trưng kết hợp