Luận văn thạc sĩ Công nghệ thông tin: Phân loại hình ảnh mối hàng thép dựa trên công nghệ xử lý dữ liệu lớn

Dé giải quyết van dé đề xuất trong nghiên cứu này, tác giả sử dụng các công nghệ xử lý dữ liệu lớn áp dụng trong thị giác như: mô hình mạng học sâu tích chập CNN network, phương pháp học

ĐẠI HỌC QUOC GIA TP HCM

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN

L2 ác

Họ và tên học viên: NGUYÊN XUÂN HUY

Tên đề tài: PHAN LOẠI HÌNH ANH MOI HAN THÉP DỰA.

LUẬN VĂN THẠC SĨ NGÀNH: CÔNG NGHỆ THÔNG TIN

MÃ SỐ: 8480201

TP HO CHÍ MINH - NĂM 2023

ĐẠI HỌC QUOC GIA TP HCM

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN

L2 ác

Họ và tên học viên: NGUYEN XUAN HUY

Tên đề tài: PHÂN LOẠI HÌNH ẢNH MÓI HÀN THÉP DỰA.

TREN CÔNG NGHỆ XU LÝ DU LIEU LỚN.

LUẬN VĂN THẠC SĨ NGÀNH: CÔNG NGHỆ THÔNG TIN

MÃ SỐ: 8480201

NGƯỜI HƯỚNG DẪN KHOA HỌC:

1 TS Đỗ Trọng Hợp

TP HO CHÍ MINH = NĂM 2023

LỜI CẢM ƠN

Em xin gửi lời cảm ơn sâu sắc đến thay TS Đỗ Trọng Hợp — người đã dành thời

gian và tâm huyết dé hướng dẫn và hỗ trợ em trong quá trình hoàn thành luận van

thạc sĩ của mình.

Trong quá trình nghiên cứu và viết luận văn này, em đã nhận được sự hướng dẫn,

giúp đỡ nhiệt tình của thầy để em hoàn thành luận văn một cách tốt nhất

Đặc biệt, em xin cảm ơn thầy TS Nguyễn Gia Tuấn Anh đã là người đồng hành

đã hỗ trợ em trong suốt chặng đường học tập và nghiên cứu Thầy đã luôn giúp em

xác định hướng đi đúng đắn, đồng thời giúp em cải thiện các kỹ năng nghiên cứu

cũng như kỹ năng viết luận văn của mình Những kiến thức và kinh nghiệm mà 02

thầy đã truyền đạt cho em sẽ là hành trang quý giá trong quá trình học

LOI CAM DOAN

Dé bao dam tinh trung thực va chính xác của nội dung trong luận van thạc sĩ, em

xin cam đoan:

1 Luận văn của em là sản phẩm nghiên cứu của riêng em, không sao chép hay

đạo văn từ bat kỳ nguồn tài liệu nào khác

2 Những thông tin, số liệu, dữ liệu và tài liệu tham khảo trong luận văn của em

đều được trích dẫn và ghi rõ nguồn góc

3 Bộ dữ liệu thực hiện trong thực nghiệm là của riêng em và do em tự thực hiện.

4 `Các kết quả và kết luận được trình bày trong luận văn của em là đúng sự thật

và dựa trên nghiên cứu va phân tích kỹ lưỡng của em.

5 Luận văn của em không chứa các thông tin, ,tài liệu mang tính bảo mật, nhạy

cảm hoặc vi phạm bản quyền của bất kỳ cá nhân, tổ chức nào

Em xin hoàn toàn chịu trách nhiệm về tính trung thực, chính xác của luận văn và

sẵn sàng chịu trách nhiệm nếu phát hiện có sai phạm trong quá trình nghiên cứu và

TOM TAT NGHIÊN CUU

Nghiên cứu trong luận án này tập trung vào việc phân loại các mối hàn thép bangcông nghệ xử lý dữ liệu lớn Hàn thép là công việc được thực hiện bằng máy hàn sửdụng điện, gas hoặc laser để nối các phôi thép lại với nhau Múi hàn là một thànhphần quan trọng trong ngành chế tạo kết cấu thép tiền chế Việc xác định, phân loạicác dạng mối hàn đóng vai trò quan trọng trong quá trình kiểm soát chất lượng cácsản phẩm, giảm thiểu rủi ro trong quá trình thi công và đảm bảo an toàn cho người sử

dụng.

Mô hình được đề xuất trong đề tài luận văn thạc sĩ nảy nhằm giải quyết bài toánxây dựng mô hình phân loại mối hàn trên vật liệu thép Bộ dữ liệu đầu vào là một sốlượng lớn hình ảnh của các mối hàn có hình dạng khác nhau được quay phim hoặcchụp ảnh trong nhà máy sản xuất thép Bộ dữ liệu sẽ được đào tạo bằng công nghệđào tạo song song phân tán để tạo ra bộ dữ liệu đầu ra được sử dụng cho mô hìnhphân loại hình ảnh mối hàn

Dé giải quyết van dé đề xuất trong nghiên cứu này, tác giả sử dụng các công nghệ

xử lý dữ liệu lớn áp dụng trong thị giác như: mô hình mạng học sâu tích chập (CNN

network), phương pháp học chuyển giao (transfer leaning), phân tán dữ liệu đào tạo

song song đề đào tạo thành bộ dữ liệu được sử dụng trong phân loại mối hàn Kết quả

phân loại được hiến thị dưới dạng thông báo đánh giá mối hàn nhằm hỗ trợ KTVtrong quá trình sản xuất dé họ có cơ sở đánh giá và lập kế hoạch sửa chữa các kết cau

bị lỗi Kết quả tóm tắt của các thí nghiệm như sau:

Kết quả đánh giá từ thực nghiệm 1 cho 2 tác vụ đào tạo mô hình phân loại 3 lớp

và đào tạo 7 lớp trên bộ dữ liệu mối hàn nhiệt gồm 9058 hình ảnh cho thấy: Máy tính

có cầu hình thấp (cấu hình 2, cấu hình 3 được liệt kê trong phần thực nghiệm) việc

dao tạo là không khả thi, chỉ có hệ thống máy tinh cau hình 1 hoàn thành quá trình

đào tạo.

Kết quả đào tạo sử dụng máy tính cho các tác vụ 3 lớp của mạng DL, mạng

z

EfficientNetR0 cho kết quả thấp nhất với các giá trị: Accuracy = 0.4394, Macro F1- Lo a eee ee & 2é

core=0.2035 và Weighted F1-score = 0.2683 Hơn nữa, các chỉ số đánh giá của 7 lớp

thậm chi còn thấp hơn với Accuracy = 0.2466, Macro F1-core=0.0565 va Weighted

Fl-score = 0.0975 Kết quả độ do của mang AfficienNetB0, ResNet cho thay mô

hình không có khả năng phân loại và đánh giá chat lượng đào tao của mô hình Kếtquả huấn luyện trên máy tính tốt nhất mà tác giả thực nghiệm thuộc về mạng VGG16với các kết quả khả quan ở tập dữ liệu 3 lớp đạt từ 0.7460 đến 0.8230, đối với 7 lớp

có kết quả thấp hơn so với đào tạo tập 3 lớp đạt từ 0.5374 đến 0.6417

Với 2 kết quả thực nghiệm dùng dé so sánh hiệu suất huấn luyện trên 1 máy tính

và đào tạo song song phân tán Thời gian đào tạo trung bình trên hệ thống dữ liệuphân tán cho 1 epoch lớn hơn so với dao tạo trên 1 máy tính Trong khi đó tổng thờigian đào huấn luyện dữ liệu 3 lớp của 2 phương pháp có tông thời gian gần như bằng

nhau (Thời gian dao tạo trên CPU:3,25 giờ , thời gian đào tạo phân tan: 3,15 giờ).

Tuy nhiên, đối với các tác vụ phức tạp, mô hình đào tạo phân tán dữ liệu lại phát huysức mạnh vượt trội hơn ngay cả khi khả năng truyền dữ liệu bị hạn chế về tốc độ

truyền của card mạng và đường truyền qua mạng: Thời gian đào tạo trên CPU cho

tác vụ 7 lớp: 8,97 giờ trong khi đó thời gian dao tao phân fan dữ liệu cho tác vụ 7 lớp:

4,97 giờ.

Kết quả từ thực nghiệm cho thay việc phân loại ảnh mối hàn có thê giải quyết bang

thị giác máy tính Công nghệ đảo tạo dữ liệu song song phân tán dùng cho dữ liệu lớn

là một giải pháp hiệu quả cho việc đào tạo dữ liệu lớn cho hình ảnh mối hàn thép màkhông phụ thuộc quá nhiều vào khả năng xử lý của một hệ thống máy tính Việc ápdụng phương pháp này giúp giảm đáng ké chi phi thời gian dao tạo dữ liệu và giúp

giảm chi phí đào tạo.

MUC LUC

CHUONG 1 Giới thiệu chung KH — —=-—— 3

Ý 1t: Ghar en we bam py sit:¿:026255235166266236620v6138EG63cu6150.0M3.Sá 31086 GQusdtGGS600G0.A148086 dE 3

1.2 Tinh cap thiét ctia 46 8n 5

L210 Muc ti€u 1ghién CU na ốốốố J

1.2.1.2 Mục tiêu cụ thể: -2¿©-s922++x+2E++2ExSExetrxerrxerrxerrrrrrrees 5

1.2.2 Đối tượng và phạm vi nghiên cứu ÂẦ a7 6

1.2.3 Ý nghĩa khoa học của dé tài nghiên cứu 2: -z+cs+cs+2cszcsz< 6 1.3 Conginghé hanthép wiesssccsssernanresecoresrcares ăSö5E915251514SEEXSEEHEEHSESESLESEEES11ĐE 7

1.3.1 Cac hinh dang moi hàn thường xuyên xảy 1 ¡7 ⁄

1.3.1.1 Dạng môi hàn nứt — gẫy - -cc-cceeeseereerrrrrrrrrrrree

1.3.1.2 Dạng mối Iiigifiipli Ni ie brill Bball Si 1.3.1.3 Dang mối hàn bị lẫn xỉ - kẹt xỉ 5c +ccc+s+ccsrvsresxee

1.3.1.4 Lỗi mối hàn không đủ độ wai a iii

1.3.1.5 Dang mối u59: afWÍf Ôi con ; Sẽ

1,3.1.6 Dạng ft Luế Ấy loang À, o1

1 3.2 Phương đhốp kiểm tra phân loại moi hàn

1.4 Một sô nghiên cứu liên quan oo eee eee 5 ễ + <5 + E+vEeEeeEeeeeeesereeeseee

1.4.1 Tình hình nghiên CỨU trong HƯÓC 7-5 5c <+s£++£+e£+£+veereee 1.4.2 Tĩnh hà PTigiNlÔn G1100) RUSS WOO B ect cow csessveresevssvsvesssssesessassvesases 1.4.3 Đánh giá và nhận xét các nghiên cứu liên qua1 - - - 19

1.5 Khodnofiiing ng Tớ" Mgmt sseciscossssahsssssnacsnscsvesrasssvsasasnvecoseenss 20Kết luận chương 1 c.cccsssecsssssssoeesuesseesecssssssssesssseseebeceseesecsscssecsscsussseesecsneeneeess 21

CHUONG 2 Hướng tiếp cận của luận van kh¿i8,01820854-8028020102u101GGG.-8Ó 22

2.1 Mô hình mạng học sâu ứng dụng trong phân loại hình ảnh 22

2.1.1 Tổng quan các loại mang học sâu hiện nay : 5¿ 222.1.2 Kiến trúc mang nơ ron tích chập (CNN

2.1.2.1 Lớp đầu vào (input layer)

2.1.2.3 Lớp kích hoạt (Activation layer) -«<<<+xe+eeeexses 2.1.2.4 Lớp gop (Pooling layer) Le SEES UL MET xe EOE

2.1.2.6 Lớp đầu ra (Output layer) mm

2.2 Học chuyên giao và kỹ thuật tỉnh chỉnh mô hình -: 28

2.2.1 Phương pháp học chuyển giao - -:©-2+©2s22s+2cs+2zszzszrsesrsed 28

2.2.2 Kỹ thuật tinh chỉnh mô hình đào tạo mm 29

2.2.2.1 Hàm kích hoạt ReLU - 30 2:2/.0.2: Hầm Soft Maxnscsssi cutis Wnts ee eee 32

2.2.2.3 Ham ton that Entropy chéo (Cross-Entropy Loss Function) 33

2.2.2.4 Thuật toán tối ưu hóa dao tạo mô hình AdamW 36

23 Nền tả ae hệ thống đữ liệu p phân tán ¬ 39

bo G› > Š:.n tảng Apache Spark - -‹ +3 40

A:8:ỗ: Đi TT satgbsisesgsctiioiGiGIGLSSGG41G04SE3141383035 58088 ÌSggsz25555235551856501803ã500183:30388 4]

2.3.3 Nên tảng QcaContext 2-2552 —A 42

2.3.4 Mơ hinh đào tạo học sâu phân fđH 555cc + + + +scsssserses 44

Kết luận chương 2: 2-22 22 s+22s++cxezcsz mm“ ƠƠƠƯƠƯƠỮƠ 45

CHUONG 3 mơ hình đề xuất - al ELSA DSS 46

3.1 Mơ hình đề xuất nghiên CU -.-"MA 463.2 Tiêu chuân đánh giá chat lượng mối hàn 71 46

3.2.1 Nguồn dữ liệu thu thậpp -2-©-12222222222EE2EE.2E2EE.EEEEcrrerrcee 4

Ung n : ẢẢẢ 48 3.2.3 Tiên xử lý hình ảnhh 2:©2+ 2s S+22E2EE22E22122121121121211221 2e 40

3.3 Mơ hình mạng học sâu áp dụng thực nghiệm - 5 55 <5++<<+ 54

S31 Meni niemarigs GB" «sesibeessssllisnaadlasesiSllkssssESkesgasessinsusdiiruesess2 34 3:3:2:: Mỹ hinh mang GSINGÍ:s:scr:ssortiitiiitobatisiBGAlSGIEEGEESSEESIGEBLSSS3EE200-ĐSgĐg 35 3.3.3 Mơ hình mạng FjfficieHfN6i - «- + ssssisrirrrrsrersrrerrrrrrrrrrrke OE]

|4: Ui ier ere _ RA niasntnntieAebanninaibidomeiniteanniiae bsp sth altadBttRaaltladh aSahissaeh fat 55

CHUONG 4 Thực nghiệm mơ hình nghiên cứu -< «<2 s=ss 56

4.1 Thiết kế hệ thống đào tạo đào tạo + 5-5 55cccerxerkerreerkerree 56

4.1.1 Cai dat Apache Spark trên hệ điều hành Ubuntu và cấu hinh 58

4.2 Su dung ky thuat hoc chuyên giao À cốc 59

4.3 Cấu hình tham số đào tạo mơ inh -2- ¿2 + +E££E£E+xerxzrcsz 61 4.4 Đánh giá va tinh chỉnh mơ hình - ¿+ + 5+3 *+*£*£££+£exzeeeeeeess 62

4.4.1 Tiêu chuẩn đánh giá độ chính xác mơ hìnhmm 62

4.4.1.1 Confusion MatrIX - ác nà vn HH ng, 62

4.4.1.2 BTGÊUITaCV-sswe, mesuwe: É, ee eee ene 63

4.4.1.30REcallS5 e (.7 — ốc 63

4.4.1.4 scorc.> 63 4.4.1.5 NGÀCrve acZ Li rit ltl, ASRS ttt 63

4.5 Kết quả thực nghiGm cccccccseesseesssesssesssesseesssbssessecssecsnecssecsuecsuecseesseeeses 644.6 Đánh giá hiệu suất đào tạo cơng nghệ xử lý dữ liệu lớn - 64

4.6.1 Danh giá hiệu suất dao tạo trên I máy tinh

4.6.2 Đánh giá hiệu suất đào tạo phân tán dit liệm -5-552-52 OS

—|—|—¬|—¬| | | | | | |'*C SID} Nn} BIG Jb JR SOSA DM) BIW jelor eee ee ee F F Ị Double wall double image

Power Spectral Densi Support Vector Machines Deep neural Network

NN

ở [b9 | | ftv Sr |2 [De | Scale-Invariant Feature Transform

Speeded-Up Robust Features Convolutional Block Attention Module Stochastic Gradient Descent with momentum Rectified Momentum Stochastic Prop algorithm

Virtual Private Network

Tensor Processing Unit Floating Point Operations Per Second

34 directed acyclic graph

35 PCI Express Peripheral Component Interconnect Express

36 International Organization for Standardizatio ISO

DANH MỤC CAC BANG

n

Bảng 3-1: Công thức các biến thé hàm kích hoạt ReLu . -.: - 32Bảng 4-1: Kết quả các độ do của mô hình thực nghiệm -5- 5: 64Bảng 4-2: Đánh giá hiệu suất thời gian đào tạo mô hình trên máy tính 65Bảng 4-3: Đánh giá hiệu suất thời gian đào tạo mô hình ứng dụng phân tán 65

DANH MỤC CÁC HÌNH ẢNH

EE eae CnC ce a 2 0 eee Hi tá, a

Pea A Hùng Khu A a tees at lan eel lta Abt led 8

Hinh 2-3: Dang mối hàn bị lẫn Xi eee eeeeceesesessesseseesesseeessesseeessesvesesscsesstenssvenesteeeenes 9Hình 2-4: Dạng mối hàn không ngẫu - :- 22 22 +2 ©++2++£E++£+++zx+erxezrei 9Hình 2-5: Dạng mối han lẹm ¿2-52 +2S++ES+vEE++ESEeEEerxerverrvrrrreee 10

Hình 2-6: Dạng mối hàn bị chảy loang - 2-2-2 +2 522++£++zxezx+ezxezseez 10

Hình 2-7: Kỹ thuật tăng số lượng dif liệu của LỆ: 2202006 8ennni 13Hình 2-8: Kết quả của nhóm nghiên cứu Haodong Zhang, và cộng sự (2019 14Hình 2-9: Mô tả một số dạng mỗi hàn 2: 22 ©cs++xs£Exsexxserxserssee 15Hình 2-10: Kết quả đánh giá mô hình phân loại mối han sử dụng CNN 15Hình 2-11: Kỹ thuật lam tăng số lượng bộ dit liệu - -¿- 2-5252: l6Hình 2-12: số lượng hình ảnh tăng thêm sau xử lý . 2 ¿ 17

Hình 2-13 So sánh hiệu quả của các mô hình mạng - - + «+ «5s =<+ 17

Hình 2-14: Mô tả bộ dif liệu 16 dang mối hàn -. -.5555c555<: 18Hình 2-15: Kết quả so sánh với các liên cứu liên quan của tac giả Kumaresan,.19Hình 3-3: Kiến trúc mạng CNN -. -«- SSCA SEER AT ih23Hình 3-4: Mô tả xử lý ở lớp đầu vào lớp đầu vào - -+ ¿csz 24

Hình 3-5: Kỹ thuật áp dụng bộ lọc tính toán xác định đường biên 25

Hình 3-6: Áp dụng các hàm kích hoạt nâng cao khả năng hội tụ của mô hình 26

Hình 3-7: Kỹ thuật Pooling trong CNN 27

Hình 3-8: Mô tả Tang kết nối đầy đủ (Fully Connected -EC) . - 27Hình 3-9: Kỹ thuật học chuyền giao - z2ES2EEEEBEXSSEIGEESEEESNGIERSGEBESS 28

Hình 3-10: Minh họa hàm ReLu

Hình 3-11: Chuan hóa các trọng số các ma trận trọng; SỐ SỬ dụng hàm kích hoạt

Hình 3-12: Mô tả phương pháp ham SoftMax «5-55 <S+xs+eeesses 33

Hình 3-13: Sơ đồ Tính toán tôn thất Entropy chéo -2 2- 22+ 33Hình 3-14: Chuan hóa trọng số bằng Cross Entropy - . -¿s+-: 34

Hình 3-15: Minh họa thuật toán Cross Entropy -csc HH 35

Hình 3-16: Minh họa thuật toán tối ưu A darmW - ¿2-2 + s+szzxezsczereces 38

Hình 3-17: Mô hình Quản lý phân cụm (Clusster) trong Apache Spark 39 Hình 3-18: Hệ sinh thái Apaele SDa[:czzesrzsriobiseiisrieitltgslttsstitetsgsssisessprssi 40

Hình 3-19: Phép biến đồi trên RDD trong Spark —— 40

Hình 3-20: BigDL trong Đào tạo dữ liệu phân tán = ÔÔÔÔÔÔ 41

Hình 3-21: Code minh họa thực thi dao tạo song song mô hình phân loại hình anh sửdụng BigDI seit 6 axes Nera cere go nueranooenregnai 4i

Hình 3-22: Minh hoa đào tạo mô hình phân tán sử dụng BigDL và OcaContext.

ern 0L .kb 1615.006 UP ĐI ID, TS::: : D //.:.( 0L.00 0.0 co co.nug 43

Hình 3-23: Đào tạo Phân tán dữ liệu và phân tán mô hình + 5 44

Hình 3-1: Mô hình bai toán phân loại mối hàn sử dụng công nghệ xử lý dữ liệu

lớn ES TT TY À_—ÀœW“—WQÀAÀLS-Adg hàn an ha ĐE g4 40 8400x4pkrÈ 46

Hình 4-1: Các thiết bị hàn được sử dụng để tạo ra mối hàn 5- se: 48

Hình:4-2: PhuGe tinh binh đưcccsernssiinnistiarittttttiptt8tdssBSạlïstggbisitqastsaxeapai 49

Hình 4-3: Thuật toán áp dụng bộ loc Fourier dé làm rõ ảnh mờ 5ÖHình 4-4: Thuật toán rescale lại hình ảnh dé đưa ảnh về kích thước 224x224 51

Hình 4-5: tập dữ liệu Phân loại 3 lớp - [FER ol BB eal Es SS eo Ma A 52

Hình 4-6: Các dang mối hàn khi thực hiện phân lớp -¿2- 2=: 52

Hình:4-7: Tap đữ liệu phan 7 TÚPi:cccscossorssaroiioirotoliigiligiitlistxptxxgexpssgssuse@ 33

Hình 4-8: mô hình đào tạo Multi-Worker qua LAN -«-<c<<<cscxs+ Sử

Hình 4-9: Thiết lập OrcaContext và BigDI dé các worker đào tạo phân tan 39Hình 4-10: Minh họa học chuyền giao mô hình mạng VGG109

Paley NhnhulpsDvevDngSmmpimstmultBirlaosmup/TEofTEHISU ae

Hình 4-12: Minh hoa học chuyển giao mô hình mạng -. 2-2:

Hình 4-13: Cac thuật toán tinh chỉnh mô hình đào tạo: «- 55+ 62

Hình 4-14: Kết quả khi chạy thực nghiệm mô hình -2- 2-2 s55: 68

MỞ DAU

Việc phát hiện và xác định mối hàn không đạt yêu cầu trong quá trình sản xuất kếtcấu thép là rat cần thiết nhằm giảm thiéu rủi ro trong thi công và dam bao an toàn chongười sử dụng Hiện tại, kết quả đánh giá chất lượng méi hàn hoàn toàn phụ thuộcvào KTV KTV sử dụng biện pháp quan sát bề mặt mối hàn và kiểm tra kim tương,kết hợp sử dụng hóa chất phủ lên bề mặt mối hàn dé tìm kiếm lỗi hoặc ding máy dòsiêu âm dé kiểm tra bên trong mối hàn Các kết quả của đánh giá chất lượng mối hanphụ thuộc rất nhiều vào kinh nghiệm và khả năng quan sát của KTV Trong khi đó,các kết quả đánh giá của các KTV thường không có tính đồng nhất và quá trình đánhgiá kiểm tra rất dé bỏ xót mối hàn không đạt tiêu chuan kỹ thuật Ngoài ra, chi phitrang bị vật tư, máy móc dụng cụ thường xuyên thay thé cũng là lý do gây áp lực đếngiá thành trong quản lý sản xuất, làm giảm khả năng cạnh tranh trên thị trường cùng

ngành.

Theo giáo trình hàn của Nguyễn Thúc Hà và cộng sự (2006), mối hàn đảm bảo cáctiêu chuẩn kỹ thuật khi qua sát kim tương trên bề mặt mối hàn khi: Không có vết rạnnứt, không bị bướu cục, mối hàn không đều, mối hàn bị đứt quãng, mối hàn cháy

loang , bi lem, mối han không đủ độ ngấu và độ bám dính ăn sâu không tới 15% so

với chiều dày của các mép phôi hàn, Mối hàn có nhiều hơn 7 lỗ xốp xi/1 cm độ lớn

xốp xỉ lớn hơn 15 dem

Các công trình xây dựng có quy mô lớn ngày nay ngày càng sử dụng kết cau thép

nhiều hơn vì nó mang lại nhiều ưu điểm hơn so với kết cấu bê tông cốt thép Ưu điểm

của công trình sử dụng kết cấu thép tiền chế có thê ké đến như: thời gian thi côngnhanh, khả năng chịu lực lớn hơn, mục đích sử dụng đa dạng hơn, chỉ phí đầu thấp

Các thuật toán học sâu đã được chứng minh là hiệu quả trong việc giải quyết các

vấn đề phân loại hình ảnh Nhờ cau trúc mạng nơ ron nhân tạo có thể tự động học từ

dữ liệu, các thuật toán học sâu đã được đạt độ chính xác cao và khả năng khái quát

hóa tốt Các thuật toán học sâu đã được ứng dụng dé giải quyết nhiều bài toán tronglĩnh vực khác nhau như: phân loại ảnh X-quang hỗ trợ chuẩn đoán trong y tế, dự đoán

và phản ứng nhanh với các tình huống giao thông, kiểm soát chất lượng sản phẩm

trong quá trình sản xuất Do đó, vấn đề phân loại mối hàn cũng có thể áp dụng các

thuật toán học sâu đề giải quyết nó

Dé trình bày phương pháp giải quyết bài toán phân loại hình ảnh mối hàn bangcông nghệ xử lý dữ liệu lớn, luận văn này sẽ được chia thành các phần sau:

Chương 1: Giới thiệu chung

Chương 2: Hướng tiếp cận của luận văn

Chương 3: Mô hình đề xuât

Chương 4: Thực nghiệm mô hình nghiên cứu

Chương 5: Kết luận và hướng phát triển

Giới thiệu chung

CHUONG 1 GIỚI THIỆU CHUNG

1.1 Giới thiệu chung

Đánh giá và phân loại mối hàn thép là quá trình đánh igiá chất lượng của các mối

hàn trong quá trình sản xuất kết cấu thép tiền chế trước khi chúng được lắp dựng tạicơng trường Mối hàn được sử dụng dé liên kết các mảnh phơi thép lại với nhau nhằmđảm bảo tinh chắc chan và độ bền của kết cau thép Dé đảm bảo an tồn và chất lượngcho các sản phẩm thép tiền chế cần phải được kiêm tra, đánh giá và phát hiện các mốihàn bị lỗi hay khơng? Việc kiểm tra này được thực hiện bởi KTV hoặc chuyên giakiểm định cĩ kinh nghiệm và trình độ về cơng nghệ hàn trên vật liệu thép Các phươngpháp kiểm tra mối hàn thường được thực hiện bằng cách: quan sát bề mặt mối hàn,phủ hĩa chất đề thuận tiện cho việc quan sat bề mặt mối hàn, tìm kiếm lỗi hoặc kiểm

tra tính chất lý hĩa kim tương của mơi hàn dé kiếm tra độ bền độ tới hạn của kim tương Tất cả các phương pháp kiểm tra mối hàn trên đều phải tuân thủ theo quy định

của tiêu chuẩn Việt Nam (TCVN) về mối hản

Kết quả của báo cáo đánh giá chất lượng đều do KTV trực tiếp đánh giá trong quatrình sản xuất Kết quả đánh giá được ghi nhận lại dé chuyển cho bộ phận sản xuấtđánh dấu những mối hàn lỗi và lên kế hoạch sửa chữa cấu kiện trước khi đưa ra cơngtrường Trong khi đĩ, thời hạn thơng báo kết quả kiểm định mối hàn của các chuyêngia thường rất muộn hơn so với tiễn độ sản xuất (do được thực hiện trong phịng thí

` Š= ẽ tt ố.

11I1HCIH) INCL qua đậH H1 Bla C ua chuyên gia cũng chỉ được đánh giá chính xác dựa trên

các mẫu mối hàn được cung cấp, khơng thể phản ánh đầy đủ cho tất cả các dạng mối

hàn cĩ trên sản phẩm thép tiền chế Vì vậy, hầu hết các cơng ty sản xuất kết câu thép

tiền chế hiện nay đều khơng thực hiện biện pháp đánh gia với sự hỗ trợ chuyên gia

Trong sản xuất kết cầu thép hiện nay, việc phụ thuộc vào trình độ chuyên mơn củaKTV dé đánh giá chất lượng mối hàn gây ra rất nhiều bat lợi cho doanh nghiệp sảnxuất thép tiền chế Lực lượng lao động cĩ kinh nghiệm và chuyên mơn về cơng nghệ

hàn khơng nhiều, Chi phí trang bị máy mĩc và vật tư phụ trợ thường xuyên phải thay

thế mua mới là một trong những nguyên nhân gây áp lực chỉ phí sản xuất của doanh

nghiệp Do vậy các cơng ty trong lĩnh vực sản xuất thép tiền chế đang rất cần cĩ một

CHUONG 1: Giới thiệu chung

một số chỉ tiết phôi thép che khuất mối hàn trong khung hình Ngoài ra, số lượng mẫu

dạng mối hàn cũng đa dạng, từ mối hàn đơn giản đến mối hàn phức tạp Do đó, việcphân loại phát hiện lỗi mối hàn trên vật liệu thép với độ chính xác cao trong xử lýbằng thị giác cũng là một thách thức lớn

Dé dao tạo một mô hình phân loại hình ảnh bằng phương pháp học sâu thì tập dữliệu đầu vào đủ lớn đóng vai trò quan trọng quyết định độ chính xác của tập dữ liệuđầu ra Tập dữ liệu phải đủ đại diện để mô hình khái quát hóa và phân loại chính xáccác mối hàn trong tình huống thực tế Ngoài ra, khi đào tạo các bộ phân loại cho các

tập dữ liệu lớn, Độ chính xác nhận dang sẽ gia tăng lén do các thuật toán có nhiều thông tin đặc trưng hơn Bên cạnh đó, dé giai quyét duge bai toan phan loai lỗi mối

han dựa trên hình ảnh cần phải áp dụng các phương pháp học sâu dé các thuật toánhọc sâu có thể xác định các điểm đặc trưng một cách tốt hơn, từ đó cải thiện và pháttriển ứng dụng cho mô hình phân loại mối hàn với độ hội tụ tốt hơn Việc thu thập sỐlượng lớn ảnh mối hàn là cực kỳ quan trọng dé sử dụng cho mục đích phân loại mối

hàn hiệu quả cân có một tập dữ liệu da dạng và đủ lớn chứa các hình ảnh môi hàn ở

nhiều góc độ, điều kiện ánh sáng và các dạng mối hàn khác nhau.

Khi đào tạo mô hình phân loại hình ảnh cho bộ dữ liệu lớn trên một máy tính sẽ

mat thời gian rất lâu, thậm chí máy tính không thé thực hiện đào tạo khi tài nguyêntrên một máy tinh không thé đáp ứng Hơn nữa, khi mô hình hoc máy có độ phức tapmáy tính cần nhiều tài nguyên tính toán hơn, khi đó cần phải thực hiện phương pháp

đào tạo khác nhằm đảo bảo mô hình được đào tạo thành công

Phương pháp đào tạo song song phân tán dữ liệu ra đời nhằm giải quyết các vẫn

đề khó khăn nêu trên Phương pháp đào tạo song song phân tán dữ liệu có thể giúp

CHUONG 1: Giới thiệu chung

tăng tốc độ và hiệu quả đào tạo bằng cách phân tán dữ liệu trên nhiều máy tính dé

cùng tính toán đào tạo đồng thời.

1.2 Tính cấp thiết của đề tài

M©› om tình ứng dụng phân loại môi hàn một các2g :

cần thiết cho các doanh nghiệp sản xuất thép tiền chế Phuong pháp đánh giá va phanloại mối hàn truyền thống còn nhiều hạn chế ảnh hưởng đến quá trình sản xuất, chấtlượng và giá thành Vì vậy, việc sử dụng mô hình phân loại mối hàn tự động là mộtgiải pháp hữu ich cho các công ty sản xuất thép tiền chế :

Mô hình phân loại mối hàn thép tự động mang lại nhiều ưu điểm Đầu tiên, nó cảithiện hiệu quả quá trình kiểm tra đánh giá, đảm bảo sản xuất hiệu quả Thay vì dựa

vào đánh giá chủ quan của con người, mô hình sử dụng các thuật toán và dữ liệu đã

Thêm vào đó, mô hình sẽ cung cấp thông tin đáng tin cậy hơn so sới thông tin củaKTV Kết quả mà mô hình đưa ra dựa trên dữ liệu dao tạo và các quy tắc phân loại

đã được xác định trước, giúp giảm thiểu sự thiếu xót trong quá trình kiểm tra phân

loại Điều này đảm bảo các thông tin về chất lượng mối hàn là đáng tin cậy, nhà quản

lý sản xuất sẽ dé dang đưa ra quyết định kế hoạch sửa chữa mối hàn lỗi.

Với nhu cầu trong thực tế sản xuất nơi công ty của tác giả đang làm việc, tác giảtiến hành một nghiên cứu về mô hình phân loại mối hàn bằng công nghệ xử lý dữ liệulớn nhằm tìm ra giải pháp thay thế con người trong công tác kiểm tra chất lượng mối

1.2.1.2 Mục tiêu cụ thể:

CHUONG 1: Giới thiệu chung

Mục tiêu cụ thê của đề tài nghiên cứu đào tạo một mô hình phân loại hình ảnh các

dạng mối hàn là:

— Thu thập và tiền xử lý bộ dữ liệu các dạng mối hàn được thực hiện bởi các máy

hàn sử dụng điện, sử dụng øas, và laser.

— Tìm hiểu các mô hình phân loại hình ảnh hiện tại bằng cách sử dụng các kỹ thuật

đào tạo song song phân tán dữ liệu và các kỹ thuật học chuyền giao từ các mô

hình mạng học sâu được đảo tạo trước.

— Tim hiểu các phương pháp đánh giá, điều chỉnh mô hình để có phương pháp đào

tạo mô hình tốt nhất |

— Xây dựng mô hình ứng dụng tự động kiểm tra chất lượng mối và thay thé con

người trong quy trình sản xuất thép tiền chế

1.2.2 Đối tượng và phạm vi nghiên cứu

Chủ đề của nghiên cứu này là phân loại các mối hàn được tạo ra bởi các máy hàn

sử dụng điện, sử dụng laser, và máy hàn khí trên các phôi thép có độ dày từ 3mm đến

21 mm.

Phạm vi nghiên cứu của dé tai này bao gồm:

Pham vi về không gian: Nghiên cứu xây dựng mô hình ứng dụng phân loại mốihàn tại các công ty sản xuất thép tiền chế trên địa bàn TP HCM

Phạm vi về thời gian: Thời gian thực hiện đề tài nghiên cứu 15/2/2023 đến

15/6/2023.

1.2.3 Ý nghĩa khoa học của đề tài nghiên cứu

Tự động phân loại mối hàn thép đóng vai trò quan trọng trong việc kiểm tra chấtlượng sản pham nhằm đảm bảo an toàn trong qua trình thi công lắp dựng va an toàn

cho người sử dung Hơn nữa, dé tài này còn có ý nghĩa:khoa học quan trọng trong

việc ứng dụng các mô hình học máy dé xử lý lượng lớn đữ liệu trong việc tao ra ứngdụng kiểm tra chất lượng kết câu thép sản phâm trong lĩnh vực sản xuất thép

Ngoài ra, nghiên cứu này còn đề xuất một công nghệ mới trong lĩnh vực chế tạo

kết câu thép.

CHUONG 1: Giới thiệu chung

xác cao nhất, nhưng chỉ phí cao hơn so với phương pháp khác.

Việc đánh giá chất lượng mối hàn hiện nay ở các công ty sản xuất thép thườngđược thực hiện bằng phương pháp kiểm tra đánh giá bề mặt mối hàn

1.3.1 Các hình dạng mối hàn thường xuyên xảy ra

sự (2006), Nguồn hình ảnh mô tả: dữ liệu của tác giả) Một số hình dạng của mối

hàn được tạo ra trong quá trình hàn như sau:

O~ -e0c@ "w13 Vét nứt 6 kim loại mối hàn

Các dang nứt do han gây ra

1.3.1.3 Dang mối hàn bị lẫn xi - ket xi

Mối hàn bị lẫn xi là dạng khuyết tật xảy ra khi xi hàn bị trộn lẫn cùng kim tươngtrong quá trình hàn Loại mối hàn này xảy ra khi công nhân chồng nhiều đường hàn

mà không vệ sinh trước khi hàn chông lân.

CHUONG 1: Giới thiệu chung

1.3.1.4 Lỗi mối hàn không đủ độ ngắu

Dạng mối hàn này xảy ra nếu thợ hàn chỉ thiết lập dòng điện đủ để làm nóng chảycủa que hàn nhưng không làm nóng chảy toàn bộ bề mặt của phôi thì mối hàn không

đủ độ ngau

Hình 1-4: Dang mối hàn không ngau

CHUONG 1: Giới thiệu chung

1.3.1.5 Dạng mối hàn cháy lẹm chân

Dạng mối hàn được tạo ra khi người thợ hàn cài đặt các thông số máy hàn khôngđúng kỹ thuật gây cho thuốc hàn cháy quá nhanh hoặc cháy vừa đủ chảy thành kimtương que hàn Hình dạng của mối hàn này thường có hiện tượng vón cục Hai đầucủa phôi hàn bị cháy chưa kịp hình thành kim tương dé có thể hòa trộn với kim tương

que hàn.

Dạng mối hàn bị chảy loang khi thợ hàn thiết lập dòng điện quá lớn trên các thiết

bị hàn làm cho kim tương que hàn và kim tương của phôi thép tạo ra quá nhanh gây chảy loang và đôi khi tạo ra hiện tượng làm lủng phôi thép.

Hình 1-6: Dang moi hàn bị chảy loang

1.3.2 Phương pháp kiểm tra phân loại mỗi han

Kiểm tra mối hàn là một quy trình quan trọng để đảm bảo chất lượng của các sảnphẩm và kết cấu thép tiền chế Có một số phương pháp khác nhau dé kiểm tra mối

hàn, mỗi phương pháp đều có những ưu điểm và hạn chế riêng Dưới đây là một số

phương pháp kiêm tra mối hàn

CHUONG 1: Giới thiệu chung

Phương pháp thir nghiệm mô phỏng: Day là phương pháp thử nghiệm phá hủy

môi hàn được thực hiện trong phòng thí nghiệm Các mẫu mối hàn được cắt và kéo

căng dé kiểm tra tình trạng cơ lý của các thành phan kim loại sau khi được han lại vớinhau dé đánh giá độ bền của từng loại mối hàn

Phương pháp kiểm tra bề mặt mối hàn: Đây là phương pháp đơn giản và thôngdụng nhất Bằng chuyên môn và kinh nghiệm của mình KTV quan sát và đánh giá

môi hàn đạt các chỉ tiêu cơ bản như độ bền, độ liên kết va chất lượng của mối hàn.

Tuy nhiên, phương pháp này còn nhiều hạn chế, khả năng quan sát không đảm bảo

độ chính xác hoàn toàn và đôi khi KTV có thé đưa ra nhận định thiếu chính xác

Phương pháp Kiểm tra hap thụ: Đây là một phương pháp kiêm tra không phahủy hỗ trợ KTV kiểm tra bằng biện pháp quan sát Phương pháp này được thực hiện

bằng cách bôi phủ lên mối hàn một dung dịch chất lỏng Chất lỏng này sẽ phản ứng

với những vết nứt rất nhỏ hoặc các lỗi của mối hàn bị che khuất Nếu lỗi mối hànđược phát hiện thì nó sẽ được đánh dấu đề thực hiện phương án khắc phục

Phương pháp kiểm tra bằng siêu âm: Đề thực hiện phương pháp kiểm tra này,KTV quét mối hàn bang máy phát siêu âm Khi thiết bị phát hiện một khuyết tật củamỗi hàn, nó sẽ phản ánh bang tín hiệu va tạo ra một biéu đồ dé thống báo cho KTV.KTV yêu cầu phải có kinh nghiệm đánh giá các thông số trong biéu đồ dé lay thôngtin về tinh trạng của mối hàn Phương pháp kiêm tra siêu âm thường được sử dụng dékiểm tra các mối hàn ở những vị trí khó tiếp cận bằng cách quan sát hoặc kiểm tra

các môi hàn trên bề mặt.phôi rat day và lớn.

1.4 Một sô nghiên cứu liền quan

Nghiên cứu phân loại mối hàn sử dụng thị giác máy tính đã thu hút sự chú ý của

các nhà nghiên cứu và nhiều nghiên cứu đang được tích cực thực hiện Một số mô

hình nghiên cứu đã thực sự chứng minh khả năng ứng dụng của chúng, đặc biệt là

trong lĩnh vực kiểm soát chất lượng quá trình hàn Tuy nhiên, trong lĩnh vực sản xuất

và gia công thép tiền chế nói chung, phân loại và đánh giá chất lượng mối hàn nói

riêng vẫn cần có những nghiên cứu sâu hơn đề nâng cao độ chính xác và xác định cácdạng mối hàn khác nhau: Huan luyện mô hình đáp ứng các tiêu chí khi áp dụng môhình phân loại mối hàn hiện nay

CHUONG 1: Giới thiệu chung

1.4.1 Tình hình nghiên cứu trong nước

Hiện tại, ở trong nước có rất ít các nghiên cứu các mê hình phân loại mối han sử

dụng các công nghệ trí tuệ nhân tạo và sử dụng các phương pháp thị giác vào trong nghiên cứu Các nghiên cứu trong nước hiện nay chỉ tập trung vào các nghiên cứu sử

dụng các phương pháp thử nghiệm hóa lý và mô phỏng dé đánh giá chất lượng mối

hàn Một nghiên cứu của Hoàng Đức Long và cộng sự () nghiên cứu xác định độ cứng

của mối hàn dé phân loại chất lượng mối hàn Nghiên cứu này tập trung vào việc cắtcác mẫu mối hàn dé đưa vào hệ thong máy phân tích chuyên dụng phân tích tinh chấthóa lý và nhiệt độ đã tạo ra mối hàn dé đánh giá khả năng chịu tải, độ bền, độ bámdính tại các mép đường biên mối hàn và độ cứng của môi hàn Mục tiêu của nghiêncứu này là đưa ra các phương pháp hàn đạt được các tiêu chuẩn kỹ thuật xây dựngtrong nước dựa trên kết quá đánh giá mối hàn Trong nghiên cứu phân tích đánh giámối hàn cho các công trình chuyên dụng trong lĩnh vực dẫn chuyền dau khí như hàncác mối nối đường ông dan dau, tác giả Phan Công Thanh và cộng sự (2015) cũng đãthực hiện nghiên cứu đánh giá các đặc điểm mối hàn cho ống thép sử dụng cho ngànhdầu khí Phương pháp thực nghiệm trong nghiên cứu là phân tích các kết quả của các

số liệu được ghi nhận khi thực hiện biện pháp siêu âm, chụp X ray cho mối hàn Kếtquả nghiên cứu này đưa ra các đánh giá và biện pháp khắc phục khi xác định đượcmối hàn không đạt tiêu chuẩn kết nối đường ống dùng cho dẫn đầu Ngoài các nghiêncứu về các phương pháp hàn công nghệ hàn điện, hàn khí tác giả Nguyễn Nhựt Phi

Long (2020) nghiên cứu đánh giá chất lượng mối hàn của các loại mối hàn bằng máy

hàn laser Kết quả nghiên cứu xác định được các thông số dé cài đặt cho các thiết bi

hàn dựa trên kỹ thuật phân phối năng lượng để các thiết bị hàn hạn chế tạo ra cá mối

hàn bị lỗi.

Nghiên cứu của Tran Ngoc Hien và cộng sự (2023) đã giới thiệu mô hình phat

triển hệ thống trí tuệ nhân tạo dự đoán hình dạng của mối hàn với độ chính xác cao

Điều này giúp tối ưu hóa quá trình hàn và đảm bảo chất lượng của sản phẩm cuối

cùng Nghiên cứu bao on việc thu thập dữ liệu về mối hàn và các thông số kỹ thuật

của quá trình hàn Dữ liệu này được sử dụng để đào tạo các mô hình trí tuệ nhân tạ Sarat ate ee =c oO,

bao gom các mô hình hoc may và mang no-ron, dé dự đoán hình dang của mối hàn

CHUONG 1: Giới thiệu chung

Nghiên cứu dự đoán các thông số và hình dạng của mối hàn có thể được tạo ra

trong các quy trình hàn bằng các kỹ thuật thống kê sử dụng mạng nơ ron học sâu của

tác giả Tran Trung Tin và cộng sự (2022) các thí nghiệm đã được tiến hành thu thậpbang cách sử dụng mẫu của các may hàn khí CO2 hoặc máy han MIG, máy hàn TIGtạo ra Kết quả nghiên cứu là các đề xuất thiết lập các thông số trên mối hàn dé hạnchế tạo ra các lỗi môi hàn bằng phương pháp xây dựng mô hình hồi quy dé phân tích

tính toán.

Nhìn chung các nghiên cứu liên quan việc phân loại đánh giá mồ hàn thép tronglĩnh vực sản xuất thép tiền chế ở trong nước còn rất hạni chế Tác giả chưa tìm thaycác mô hình nghiên cứu đã công bố ở trên IEHE Xplore, ScienceDirect,

ResearchGate, Clarivate (web of science) hoặc google Scholar.

1.4.2 Tình hình nghiên cứu ở nước ngoài

Trong những năm gần đây, nghiên cứu về phân loại hình ảnh lỗi hàn đã thu hút sựquan tâm của nhiều nhà nghiên cứu ở nước ngoài Các nghiên cứu này tập trung vào

việc áp dụng các phương pháp máy học hoặc học sâu như CNN, RNN và các kỹ thuật

học chuyên gio các mô hình được đào tạo trước dé xây dựng mô hình phân loại hình

ảnh các lỗi mối hàn trên vật liệu thép.

Haodong Zhang và cộng sự (2019) đã giới thiệu một: phương pháp sử dụng học

sâu dé phát hiện lỗi mối han Phương pháp này tập trung xử lý ảnh và áp dụng kỹthuật WGAN dé giải quyết van đề mat cân bằng trong tập dữ liệu đào tao Mô hìnhđược đào tạo bằng cách kết hợp học chuyền giao hai mạng hoc sâu dao tạo trước là

MobileNet và Inception, Thông qua việc sử dụng kỹ thuật tinh chỉnh chuyền đổi khả

năng học tập của mô hình dựa trên tính năng.

Dé xây dựng tập dữ liệu cho thực nghiệm, tác giả không tiết lộ nguồn gốc của tập

dữ liệu Tuy nhiên, nhóm tác giả trình bày một phương pháp đề tăng tính đa dạng và

số lượng trong tập dữ liệu bằng cách sử dụng các công cụ xử lý ảnh Các công cụ

này đã được sử dụng để loại bỏ, cắt ghép, xoay hình ảnh ban đầu theo các hướng khác

nhau, từ đó tạo ra nhiều hình ảnh mới với các đặc trưng của các loại lỗi mối hàn khác

nhau.

Hình 1-7: Kỹ thuật tăng số lượng đữ liệu của

CHUONG 1: Giới thiệu chung

Nguồn: Haodong Zhang, và cộng sự (2019)

Hai mô hình mang học sâu được kết hợp dao tạo dé phân loại lỗi thông qua một

kỹ thuật phối hợp đa mô hình nhằm giảm tỉ lệ sai trong dự đoán

True Class

burn crac porosity

Accuracy T080 9.772 es wT

Nguồn: Haodong Zhang, và cộng sự (2019)

Tác giả thực hiện hai thực nghiệm trên ảnh được tăng cường và ảnh thực tế đềuđạt độ chính xác đáng ké, chứng minh phương pháp đề xuất là tiềm năng cho việc

như sau: không bị lỗi: 100.00%, Lỗi cháy loang: 94.77%| lỗi nứt: 99.75% và Rỗ khí:

CHUONG 1: Giới thiệu chung

99.67% Độ chính xác dự đoán của mô hình dat được kha cao Tuy nhiên, bộ dữ liệu

của tác giả chỉ là những hình ảnh được tạo ra không phản ánh tính thực tế, Ngoài ra,

việc sử dụng các công cụ xử lý ảnh để tạo bộ dữ liệu có các dạng lỗi mối hàn sẽ làmcho mô hình học rat dé chuyền sang hiện tượng quá khớp (overfitting) của mô hình.Nhìn chung, phương pháp huấn luyện được đề xuất trong bài báo mang tính đột phá.Tuy nhiên, dé đánh giá hiệu quả mô hình một cách khách quan, cần thực hiện huấn

luyện trên một tập dữ liệu thực tế hơn, chứa các dạng mối hàn được thu thập trong

quá trình sản xuất

Honggui Deng va cộng sự (2021) trình bày một phương pháp nhân diện và phat

hiện lỗi mối hàn laser bằng công nghệ mô hình học sâu Bài báo đề cập đến việc sửdụng thiết bị xử lý đồ họa (GPU) và thuật toán tối ưu phân tán để cải thiện hiệu suấtcủa thuật toán dé thực hiện dao tạo học chuyên giao cho mô hình Bộ dữ liệu hìnhảnh ban đầu có 1030 hình ảnh cả các dang mối han khác nhau được tiền xử lý tạo mớilàm tăng thêm số lượng hình ảnh thành tập dữ liệu dùng cho đào tạo được số hìnhtong số lượng 5200 hình ảnh mối hàn được chia thành Š loại: Bình thường (FL), rỗkhí (GP), chưa đủ độ ngau (OF), nứt gãy(CK), bướu lem (LIP)

Hình 1-9: M6 tả một số dang moi han.

a

|

|

Figure 6 Some collected weld images.

(Nguồn: Honggui Deng và cộng sự (2021))

Kết quả thực nghiệm của nghiên cứu đạt độ chính xác đạt từ 86% đến 97% tùytừng phương pháp tinh chỉnh cụ thé của từng lớp

Hình 1-10: Kết quả đánh giá mô hình phân loại mối hàn sử dụng CNN

CHUONG 1: Giới thiệu chung

Table 3 Test set classification results.

Type of Defect GP FL LOF 'LOP CK ACC/%

-(N guỗồn: Honggui Deng và cộng sự (2021))

Trong bài báo này, nhóm tác giả cũng chỉ ra những hạn chế của nghiên cứu Hạnchế lớn nhất là việc thiếu dữ liệu mẫu hình ảnh mối hàn chất lượng cao trong quátrình sản xuất Do vậy, kết quả độ đo chính xác cũng chưa thể phản ánh hết nếu đưa

mô hình vào áp dung sản xuất trong thực tế Dé xử ly số lượng dữ liệu hình ảnh chatlượng cao từ trong quá trình sản xuất nhóm tác giả đề xuất thuật toán phân tán dữ liệu

Sử dụng dé đào tạo dữ liệu dé phù hợp cho việc đào tao mô hình có dữ liệu ngày càng

tăng.

Các tác giả Kai Ding và cộng sự (2022) đã trình bày phương pháp phân loại lỗi

mối hàn dựa trên cái tiền thuật toán MobileNetV2 Phương pháp này giải quyết tháchthức của các phương pháp kiểm tra phân loại mối hàn truyền thống

Hình 1-11: Kỹ thuật làm tăng số lượng bộ dữ liệu

Figure 2 Sample images in the self-built dataset (partial).

Nguồn: Kai Ding và cộng sự (2022)

Bộ dữ liệu hình ảnh để thực nghiệm trong bài báo gồm có 2845 hình ảnh mối hànđược tác gia chia tỉ lệ cho dữ liệu dao tạo, dữ liệu xác minh, dữ liệu kiểm tra 147:2:1

CHUONG 1: Giới thiệu chung

Trong đó 1995 hình ảnh mối hàn dé đào tạo, 567 hình ảnh dé dùng xác minh và 283

hình dùng đề kiểm tra.

Hình 1-12: số lượng hình anh tăng thêm sau xử lý

Sample Class Before Enhancement | After Enhancement

MobileNetV2 của nhóm tác gia đạt hiệu quả cao hơn so với mô hình mạng ResNet50

Nguồn: Nguồn: Kai Ding và cộng sự (2022)

Kết quả nghiên cứu của nhóm tác: giả đạt hiệu quả tương đối cao, mô hình đạt độ

chính xác gần như chính xác tuyệt đối Tuy nhiên, bộ dữ liệu hình ảnh trong nghiêncứu này ban dau chi có 610 hình ảnh mối hàn bao gồm 198 hình ảnh dạng nứt gãy,

186 hình ảnh dạng lỗ thủng và 26 hình ảnh không đủ độ ngấu Sau đó, nhóm tác giả

thực hiện tiền xử ly hình anh bang cac bién phap nhu: cat, ghép hình anh, kéo, lật

ảnh Sau khi sử lý từ 610 hình ảnh ban đầu nhóm tác giá đã tạo được 2845 hình ảnh

cho 3 loại Do đó, độ chính xác của mô hình trong nghiên cứu này đạt độ chính xác

cao chưa phản ánh thực tế của các hình dạng mối hàn

CHUONG 1: Giới thiệu chung

Công trình nghiên cứu mô hình phát hiện và phân loại lỗi mối hàn của tác giả

Samuel Kumaresan và công sự (2023) sử dụng kỹ thuật học chuyền giao các mô hình

đào tạo trước và điều chỉnh tinh chỉnh linh hoạt (tự thích ứng) Các mô hình mạng đã

được dao tao trước VGG16 và ResNet50 được sử dụng và được tinh chỉnh thông qua

phương pháp học chuyền giao Nghiên cứu này đề cập đến việc sử dụng một tập dữ

liệu X- quang được tạo ra bằng thiết bị tạo tia X GRIMA đạt tiêu chuẩn ISO

17636-1 đảm bảo chụp X-quang để kiểm tra các mối hàn đang ở dạng kim tương đang nóngchảy Các hình ảnh dạng X-quang nhóm tác giả sử dụng máy Lumisys LS85 SDR déthực hiện chuyền tập dữ liệu X-quang sang hình ảnh số hóa của hình ảnh X-quang

Hình 1-14: Mô tả bộ dit liệu 16 dang mỗi hàn

Defect Type Parallel Slag

Nguồn: Samuel Kumaresan, và cộng sự (2023)

Số lượng hình anh dé dao tạo được đề cập đến việc sử dụng một tập dữ liệu hình

ảnh X-quang nhỏ và nhóm tác giả sử dụng biện pháp tăng cường dữ liệu dé vượt qua

hạn chế tập dữ liệu nhỏ, nhóm tác giả không nêu chỉ tiết cụ thể số lượng hình ảnh là

bao nhiêu Bộ dữ liệu sau khi tiền xử lý được phân thành: 16 loại

CHUONG 1: Giới thiệu chung

Kết quả cho thấy mô hình VGG16 đạt hiệu suất tốt hơn (97.60%) so mới mô hình

Rssnest50 (nhóm tác giả không cung cấp thông tin cụ thé) Nhóm tác giả cũng so sáng

mô hình của họ với các mô hình nghiên cứu tự đã cho thay hiéu suat cao hon

Hình 1-15: Kết quả so sánh với các liên cứu liên quan của tác giả Kumaresan,

Table 3 Comparative study

Author Identifying capability Accuracy Method

Ajmi et al [32] 3 defect types 95% VGG-based CNN architecture with data augmentation

Malarvel and Singh [30] 6 defect types 96% Multi-class support vector machine (MSVM)

Liu et al [33] 3 defect types 97.60% VGG16 transfer learning

Hou et al [18] 4 defect types 97.20% DCNN with 4 convolution layers

Yang and Jiang [34] 5 defect types 91.36% DNN pretrained by SAE

Kumaresan et al [29] 14 defect types 98% SVM trained on features extracted using pretrained ResNet50

Present work 14 defect types 90% Fine-tuning pretrained VGG16 (transfer learning)

Nguồn: Samuel Kumaresan và cộng sự (2023)Việc tạo ra một mô hình phân loại lỗi mối hàn bằng cách sử dụng hình ảnh X-quang

iém vụ phức tap Mô hình này cung cap độ chính PUT nee ni

và các thiết bị chuyên dung là một nh

xác phân loại cao trong việc phân loại 14 khuyết tật mối hàn khác nhau Tuy nhiên,nhóm nghiên cứu đã tiến hành nghiên cứu với bộ dữ liệu nhỏ được xử lý trước Do

đó, kết quả của bài báo chưa chứng minh được liệu kếti quả của mô hình có thé áp

dụng cho môi trường sản xuất thực tế hay không |

1.4.3 Đánh giá va nhận xét các nghiên cứu liên quan

Từ các nghiên cứu liên quan, có thể thấy ứng dụng thị giác máy tính có thể được

áp dụng dé giải quyết van dé phân loại hình ảnh của các mối hàn thép có thể thựchiện được và có tiềm năng lớn để phát triển các ứng đụng đáp ứng nhũ cầu của ứngdụng phát hiện phân loại mối hàn trong sản xuất |

Hiện nay, hoạt động nghiên cứu trong và ngoài nước đã góp phan quan trọng vào

lĩnh vực phân loại mối hàn thép Những nghiên cứu này chủ yếu tập trung vào việc

sử dụng các kỹ thuật học sâu để xử lý và đào tạo các mô hình phân loại mối hàn.Nghiên cứu trong nước hiện nay về việc phân loại mối hàn thép trong lĩnh vực sảnxuất thép tiền chế chưa nhận được sự quan tâm nghiên cứu nhiều Kiểm tra phân loại

mỗi han trong lĩnh vực sản xuất thép tiền chế cũng là lĩnh vực hep, chủ yếu liên quan

(D> (Ds {Qu OQ»9»

đến lĩnh vực thiết kế chế tạo ít có liên quan ìn lĩnh vực công n

Nhiều công trình nghiên cứu ngoài nước đã tìm cach 4p dụng các thuật toán máy

học và học sâu đề giải quyết các bài toát phân loại hình ảnh của mối hàn Các nghiên

cứu trên chủ yếu tập trung vào việc phát hiện và phân loại các mối hàn ở dạng: Nứt

gãy không đủ độ ngau, bướu lem, đạt tiêu chuẩn và rỗ khí Các dạng mối hàn này có

thể quan sát và phát hiện bằng mắt

Một vấn đề quan trọng đã được các nghiên cứu trước đây đề cập đến là thiếu dit

liệu hình ảnh mối hàn Vi lí do này, các mô hình thường phải tận dụng các phương

pháp xử lý ảnh và công cụ kết hợp để tạo ra tập dữ liệu đề thực hiện thử nghiệm

Nghiên cứu của Honggui Deng và cộng sự (2021) cũng chỉ ra rằng trong quá trìnhsản xuất thép, số lượng dạng mối hàn khác nhau tạo ra là rất lớn Do đó, cần phải pháttriển các phương pháo dao tao phân tán dữ liệu mới dé đáp ứng khả năng huấn luyện

cho mô hình dữ liệu lớn.

1.5 Khoảng trống nghiên cứu

Mặc dù nhiều nghiên cứu đã đạt tiễn được tiến bộ đáng kể, nhưng vẫn còn một số

lỗ hong nghiên cứu trong lĩnh vực này:

Độ phức tạp và đa dạng của đường hàn: Các dạng đường hàn khác nhau liên tục

được tạo ra trong quá trình sản xuất Cần nghiên cứu và phát triển thêm dé phát triển

các phương pháp cải thiện khả năng phân loại mối hàn phức tap và phát hiện cáckhuyết tật mỗi han mới và nhỏ hơn

Bộ dữ liệu lớn hơn và phương pháp dao tạo nhiều lớp: Sản xuất kết cấu thép hangngày tao ra sỐ lượng lớn các mối hàn Khi đào tao cho bộidữ liệu lớn thì các cấu hình

máy sẽ đòi hỏi đảm bảo sức mạng có thê thực hiện tính toán và đào tạo Phương pháp

phân tan dữ liệu đào tạo song song đang là giải pháp dao tạo hiện đại (SOTA) cho các bài toán dữ liệu lớn.

Dé đáp ứng nhu cầu thực tiễn, việc đưa ra mô hình phát hiện va phân loại mối hànthép thay cho con người trong việc kiểm tra và phân loại mối hàn là cấp thiết, hạn

chế khả năng bỏ sót và đánh giá sai và các bản báo cáo kết luận kiểm tra mối hànkhông nhất quán Để dat được mục đích nêu trên, tác giả chọn “ Phân loại ảnh mỗi

hàn bang kỹ thuật xử lý dữ liệu lớn” làm dé tài nghiên cứu cho luận văn thạc sĩ của

mình.

CHUONG 1: Giới thiệu chung

Phương pháp chính mà tác giả sử dụng trong chủ đề nay là sử dung nền tang

Apache Spark, OcaContext và thư viện xử lý đào tạo BigDL dé tận dụng khả năng

phân phối dir liệu giữa các máy trong cùng một hệ thống dé đào tạo song song các

mô hình phân loại hình ảnh.

Kết luận chương 1

Trong chương |, tác giả giới thiệu các dạng môi hàn thường được tạo ra và phân

loại môi hàn sử dụng biện pháp quan sát bê mặt môi hàn.

Tác giả cũng tìm hiệu các bài bao liên quan có liên quan đến dé tài luận văn này

dé làm rõ được lý do chọn dé tài nghiên cứu

CHUONG 1: Giới thiệu chung

CHUONG 2 HUONG TIEP CAN CUA LUAN VAN

2.1 Mô hình mang học sâu ứng dung trong phân loại hình ảnh

2.1.1 Tổng quan các loại mạng học sâu hiện nay

Học sâu là một nhánh của học máy trí tuệ nhân tao (AT), dao tạo các mô hình máy

sâu dé giải quyết các van đề ứng dụng trong thực tế

Mô hình học sâu có nhiều lớp nơ-ron tích chập, duge kết nối theo một kiến trúc

mạng để truyền thông tin của dữ liệu đầu vào sau khi phân tách nó Các thuật toán

trong mỗi lớp tích chập thực hiện các phép tính toán phức tạp dé trích xuất thông tinđặc trưng cho lớp mạng từ dữ liệu đầu vào và gửi nó đến lớp theo trong mạng Khiđược đào tạo với dữ liệu phù hợp, các trọng số của mạng no ron được tinh chỉnh dé

mô hình tự động học các mối quan hệ tính năng phức tạp trong dữ liệu.

Nguồn: Tác giả thực hiện thiết kế mô tả mạng CNN

Trích xuât đặc trưng Phân loại/ dự đoán

2.1.2 Kiến trúc mang nơ ron tích chập (CNN

Mang tích chập (CNN) là một mô hình mạng phé biến:thường được sử dụng trong

xử lý anh CNN cé thé tìm hiểu các tinh năng hình ảnh thông qua tích chập và giúpgiảm lượng thông tin cần xử lý Mô hình CNN do AlexNet Alex Krizhevsky và công

su (2017) giới thiện, hiện nay CNN là mô hình mạng tiên phong trong lĩnh vực nhận

diện và phân loại ảnh nhờ phương pháp giảm tỉ lệ lỗi xuống mức thấp nhất (top -5

với error rate là 15,3) Sự thành công của mô hình này đã thúc đây sự phát triển của

CHUONG 2: Hướng tiếp cận của luận văn

nhiều nghiên cứu tiếp theo nhằm cải thiện kiến trúc mang CNN nhắm nâng cao hiệu

suất phân loại ảnh và độ chính xác của mô hình.

Kiến trúc mang CNN bao gồm các lớp:

ảnh (pixel), cứ mỗi một pixel trong ảnh tương ứng với 1 giá trị trong ma trận Kích

thước của lớp đầu vào được xác định bởi chiều rộng (Width), Chiều cao (Height), và

số kênh màu (channels) của hình ảnh Ví dụ: với anh màu HD có kích thước chiều

rộng là 1920 pixel, chiều cao là 1080 pixel và là ảnh mau RGB nên số kênh mày là

3 Một số mang CNN xác định trước kích thước đầu vào dé có thé xác định kích thước

của các lớp khác trong mạng.

Một số mang không cần xác định kích thước đầu vào mà tiến hành sử dụng một SỐ

kỹ thuật như pooling hoặc resizing để tự động điều chinh kích thước cho lớp đầuvào, kỹ thuật này cũng là bước xác định kích thước đầu vào

CHUONG 2: Hướng tiếp cận của luận văn

Là thành phần chính trong trong các mô hình mang nơ ron tích chập ứng dụng

trong xử lý ảnh và thị giác máy tính Lớp tích chập chủ yếu dùng để trích xuất đặctrưng bắt dau từ số liệu của các ma trận số liệu của các lớp dữ liệu đầu vào bằng cách

áp dụng phép tính nhân các ma trận (tích chập) |

Một lớp tích chập là tập hợp các bộ loc (filters) hoặc các ma trận hat nhân (kernels)

được sinh ra khi thực hiện tính toán các ma trận ma trận của dữ liệu đầu vào Cứ mỗi

bộ lọc có thé tìm ra được một loại đặc trưng cụ thể, bộ lọc sẽ thực hiện phép trượtqua toàn bộ không gian đầu vào và tính toán tích chập giữa các ma trận nhỏ hơn củađầu vào và ma trận bộ lọc(tùy theo thiết kế của mô hình phân loại dé có thé thiết lậptrọng số cho bước trượt), quá trình này tao ra các bản đồ đặc trưng (feature maps)

CHUONG 2: Hướng tiếp cận của luận văn

Lớp tích chập đã được chứng minh là có hiệu quả cao trong các ứng dụng thị giác

máy tính Ưu điểm chính của các lớp tích chập đó là khả năng tự động học các đặc

trưng cục bộ của dữ liệu dau vào ¡

Hình 2-3: Kỹ thuật áp dụng bộ lọc tính toán xác định đường biên

: 6= 1

Nguồn : tác giả tự xây dựng

2.1.2.3 Lớp kích hoạt (Activation layer)

Là lớp quan trọng trong mạng CNN, lớp này có chức năng hạn chế kết quả bằng 0

ở các tính toán tích chập của các lớp nhằm nâng cao khả năng hội tụ của mô hình Cónhiều hàm kích hoạt phổ biến như: Hàm ReLu là hàm pho biến áp dụng cho các mô

hình phân loại đa lớp, hàm SoftMax sử dụng ở lớp cuối cùng của mang CNN dé tính

toán xác xuất đầu ra, hàm SoftMax chủ yếu sử dụng trong các mô hình phân loại đa

lớp, hàm Sigmoid chuyên đổi các giá trị rất nhỏ của ma trận các lớp khi thực hiện

tính toán tích chập lại với nhau có khả năng thành 0 (phi tuyến) hàm sigmoid có chức

năng chuyên các giá trị rất nhỏ này thành các giá trị trong khoảng từ 0 đến 1 Hàm

sigmoid thường sử dụng trong các mô hình phân loại nhị phân Hàm tanh là phiên

bản cải tiến của Sigmoid, hàm Tanh chuyền đổi các giá trị đầu vào trong khoảng -1

đến 1, hàm Tanh cũng thường được áp dụng trong các bài toán phân loại nhị phân _

CHƯƠNG 2: Hướng tiếp cận của luận văn

a“ Filter 1: 3x3x3 Output 1: 4x4 + Output 1: 4x4

Horizontal edges đetector veal |

Nguồn: Tác giả tham khảo https://stanford.edu/

2.1.2.4 Lớp gop (Pooling layer)

Là lớp có vai trò quan trọng ở phía đầu ra của mô hình Nhiệm vụ chính của lớpnày là thực hiện giảm kích thước của giá trị đầu vào, làm giảm số lượng tham số và

trích xuất các đặc trưng đại diện lớn nhất học đại diện trung bình của các lớp dé gop

lại thành các giá trị đại diện quá trình gộp có 2 phương pháp thực hiện đó là : gộp

giá trị lớn nhất (max pooling) và gộp giá trị trung bình của vùng kích thước xác định.Kích thước của lớp gộp sẽ nhỏ hơn kích thước của lớp tích chập trước đó Vi dụ, nếulớp tích chập có đầu ra là ma trận 28x28, vùng gộp là 2x2 với bước trượt là 2 thì kết

quả của lớp gộp sẽ là ma trận 14x14 Điều này cho thấy lớp gdp đã giảm đi 50% so

với kích thước ban đầu

_ Lợi ích của lớp gộp là khả năng giảm kích thước không gian đầu vào và giảm tham

số cần tính toán tối ưu làm cho mô hình giảm độ phức tạp Ngoài ra, lớp gộp cũnggiải quyết giảm kha năng quá khớp (overfitting) của mô hình bằng cách tăng hội tụ

cho mô hình.

CHUONG 2: Hướng tiếp cận của luận văn

2.1.2.5 Tầng FC

FC là tầng Dense sau cùng trong kiến trúc của CNN thực hiện công việc phân loại

chiều ở dang vector hoặc nêu nhiều mẫu dữ liệu vào là ma trận 2 chiều Ở tang này

Hình 2-6: Mô tả Tang kết nối đây đủ (Fully Connected -FC).

Input Dense #1 Dense #2 Softmax

Ay

SS@- class 2

Nguôn: https://stanford.edu/

2.1.2.6 Lớp dau ra (Output layer)

CHUONG 2: Hướng tiếp cận của luận văn

Là lớp cuối cùng trong kiến trúc mạng CNN Lớp này có nhiệm vụ đưa ra các dựđoán cho mô hình cho đầu vào đã được xử lý tính toán Các dự đoán này có thể làmột số một vector hoặc là một ma trận tùy thuộc vào yêu cầu mô hình của bải toán

Ví dụ, trong bài toán phân loại hình ảnh lớp đầu ra có thể là các giá trị vector tươngứng với một lớp phân loại trong bài toán phân loại đối tượng, lớp đầu ra là các giá

trị đại diện cho xác xuất trong phần tử của từng vector dự đoán đối tượng xuất hiện

trong hình.

2.2 Học chuyển giao và kỹ thuật tinh chỉnh mô hình

Học chuyền giao và tỉnh chỉnh mô hình là hai phương pháp kỹ thuật trong lĩnh vựchọc sâu dùng trong đào tạo mô hình tận dụng các thuật toán tối ưu đã được đào tạotrước đó để áp dụng vào mô hình mới

DOT Phương phap h

#

e chuôi

sq

Là kỹ thuật sử dụng kiến thức của những mô hình đã đào tạo trước đó trên một tác

vụ có liên quan đến tác vụ của mô hình mới Thay vì đào tạo mạng ngày từ đầu thì

kỹ thuật học chuyên giao chỉ cần khóa các lớp đã học lại bổ sung lớp mới của môhình mới Các lớp nơ ron ở mô hình mới sẽ thực hiện biện pháp lan truyền ngược đểmạng mới có thể học lại toàn bộ mô hình Với kỹ thuật học chuyên giao này sẽ tiếtkiệm rất nhiều các chỉ phi liên quan đến đào tạo mô hình mới

Hình 2-7: Kỹ thuật học chuyển giao