Thiết kế và chế tạo thiết bị thu thập và đánh giá ngoại quan hình ảnh mối hàn hồ quang tay

Kết quả cho thấy rằng, các phương pháp xử lý ảnh có thể được sử dụng để đánh giá chất lượng của quá trình hàn MIG và ARC cho các khớp thép.. - Các ứng dụng về trí tuệ nhân toạ mà cụ thể

TỔNG QUAN VỀ ĐỀ TÀI

Giới thiệu

Trong mục này, đề tài sẽ giới thiệu về đối tượng nghiên cứu và các vấn đề liên quan đến đề tài "Thiết bị thu thập và đánh giá ngoại quan mối hàn hồ quang tay" Sự phát triển trong lĩnh vực cơ điện tử và ngành công nghiệp hàn hồ quang tay đã tạo ra một nhu cầu ngày càng tăng về việc nghiên cứu và phát triển các phương pháp đánh giá chất lượng mối hàn Vì thế trong lĩnh vực đào tạo để nâng cao tay nghề cũng như kỹ thuật hàn hồ quang tay cần được chú trọng Nhằm đưa ra những đánh giá ngoại quan khách quan từ đó giúp cho người học hàn có thể cải thiện kỹ năng và tay nghề Thu thập hình ảnh mối hàn lưu trữ vào cơ sở dữ liệu giúp người học có thể tự đánh giá sự cải thiện hoặc nhờ đến các chuyên gia đánh giá, làm giàu dữ liệu hình ảnh từ đó cải thiện chất lượng mô hình đánh giá và đưa ra những nhận xét mang tính chuyên môn cao hơn.

Các đề tài nghiên cứu tương tự

1.2.1 Các nghiên cứu ngoài nước a) Phân loại và xác định khuyết tật bề mặt trong hàn khuấy ma sát: Phương pháp xử lý ảnh

Nghiên cứu (Classification and identification of surface defects in friction stir welding:

An image processing approach) của Ravi Ranjan và các cộng sự đã sử dụng kỹ thuật xử lý ảnh để phân loại và xác định các khuyết tật bề mặt trong hàn khuôn mẫu bằng ma sát

Friction stir welding (FSW) là một công nghệ hàn mới trong ngành công nghệ hàn, và mục tiêu cuối cùng là có được một mối hàn không có khuyết tật Tuy nhiên, các khuyết tật khác nhau được tạo ra do các nguyên nhân khác nhau và cần được phân tích để loại bỏ chúng Mục tiêu của công trình nghiên cứu này là xác định và phân loại các loại khuyết tật bề mặt thường gặp trong quá trình Friction stir welding bằng cách sử dụng kỹ thuật xử lý hình ảnh số

Kết quả cho thấy phương pháp đề xuất đạt được hiệu suất phân loại tốt và có thể ứng dụng trong việc tự động phát hiện các khuyết tật bề mặt trong quá trình hàn khuôn mẫu bằng ma sát Nghiên cứu này có thể đóng góp vào việc tăng độ chính xác và hiệu suất trong quá trình kiểm tra và giám sát quá trình hàn khuôn mẫu bằng ma sát

Hình 1.1 Ảnh minh họa mối hàn khuôn mẫu ma sát [1] b) Ứng dụng kỹ thuật xử lý ảnh số trong xác định chất lượng hàn hồ quang và hàn mig của mối nối thép

Một nghiên cứu khác về Ứng dụng kỹ thuật xử lý ảnh số để xác định chất lượng của mối hàn ARC (hàn hồ quang điện) và mối hàn MIC (hàn hồ quang dưới khí bảo vệ M.I.G: metal inert gas) (tên tiếng anh: Application of digital image processing techniques in determining the quality of arc and mig welding of steel joints) vào năm 2020 của tác giả Senthil Velan S và Venkata Reddy Poluru Nghiên cứu này tập trung vào việc áp dụng kỹ thuật xử lý ảnh kỹ thuật số để xác định chất lượng của quá trình hàn MIG và ARC cho các khớp thép Nghiên cứu này bao gồm hai phần chính: (1) thu thập dữ liệu hình ảnh của các mối hàn thép bằng phương pháp hàn MIG và ARC; và (2) sử dụng các phương pháp xử lý ảnh để đánh giá chất lượng của các mối hàn này [2]

Nghiên cứu tập trung vào đo lường chất lượng của hai tập hình ảnh, mỗi tập gồm bốn hình ảnh Tập đầu tiên bao gồm các mẫu hình ảnh từ quá trình hàn ARC của các khối nối thép phẳng, và tập thứ hai gồm các mẫu hình ảnh từ quá trình hàn MIG của các khối nối thép phẳng Hai tập hình ảnh này đã được sử dụng để xử lý tiếp theo bằng các thuật toán phát hiện cạnh Với mỗi tập hình ảnh tác giả sử dụng ba thuật toán phát hiện cạnh lần lượt là Canny, Prewitt và Sobel để phát hiện biên dạng của mối hàn từ đó so sánh với mối hàn mẫu tốt để đưa ra những kết luận cho mối hàn trong tập hình ảnh

Kết quả cho thấy rằng, các phương pháp xử lý ảnh có thể được sử dụng để đánh giá chất lượng của quá trình hàn MIG và ARC cho các khớp thép Các kết quả này có thể hỗ trợ quá trình kiểm soát chất lượng trong quá trình hàn và giúp cải thiện chất lượng của các sản phẩm hàn c) Phát hiện khuyết tật mối hàn trong xử lý ảnh kỹ thuật số dựa trên chụp X quang công nghiệp

Năm 2005, một nghiên cứu sử dụng các kỹ thuật xử lý ảnh số để phát hiện các khuyết tật trong hàn dựa trên ảnh chụp X quang (tên tiếng anh: Weld defect detection in industrial radiography based digital image processing) bằng cách trích xuất các đặc trưng từ ảnh và phân

3 loại các khuyết tật Các kỹ thuật xử lý ảnh bao gồm lọc ảnh, phát hiện biên độ và phát hiện đường thẳng để giúp tách các khuyết tật hàn ra khỏi nền ảnh

Nghiên cứu trình bày quá trình thực hiên của phương pháp này trên bộ dữ liệu ảnh chụp

X quang công nghiệp Kết quả cho thấy phương pháp đề xuất đạt được hiệu suất phát hiện khuyết tật cao và có thể ứng dụng trong việc giám sát và đánh giá chất lượng hàn trong các ứng dụng công nghiệp Nghiên cứu này có thể đóng góp vào việc tăng độ chính xác và hiệu suất trong quá trình kiểm tra và giám sát quá trình hàn trong các ứng dụng công nghiệp

Hình 1.2 Quá trình thực hiện của nghiên cứu [3]

1.2.2 Các nghiên cứu trong nước a) Ứng dụng học sâu trong việc hỗ trợ đào tạo thực tập hàn

Một nghiên cứu đến từ trường Đại học Sư Phạm và Kỹ Thuật thành phố Hồ Chí Minh đã đề xuất ứng dụng mô hình học sâu trong việc hỗ trợ và phân loại mối hàn Trong nghiên cứu này của hai tác giả đã đề xuất hệ thống hỗ trợ việc đào tạo thực tập hàn hồ quang điện ứng dụng bằng việc ứng dụng mạng nơ ron nhân tạo Mô hình được thiết kế đặc biệt để có thể học từ bộ dữ liệu với số lượng mẫu ít và sự đa dạng của mối hàn khá lớn, vì thế việc phân loại mối hàn của học viên dựa trên độ hoàn thiện của mối hàn Hình ảnh mối hàn được thu thập bởi một camera, sau đó hệ thống sẽ xác định các khuyết tật trên bề mặt mối hàn và chia thành 4 mức chất lượng khác nhau

Nghiên cứu của hai tác giả đã đưa ra đề xuất về mô hình học sâu và thử nghiệm trên tập đã dữ liệu đã được gắn nhãn với bốn mức chất lượng khác nhau Độ chính xác của hệ thống đạt 85.58% một phần vì dữ liệu có quá nhiều biến thể và về mặt bản chất vẫn đang mất cân bằng [4]

4 b) Sản phẩm Robot kiểm tra khuyết tật mối hàn tự động được nhóm nghiên cứu tại Trung tâm thiết kế CEE

Năm 2016, sản phẩm Robot kiểm tra khuyết tật mối hàn tự động được nhóm nghiên cứu tại Trung tâm thiết kế CEE ( Center of Electrical Engineering) của Trường Đại học Duy Tân Đà Nẵng chế tạo thành công trở thành sản phẩm độc quyền lần đầu tiên xuất hiện tại Việt Nam

Hình 1.3 Sản phẩm robot tự động kiểm tra mối hàn của nhóm nghiên cứu [5]

Trưởng nhóm nghiên cứu robot kiểm tra khuyết tật mối hàn tự động cho biết: “Trước đây, tại các công ty đóng tàu, việc kiểm tra các khuyết tật mối hàn vỏ tàu đều do công nhân tiến hành bằng tay Cách làm này rất mất thời gian và chi phí chưa kể những vị trí không gian nhỏ hẹp khó tiếp cận cho nên chúng tôi đã nảy ra ý tưởng làm ra một sản phẩm có thể tự động dò tìm kiểm tra các mối hàn khi đóng tàu thay cho con người" [5]

Nguyên lý hoạt động và thiết kế cho phép robot hoạt động thuận lợi hơn trên rất nhiều bề mặt nên việc kiểm tra và đánh giá so với con người tự làm thủ công như trước đây được giảm bớt Ưu điểm nổi trội nhất chính là việc rô bốt là tự động hoàn toàn và có thể hoạt động được trên mọi vị trí khó, kể cả góc nghiêng hoặc thẳng đứng 90 độ [5]

1.2.3 Những tồn tại còn có trong những nghiên cứu trên

Tính cấp thiết của đề tài (Đặt vấn đề)

Để có thể hỗ trợ sinh viên và các bạn học viên trong quá trình học tập rèn luyện thực tập hàn hồ quang bằng cách kiểm tra chất lượng ngoại quang mối hàn hồ quang sau khi thực tập hàn từ đó có thể nâng cao kĩ năng và nhận ra các khuyết điểm trong quá trình thực tập hàn

Trong bất kì quá trình sản xuất và gia công hay cả trong quá trình đào tạo nào thì việc kiểm duyệt chất lượng các kết cấu hoặc các chi tiết được sản xuất cũng luôn là yếu tố quang trọng trong phạm vi kinh tế và kỹ thuật Tăng cường sự nhận biết về tầm quan trọng của việc kiểm tra chất lượng trong các lĩnh vực về kỹ thuật, là kết quả có được từ sự nhạy bén đến sự phát triển cấp bách trong việc cạnh tranh trên thế giới, đồi hỏi thị trường và người tiêu dùng ngày càng nâng cao, được sự bảo vệ và có điều luật về các trách nhiệm pháp lý cho sản phẩm

Việc kiểm tra chất lượng sản phẩm có nguồn gốc từ thời trung cổ trong đó có chất lượng được bảo đảm bằng việc huấn luyện những người thợ làm ra sản phẩm trong thời gian dài Việc huấn luyện này đã thấm nhuần vào những người thợ và tay nghề chế tạo sản phẩm của họ Lĩnh vực kiểm tra chất lượng đã được triển khai trong nhiều nhà máy nhằm mục đích giám sát được chất lượng của tất cả sản phẩm Cũng cần phải có các nhân viên kiểm tra chất lượng gặp nhau để thảo luận về việc kiểm tra chất lượng các sản phẩm của nhà máy và đưa ra những thay đổi cần thiết.

Ý nghĩa khoa học và thực tiễn của đề tài

Cùng với sự phát triển ngày càng tiến bộ và mạnh mẽ của trí tuệ nhân tạo trong nhiều lĩnh vực và ngành nghề khác nhau Việc ứng dụng trí tuệ nhân tạo mà cụ thể là học sâu vào lĩnh vực đánh giá các mối hàn sẽ mang lại những đóng góp nhất định cho lĩnh vực này

6 Đóng góp vào quá trình giáo dục và rèn luyện cho các các sinh viên học hàn hồ quang tay trong trường ĐH Sư Phạm Kỹ Thuật TP.HCM Việc nghiên cứu đề tài góp phần chất lượng giáo dục trình độ của sinh viên trường ĐH Sư Phạm Kỹ Thuật TP.HCM được nâng cao Kết quả nghiên cứu cũng góp phần giúp ban lãnh đạo nhà trường tiết kiệm thời gian, công sức và kinh tế hơn cho nhà trường.

Mục tiêu nghiên cứu của đề tài

- Mục đích nghiên cứu đề tài là tạo ra thiết bị có thể thu thập được các hình ảnh của mối hàn ngoại quang trong môi trường đào tạo và giáo dục, thiết bị sẽ được phục vụ cho các trung tâm và nhà trường dung để đào tạo các học sinh, sinh viên học hàn

- Thiết bị sau khi thu thập được hình ảnh sẽ có thể xử lý hình ảnh, sử dụng nhiều thuật toán cao cấp “học sâu” để từ đó đưa ra được hình ảnh rõ nét nhất của mối hàn Tiếp theo đó sẽ được đánh giá trực tiếp dựa trên hình ảnh ngoại quang và bề mặt của mối hàn

- Từ đó sẽ thay thế các giảng viên và sức lực con người bằng thiết bị tự động thu thập hình ảnh và đánh giá này.

Đối tượng và phạm vi nghiên cứu

1.6.1 Đối tượng nghiên cứu Đối tượng chính nghiên cứu được đề cập trong đề tài này bao gồm:

- Mối hàn hồ quang tay giáp mối của các tấm phôi có kích thước dự kiến rộng 30 mm, dài 100 mm Cụ thể là hình ảnh ngoại quang về chất lượng các mối hàn hồ quang tay của các sinh viên trong quá trình thực tập bài tập hàn

- Các phương pháp và thuật toán xử lý ảnh thông dụng như phát hiện biên, tách ngưỡng ảnh, chuyển đổi không gian màu từ đó có thể ứng dụng trong nhận diện các mối hàn

- Các ứng dụng về trí tuệ nhân toạ mà cụ thể là phương pháp học sâu để nhận diện và trích xuất các đặc trưng về khuyết tật của hình ảnh mối hàn từ đó đưa đó ra đánh giá ngoại quang hình ảnh mối hàn hồ quang tay

Dựa vào khối lượng công việc của đề tài thiết kế chế tạo thiết bị thu thập và xử lý ảnh ngoại quan mối hàn hồ quang tay và thời gian thực hiện đồ án tốt nghiệp Đề tài lần này sẽ giới hạn phạm vi nghiên cứu với các mục tiêu sẽ đạt được như sau:

- Hoàn thành việc thiết kế, chế tạo thiết bị thu thập hình ảnh ngoại quan mối hàn hồ quang tay

- Hoàn thành được phần mềm tích hợp việc kết nối giữa thiết bị thu thập hình ảnh và thuật toán đánh giá ảnh ngoại quan mối hàn hồ quang tay

- Phần mềm có thể thực hiện được việc nhận dạng và thu thập ảnh mối hàn hồ quang tay

- Phần mềm có thể thực hiện đánh giá và phân loại ảnh ngoại quan mối hàn hồ quang tay theo 4 cấp độ là A, B, C, D với độ chính xác đạt trên 80%.

Phương pháp nghiên cứu

Tìm hiểu về lý thuyết và kiến thức cơ bản liên quan đến đề tài, bao gồm các kỹ thuật thu thập hình ảnh, đánh giá mối hàn, thiết bị thu thập hình ảnh và phần mềm cần thiết Nhóm đã sử dụng các tài liệu tham khảo như sách, bài báo, bài báo cáo để tìm hiểu và học hỏi kiến thức liên quan đến đề tài

Sau đó, tiến hành thiết kế và lựa chọn phương án thích hợp cho việc xây dựng thiết bị thu thập hình ảnh và đánh giá mối hàn ngoại quan Nhóm đã sử dụng phần mềm và công cụ hỗ trợ để tạo ra các bản vẽ thiết kế và sử dụng các camera, phần mềm phù hợp với yêu cầu của đề tài

Tiếp theo tiến hành thực hiện lắp ráp, chế tạo và kiểm tra thiết bị, đảm bảo hoạt động đúng chức năng Nhóm đã sử dụng các công cụ và thiết bị hỗ trợ để tiến hành lắp ráp và kiểm tra thiết bị, đảm bảo rằng thiết bị hoạt động đúng chức năng và đáp ứng được các yêu cầu của đề tài

Sau khi hoàn thành lắp ráp và kiểm tra, nhóm đã thực hiện các thử nghiệm và đánh giá kết quả của thiết bị, đảm bảo tính chính xác và độ tin cậy của dữ liệu thu thập được Nhóm sử dụng các phương pháp nghiên cứu khoa học như thử nghiệm, phân tích, tổng hợp, so sánh, đánh giá để đảm bảo tính khoa học và đáng tin cậy của đề tài

Tổng hợp lại, cơ sở phương pháp luận của đề tài "Thiết kế thiết bị thu thập hình ảnh và đánh giá mối hàn ngoại quan" bao gồm các bước cơ bản của phương pháp luận khoa học, bao gồm tìm hiểu, xác định mục tiêu và phạm vi, thiết kế và lựa chọn phương án, lắp ráp và kiểm tra, thực hiện các thử nghiệm và đánh giá kết quả, đánh giá kết quả và đưa ra đề xuất cải tiến Qua đó, đảm bảo tính khoa học và đáng tin cậy của đề tài.

Kết cấu của ĐATN

Nội dung của đồ án tốt nghiệp được chia thành 6 phần chính tương ứng với 6 chương đề cập đến trong đồ án

- Chương 1 giới thiệu đặt vấn về đề tài nghiên cứu

- Chương 2 cơ sở lý thuyết

- Chương 3 phương hướng tiếp cận, phương pháp cụ thể

- Chương 4 Thiết kế thiết bị thu thập hình ảnh và đánh giá ngoại quan mối hàn hồ quang tay

- Chương 5 kết quả và đánh giá

- Chương 6 kết luận và kiến nghị

CƠ SỞ LÝ THUYẾT

Tổng quan về hàn hồ quang tay

2.1.1 Khái niệm và một số đặc điểm về hàn hồ quang tay Định nghĩa hàn hồ quang tay (hay còn gọi hàn que) là quá trình làm nóng chảy các que hàn bằng cách áp dụng điện cực dưới dạng que hàn và không sử dụng khí bảo vệ trong quá trình hàn que hàn được bảo vệ bởi thuốc bọc, trong đó tất cả các thao tác (gây hồ quang, dịch chuyển que hàn để tạo nên mối hàn, thay que hàn, căn chỉnh tốc độ hàn, căn chỉnh độ cao của que hàn) đều do người thợ hàn thực hiện bằng tay (hoàn toàn thủ công)

Hình 2.1 Mối hàn hồ quang tay trong thực tế

Một số đặc điểm của hàn hồ quang tay:

- Năng suất thấp do cường độ hàn bị hạn chế phụ thuộc nhiều vào tay nghề cũng như tốc độ của người thợ hàn

- Hình dạng, kích thước mối hàn không đồng đều do tốc độ hàn bị dao động, làm cho phần kim loại cơ bản tham gia vào mối hàn thay đổi yếu tố này phụ thuộc rất nhiều vào kỹ thuật của người hàn

- Chiều rộng vùng ảnh hưởng nhiệt tương đối lớn do tốc độ hàn nhỏ

- Phải đánh xỉ sau khi hoàn thành quá trình hàn và dễ xảy lỗi bắn tóe lớn

- Điều kiện làm việc của thợ hàn mang tính độc hại (do tiếp xúc bức xạ, hơi, khí độc, nhiệt lượng trong lúc hàn cũng như cường độ ánh cao cần phải bảo hộ tốt trong quá trình hàn) Ứng dụng trong thực tế của hàn hồ quang tay:

- Do tính linh hoạt, sự đơn giản của thiết bị và quy trình hoạt động của hàn hồ quang tay nên đây là một trong những phương pháp hàn phổ biến nhất

- Thích hợp cho hàn các chiều dày nhỏ và trung bình ở mọi tư thế trong không gian

- Chiếm ưu thế so với phương pháp hàn khác trong công nghiệp sữa chữa và phục hồi vì tính đa dụng và đơn giản hơn so với các phương pháp hàn phức tạp khác

- Được ứng dụng rộng rãi trong xây dựng kết cấu thép và chế tạo công nghiệp

2.1.2 Một số phương pháp đánh giá ngoại quang mối hàn hồ quang tay

Mục đích của phương pháp kiểm tra chất lượng mối hàn là để xác định khả năng đáp ứng các điều kiện làm việc của mối hàn, cụ thể xác định các tính chất cơ học, hóa học, kim loại học và xác định các khuyết tật, tính thẫm mỹ khả năng đáp ứng trong thực tế Ngoài ra việc kiểm tra chất lượng mối hàn còn được dùng để trình độ tay nghề thợ hàn và phân loại các quy trình hàn khác nhau

Trong thực tế những lỗi sai ở mối hàn hồ quang tay được gây ra bởi hai nguyên nhân chính bơi thiết bị hàn và tay nghề của người hàn Tuy nhiên những lỗi do gây nên do thiết bị hàn có thể kể đến như cường độ dòng điện hàn không phù hợp chúng ta sẽ không đề cập nhiều ở mục tiêu của đồ án này mà chỉ tập trung vào những lỗi bề mặt gây ra chủ yếu bởi tay nghề của người thợ hàn

Các phương pháp kiểm tra được chia thành hai phương pháp chính:

• Phương pháp kiểm tra phá hủy

• Phương pháp kiểm tra không phá hủy a) Kiểm tra phá hủy Đây là phương pháp dùng để đánh giá và kiểm tra chất lượng mối hàn bằng cách tác động cơ học hoặc hóa học để kiểm tra độ bền, tính chất cơ học, hóa học của mối hàn Cần phải lấy các mẫu thử cắt ra từ mối hàn sau đó kiểm tra theo các bước

Kiểm tra phá hủy có một số các phương pháp cơ bản sau:

• Kiểm tra kim loại học

• Thử độ kéo, uốn, độ dai va đập, độ cứng,…

Mục đích của việc kiểm tra phá hủy này là xác định được đặc tính cơ học của liên kết hàn để so sánh cơ tính của kim loại cơ bản Từ đó, cũng là cơ sở để đánh giá trình độ tay nghề của người thợ hàn một cách chính xác nhất [6]

Căn cứ vào các yêu cầu kỹ thuật và khả năng thiết bị kiểm tra, quy trình hàn được áp dụng để tiến hành kiểm tra thử uốn, thử kéo, thử độ cứng và độ dai, va đập của các liên kết dưới tác dụng của tải trọng tĩnh hoặc tải trọng động [6]

11 b) Kiểm tra không phá hủy

Phương pháp kiểm tra này sẽ sản phẩm mối hàn mà không gây phá hủy hoặc ảnh hưởng đến kết cấu nên có thể trực tiếp áp dụng lên sản phẩm hàn Trong thực tế có rất nhiều phương pháp kiểm tra không phá hủy, nhưng phụ thuộc vào trường hợp cần kiểm tra và yêu cầu cụ thể mà lựa chọn áp dụng phương pháp thích hợp Đây là phương pháp sẽ được sử dụng trong phạm vi đề tài này

Có rất nhiều cách để có thể kiểm tra chất lượng của mối hàn mà không gây phá hủy như: kiểm tra bằng cách quang sát, kiểm tra bằng mẫu có sẵn, kiểm tra bằng siêu âm, kiểm tra bằng phương pháp chiếu xạ (dùng các ảnh chụp tia X, Gamma), kiểm tra bằng phương pháp thẩm thấu, kiểm tra bằng bột từ,…

Chúng ta sẽ tập trung vào phương pháp kiểm tra bằng cách quang sát ngoại quang của mối hàn Những lỗi có thể dễ dàng bắt gặp phương này có thể kể đến như: văng tóe, lẫn sỉ, rỗ khí trong quá trình hàn, lệch đường hàn, không hình thành được đường hàn, cháy thủng,… Những lỗi như cháy thủng hoặc lệch đường hàn là những lỗi sẽ ảnh hưởng nhiều nhất đến chất lượng của mối hàn

2.1.3 Lý thuyết về tiêu chí kiểm tra ngoại quan mối hàn Để có thể đưa ra các lý thuyết về tiêu chí đánh giá ngoại quan mối hàn chúng tôi sẽ dựa trên lý thuyết đánh giá sử dụng các tiêu chuẩn của Hội Hàn Hoa Kỳ (American Welding Society - AWS) AWS là một tổ chức tiêu chuẩn và giáo dục về công nghệ hàn ở Hoa Kỳ [7] Dựa trên mục 6.9 kiểm tra ngoại quang (Visual Inspection) của tài liệu tham khảo [7] các tiêu chí đánh giá ngoại quang được nêu ra như sau:

- Tất cả mối hàn phải đáp ứng các tiêu chí trực quan như không có vết nứt, chồng lên nhau và sự gián đoạn trong lúc hình thành mối hàn

Tổng quan về thị giác máy

Thị giác máy là một lĩnh vực trong khoa học máy tính nhằm nghiên cứu và phát triển các thuật toán và phương pháp để giúp máy tính nhận diện, hiểu và tương tác với hình ảnh và video như con người

Tổng quan về thị giác máy bao gồm các khái niệm và công nghệ cơ bản như xử lý ảnh, phân tích hình ảnh, phân đoạn hình ảnh, nhận dạng đối tượng, phát hiện khuôn mặt, phân loại và nhận dạng vật thể, phân tích động, theo dõi đối tượng và nhiều hơn nữa

Như đã nêu ở trên xử lý ảnh chính là một trong những công nghệ quan trọng và không thể thiếu trong bất kỳ một hệ thống thị giác máy nào

Các phương pháp xử lý ảnh bắt đầu từ các ứng dụng chính: nâng cao chất lượng và phân tích ảnh Ứng dụng đầu tiên được biết đến là nâng cao chất lượng ảnh báo được truyền từ Luân đôn đến New York từ những năm 1920 Vấn đề nâng cao chất lượng ảnh có liên quan tới phân bố mức sáng và độ phân giải của ảnh Việc nâng cao chất lượng ảnh được phát triển vào khoảng những năm 1955 Điều này có thể giải thích được vì sau thế chiến thứ hai, máy tính phát triển nhanh tạo điều kiện cho quá trình xử lý ảnh số được thuận lợi hơn Năm 1964, máy tính đã có khả năng xử lý và nâng cao chất lượng ảnh từ mặt trăng và vệ tinh Ranger 7 của Mỹ bao gồm: làm nổi đường biên, lưu ảnh Từ năm 1964 đến nay, các phương tiện xử lý, nâng cao chất lượng, nhận dạng ảnh phát triển không ngừng Các phương pháp tri thức nhân tạo như mạng nơ-ron nhân tạo, các thuật toán xử lý hiện đại và cải tiến, các công cụ nén ảnh ngày càng được áp dụng rộng rãi và thu được nhiều kết quả khả quan hơn [7]

Hình 2.6 Sơ đồ quá trình xử lý ảnh

Quá trình xử lý ảnh có thể bao gồm nhiều bước tùy theo độ phức tạp của từng hệ thống cũng như các thống số đầu vào nhưng có thể kể đến các bước cơ bản của quá trình xử lý ảnh bao gồm các bước sau:

Sau khi qua bộ thu, hình ảnh có thể bị nhiễu tương phản thấp nên cần đưa vào bộ tiền xử lý để cải thiện chất lượng Chức năng chính của bộ tiền xử lý là lọc nhiễu và tăng cường độ tương phản giúp hình ảnh rõ ràng và làm rõ các đặc trưng của vật thể trong ảnh hơn

Bước này tập trung vào xử lý và làm sạch dữ liệu hình ảnh để chuẩn bị cho các bước xử lý tiếp theo Nó có thể bao gồm chuyển đổi màu sắc, cân bằng sáng, lọc nhiễu và các phép biến đổi khác để cải thiện chất lượng ảnh và tách rời các đối tượng quan tâm

Phân đoạn (Segmentation), phân vùng ảnh và trích xuất đặc tính của ảnh:

Phân vùng ảnh là tách một ảnh đầu vào thành các vùng thành phần bao gồm các vùng quang tâm trong ảnh có thể nhận diện được vật thể trong ảnh Đây là công đoạn phức tạp khó khăn nhất trong xử lý ảnh số và dễ gây lỗi cũng như phân vùng không chính xác, làm mất độ chính xác của ảnh Kết quả nhận dạng vật thể trong ảnh ảnh hưởng rất nhiều vào công đoạn này Bước này liên quan đến việc chia hình ảnh thành các phần nhỏ hơn, gọi là các vùng hoặc đối tượng, để hiểu cấu trúc và vị trí của chúng

Một hình ảnh được định nghĩa là một hàm hai chiều, F (x, y), trong đó x và y là các tọa độ không gian, và biên độ của F tại bất kỳ cặp tọa độ (x, y) nào được gọi là cường độ của hình ảnh tại điểm đó Khi các giá trị x, y và biên độ của F là hữu hạn, ta gọi nó là hình ảnh số hóa (digital image) Nói cách khác, một hình ảnh có thể được xác định bởi một mảng hai chiều, sắp xếp cụ thể theo hàng và cột [8]

Một số loại dữ liệu hình ảnh như:

- Ảnh nhị phân: ảnh nhị phân chỉ chứa những pixel có giá trị 0 hoặc 1 trong đó 0 chỉ màu đen và 1 chỉ màu trắng

- Ảnh màu 8 bit hay còn gọi là ảnh xám

- Ảnh màu 16 bit: ảnh màu được chia thành 3 kênh màu khác nhau là đỏ, xanh lam và xanh lục

PHƯƠNG HƯỚNG VÀ CÁC GIẢI PHÁP

Phương án thiết kế, chế tạo thiết bị

a) Đề xuất các phương án thiết kế, chế tạo thiết bị

Dựa vào thông số thiết kế được mô tả như trên, ta có thể hình dung ra được phôi hàn đầu vào của thiết bị được mô tả như hình bên dưới

Hình 3.1 Phôi hàn đầu vào dự kiến

Dựa vào kích thước và các đặc trưng của đầu vào thiết bị ở chương cơ sở lý thuyết, ta có thể ra đưa ra yêu cầu khi thiết kế thiết bị là phải đảm bảo các mối hàn được thu thập phải rõ, phải thu thập được đầy đủ độ đường hàn để đảm bảo hiệu suất của thiết bị Từ đó ta có thể đưa ra 2 phương hướng để thiết kế thiết bị như sau:

- Thiết bị sẽ thu thập và đánh từng mối hàn trên phôi hàn:

Hình 3.2 Phương án thiết kế tổng quan thiết bị số 1

Phương án thiết kế để thu thập và đánh giá cùng từng mối hàn là chế tạo một thiết với kích thước vừa đủ và bố trí camera hợp lý để người dùng có thể đưa lần lượt từng mối hàn vào và hệ thống sẽ đánh giá từng mối hàn

- Thiết bị sẽ thu thập và đánh giá cùng lúc 5 mối hàn trên phôi hàn:

Hình 3.3 Phương án thiết kế tổng quan thiết bị số 2

Phương án thiết kế để thu thập và đánh giá cùng lúc 5 mối hàn là chế tạo một thiết bị với kích thước đủ lớn để có thể chứa hết cả tấm phôi hàn và bố trí camera một cách hợp lý để người dùng có thể thu thập và hệ thống sẽ đánh giá cùng lúc 5 mối hàn

19 b) Phương án thực hiện thiết kế, chế tạo thiết bị

Dựa vào hai phương án được nêu ra ở trên để thiết kế thiết bị thu thập ảnh phô hàn và dựa vào các thông số đầu vào của thiết bị Ta có thể thấy kích thước phôi không quá lớn Do đó việc chế tạo kích thước của thiết bị thu thập cũng sẽ không quá lớn và quá cồng kềnh để có thể di chuyển một cách dễ dàng nên ta có thể lựa chọn được cả 2 phương án đối với yêu cầu về kích thước Riêng phương án hai ta có thể thấy năng suất của thiết bị được tăng lên đáng kể, việc thu thập cùng lúc 5 mối hàn làm tăng hiệu năng của thiết bị về số lần thực hiện và tận dụng tốt tài nguyên hệ thống phần mềm, và khi thực hiện và phân loại với các thuật toán xử lý ảnh thì có thể tiêu tốn thời gian và tài nguyên của thiết bị nên việc xử lý 5 mối hàn cùng lúc có thể giảm thiểu thời gian phân loại hơn ở phương án đầu tiên Từ đó ta có thể thấy phương án 2 có hiệu suất tối ưu hơn và thiết bị sẽ chọn phương án thứ 2 để thực hiện thiết kế thiết bị thu thập ảnh phôi hàn

Hình 3.4 Phương án lựa chọn thiết kế tổng quan thiết bị.

Phương án thu thập hình ảnh

a) Đề xuất các phương án thu thập hình ảnh

• Phương án thiết lập camera

Thu thập mối hàn là phần quan trọng của thiết bị, việc thu thập mối hàn sẽ ảnh hưởng trực tiếp đến hiệu suất của hệ thống như: chất lượng ảnh khi nhận dạng, độ chính xác khi phân loại mối hàn,… Do đó, việc lên phương án thiết lập camera cho thiết bị cần đảm bảo các yếu tố tối thiểu như: chất lượng ảnh nhận vào phải rõ ràng, ánh sáng đủ tốt, gá đặt phôi dễ dàng… để đảm báo hiệu suất của thiết bị một cách tốt nhất Từ các yếu tố trên ta có thể có các phương án thiết kế sau:

Hình 3.5 Phương án thu thập hình ảnh số 1

- Phương án đầu tiên là sẽ đặt phôi hàn nằm đứng và camera sẽ đặt nằm ngang để thu thập dữ liệu Việc này đòi hỏi phải thiết kế thiết bị một cách hợp lý để camera có thể đảm bảo thu thập được bao quát toàn bộ kích thước của phôi hàn Và phải đảm bảo người sử dụng có thể gá đặt phôi nằm đứng để người dùng có thể thao tác một cách dễ dàng

Hình 3.6 Phương án thu thập hình ảnh số 2

- Phương án thứ hai là sẽ đặt phôi hàn nằm ngang và camera sẽ được đặt thẳng đứng hương về để thu thập dữ liệu Việc này đòi hỏi phải thiết kế thiết bị một cách hợp lý để camera có thể đảm bảo thu thập được bao quát toàn bộ kích thước của phôi hàn Ở phương án này người dùng có thể gá đặt phôi một cách đơn gian và có thể tùy chỉnh phôi một cách dễ dàng hơn nhưng việc gá đặt camera phải thiết kế phần gá đặt phức tạp hơn ở phương án trên để đảm bảo yêu cầu

• Phương án thiết lập ánh sáng

Trong việc thu thập hình ảnh cho thiết bị, hệ thống ánh sáng bổ trợ cũng là phần khá quan trọng của thiết bị Ánh sáng sẽ ảnh hưởng trực tiếp đến màu sắc ảnh đầu vào của hệ thống, từ đó ảnh hưởng trực tiếp đến hiệu xuất xử lý ảnh để nhận diện và phân loại các mối

21 hàn của hệ thống Do đề tài thực hiện xử lý ảnh trực tiếp với kim loại, cần tránh các đặc tính mà kim loại phản ứng với ánh sáng như: bị chói sáng khi ánh sáng chiếu thẳng vào bề mặt kim loại, mối hàn, thay đổi màu các đặt tính của bề mặt khi ánh sáng chiếu vào,… Việc thiết lập ánh sáng bổ trợ cho thiết bị phải đáp ứng đủ các yêu cầu để tránh việc ảnh hưởng đến hiệu suất của hệ thống như: không sử dụng ánh sáng màu sắc làm ảnh hưởng đến ảnh đầu vào, không thiết lập ánh sáng chiếu trực tiếp vào phôi, hạn chế hiện tưởng đổ bóng làm tăng kích thước phôi khi nhận diện,… để đảm bảo thiết bị có thể đáp ứng điều kiện ánh sáng tốt nhất cho hệ thống nhận diện và phân loại b) Phương án thực hiện thu thập hình ảnh

Từ các phương án thiết kế thiết lập về việc thu thập hình ảnh của thiết bị ta thấy có 2 phương án về việc lắp đặt thiết bị

- Phương án 1: ở phương án 1 ta nhận thấy việc lắp đặt camera nằm ngang sẽ dễ dàng tùy chỉnh tiêu cự và đảm bảo an toàn cho camera nhưng việc gá đặt phôi phải thiết kế đảm bảo người dùng có thể dễ dàng đặt phôi vào thiết bị để phôi có thể nằm thẳng đứng, việc này có thể sẽ gây khó khăn hơn cho người dùng nếu muốn điều chỉnh phôi vì phôi muốn nằm thẳng đứng phải được gá cố định

- Phương án 2: ở phương án này ta có thể thiết kế đặt phôi nằm trên mặt phẳng nằm ngang, việc đặt phôi vào thiết bị có thể sử dụng một rãnh trượt để đẩy phôi vào thiết bị để nhận dạng và phân loại với thiết kế đã chọn ở phương án lựa chọn thiết kế tổng quan thiết bị Việc thiế kế này yêu cầu phải gá đặt camera một cách chắc chắn để đảm bảo thiết bị, nhưng người dùng khi sử dụng thiết bị với phương án này có thể dễ dàng cho việc đặt phôi vào thiết bị và tùy chỉnh phôi nếu xảy ra vấn đề liên quan đến việc đặt phôi hàn

Dựa vào các ưu điểm và nhược điểm của 2 phương án trên, nhóm nhận thấy ở phương án 2 có thể sử dụng rãnh trượt để để đưa phôi vào thiết bị và việc đưa phôi để đưa vào cũng trở nên dễ dàng với người dùng vì không cần gá phôi, điều này có thể tách biệt thiết bị làm tách biệt giữa hoạt động của người dùng và thiết bị, ta có thể đóng gói thiết bị và tùy chỉnh thiết bị chỉ khi cần thiết, điểm lưu ý ở phương án này là cần gá đặt camera một cách an toàn và đảm bảm ảnh nhận được từ camera đáp ứng đủ các điều kiện cần thiết để phân loại mối hàn và việc đó có thể đáp ứng được Do đó nhóm sẽ chọn phương án thứ 2 làm phương án thiết lập thu thập hình ảnh

Hình 3.7 Phương án lựa chọn thu thập hình ảnh.

Phương án thiết kế giao diện người dùng

Thiết kế giao diện người dùng là phần quan trọng của thiết bị, đây là phần giao tiếp giữa người dùng và hệ thống Việc thiết kế giao diện người dùng đòi hỏi phải đáp ứng các yêu cầu như: đầy đủ các chức năng cần thiết để phục vụ cho việc nhận dạng và phân loại các mối hàn thông qua hình ảnh, kết nối được trực tiếp với thiết bị, giao diện dễ sử dụng, màu sắc thân thiện, hệ thống không được xuất hiện các lỗi về code, các lỗi của người phát triển, giao diện nên được đóng gói thành một ứng dụng giúp người dùng dễ dàng sử dụng Và đầu tiên để đáp ứng được các yêu cần nêu trên ta phải lên phương án thiết kế giao diện người dùng bằng ngôn ngữ nào để đáp ứng toàn bộ hệ thống hoạt động ổn định nhất a) Đề xuất các phương án thiết kế giao diện người dùng

• Thiết kế giao diện với ngôn ngữ C++

C++ là một ngôn ngữ lập trình mạnh mẽ và linh hoạt, thường được sử dụng để phát triển các ứng dụng yêu cầu hiệu suất cao và giao diện người dùng phức tạp như ứng dụng xử lý ảnh Ngôn ngữ C++ cung cấp các thư viện mạnh mẽ như OpenCV, Qt và wxWidgets,… giúp xây dựng giao diện người dùng tương tác và xử lý ảnh hiệu quả Là ngôn ngữ có các đặc tính như đa luồng (multithreading) và quản lý bộ nhớ (memory management) để tối ưu hóa hiệu suất và xử lý ảnh nhanh chóng Có thể tạo các luồng riêng biệt để xử lý các tác vụ đồng thời và sử dụng các kỹ thuật tối ưu hóa như trỏ con trỏ và cấp phát động để quản lý bộ nhớ một cách hiệu quả

Việc sử dụng C++ để thiết kế giao diện ứng dụng xử lý ảnh mang lại nhiều lợi ích, bao gồm khả năng tùy biến cao và hiệu suất ổn định Ngôn ngữ có thể phát triển ứng dụng xử lý ảnh đa nền tảng, chạy trên nhiều hệ điều hành như Windows, macOS và Linux Có thể tạo ra

23 các ứng dụng xử lý ảnh chất lượng cao, đáp ứng yêu cầu hiệu suất và giao diện người dùng phức tạp Ưu điểm:

- Hiệu suất cao: C++ là một ngôn ngữ lập trình gần với phần cứng và có khả năng tối ưu hóa mã Cho phép tạo ra ứng dụng xử lý ảnh với hiệu suất cao, thời gian phản hồi nhanh và khả năng xử lý dữ liệu lớn

- Đa nền tảng: C++ có tính chất đa nền tảng, cho phép phát triển ứng dụng xử lý ảnh chạy trên nhiều hệ điều hành khác nhau như Windows, macOS và Linux Điều này giúp đạt được sự linh hoạt và khả năng phân phối rộng

- Thư viện mạnh mẽ: C++ có sẵn các thư viện mạnh mẽ như OpenCV, Qt và wxWidgets, giúp đơn giản hóa việc phát triển giao diện người dùng và xử lý ảnh Những thư viện này cung cấp các công cụ và thuật toán tiên tiến để thao tác với ảnh, trích xuất thông tin và hiệu chỉnh hình ảnh

- Kiểm soát bộ nhớ: C++ cung cấp khả năng kiểm soát bộ nhớ tương đối cao, cho phép bạn quản lý một cách chính xác việc cấp phát và giải phóng bộ nhớ Điều này giúp tối ưu hóa sử dụng bộ nhớ và tránh các vấn đề liên quan đến rò rỉ bộ nhớ

- Phức tạp hơn so với ngôn ngữ khác: C++ là một ngôn ngữ phức tạp, có nhiều quy tắc và khái niệm cần nắm vững Việc học và sử dụng C++ có thể đòi hỏi thời gian và kiên nhẫn hơn so với một số ngôn ngữ lập trình khác

- Dễ xảy ra lỗi: C++ không có cơ chế tự động quản lý bộ nhớ như ngôn ngữ lập trình cao cấp khác như Python Việc quản lý bộ nhớ thủ công có thể dẫn đến lỗi như rò rỉ bộ nhớ hoặc truy cập sai vào vùng nhớ

- Kích thước tập tin lớn: Ứng dụng C++ có xu hướng có kích thước tập tin lớn hơn so với các ngôn ngữ lập trình khác Điều này có thể ảnh hưởng đến thời gian biên dịch và quản lý mã nguồn

- Tốn thời gian phát triển: Vì C++ là ngôn ngữ phức tạp và có nhiều quy tắc, việc phát triển ứng dụng C++ có thể tốn nhiều thời gian hơn so với các ngôn ngữ lập trình khác như Python

• Thiết kế giao diện với ngôn ngữ Python

Python là một ngôn ngữ lập trình phổ biến và mạnh mẽ, được sử dụng rộng rãi trong việc thiết kế giao diện người dùng cho ứng dụng xử lý ảnh Với cú pháp đơn giản, dễ học và dễ đọc, Python là sự lựa chọn lý tưởng để tạo ra các giao diện người dùng trực quan và tương

24 tác cho ứng dụng xử lý ảnh Một trong những lợi thế lớn của Python sự phát triển liên tục của các thư viện hỗ trợ Python cung cấp nhiều thư viện mạnh mẽ như Tkinter, PyQt và wxPython, giúp tạo ra giao diện người dùng đa dạng, đẹp mắt và chức năng cho ứng dụng xử lý ảnh Các thư viện này cung cấp các thành phần giao diện như nút bấm, ô nhập liệu, danh sách và hình ảnh, cho phép tạo ra giao diện tương tác và linh hoạt

Việc sử dụng Python để thiết kế giao diện người dùng cho ứng dụng xử lý ảnh cũng giúp tận dụng các thư viện xử lý ảnh phổ biến như OpenCV và PIL Python kết hợp mạnh mẽ với các thư viện này, cho phép thao tác và xử lý ảnh một cách dễ dàng Bạn có thể áp dụng các thuật toán xử lý ảnh, trích xuất thông tin, thực hiện các phép biến đổi và hiệu chỉnh hình ảnh trong giao diện người dùng của mình

Một ưu điểm khác của Python cũng như C++ là tính đa nền tảng, cho phép phát triển ứng dụng xử lý ảnh chạy trên nhiều hệ điều hành như Windows, macOS và Linux Ưu điểm:

Phương án nhận diện và phân loại mối hàn

a) Đề xuất các phương án nhận diện và phân loại mối hàn

Trong phần này, chúng tôi tập trung vào các phương pháp nhận diện và phân loại mối hàn, nhằm cung cấp một cách tiếp cận hiệu quả để xử lý dữ liệu hình ảnh liên quan đến quá trình hàn Mục tiêu của chúng tôi là tạo ra một hệ thống tự động nhận diện và phân loại mối hàn, giúp đánh giá chất lượng mối hàn hồ quang tay trong quá trình thực tập một cách khách quan Để đạt được mục tiêu này, chúng tôi sẽ khảo sát và áp dụng các phương pháp trong lĩnh vực nhận diện hình ảnh, thị giác máy và mạng nơ ron nhân tạo Chúng tôi sẽ xem xét sự áp dụng của các mô hình học sâu như Convolutional Neural Networks (CNNs), Recurrent Neural Networks (RNNs), và các kiến trúc mạng nơ-ron tích chập trong việc nhận diện và phân loại mối hàn

Ngoài ra, chúng tôi sẽ tìm hiểu về các thuật toán xử lý ảnh để tối ưu quá trình nhận diện cũng như cắt hình ảnh các mối hàn từ đó dễ dạng nhận dạng và đưa ra các đánh giá Các kỹ thuật này bao gồm lọc ảnh, biến đổi màu sắc, xử lý nhiễu và phân đoạn hình ảnh, các phương pháp hình thái học, phát hiện biên của vật thể Chúng tôi sẽ nghiên cứu và thực hiện các phương pháp này để cải thiện độ chính xác và hiệu suất của hệ thống nhận diện và phân loại mối hàn

Cuối cùng, chúng tôi sẽ đánh giá hiệu suất của hệ thống bằng cách sử dụng các tập dữ liệu được cung cấp, trên các tấm phôi hàn thực tế và đưa ra những kết luận Chúng tôi sẽ đề xuất các tiêu chí đánh giá như độ chính xác, độ nhạy và độ hiệu quả cũng như tính thực tế để đánh giá khả năng của hệ thống b) Phương án thực hiện nhận diện và phân loại mối hàn

• Phương án thực hiện nhận diện mối hàn Để có thể nhận diện và tách ra từng hình ảnh chỉ chứa các mối hàn hồ quang tay Chúng tôi đề xuất một số phương án như sau:

Sử dụng thuật toán phát hiện biên của vật thể: Chúng tôi sẽ áp dụng thuật toán phát hiện biên để xác định vùng tấm phôi trong khung hình Sau khi xác định vùng tấm phôi, chúng tôi sẽ tiếp tục xác định biên của các mối hàn để xác định vị trí của chúng trong khung hình Tuy nhiên, trong thực tế, khung hình thường bị nhiễu bởi các yếu tố bên ngoài và tấm phôi có thể chứa các lỗi như văng tóe hoặc biến đổi nhiệt trong quá trình hàn Điều này có thể làm nhiễu các phương pháp phát hiện biên và dẫn đến nhận diện không chính xác các mối hàn

Sử dụng ngưỡng ảnh xám: Chúng tôi đề xuất sử dụng phương pháp ngưỡng ảnh xám để tách riêng vật khỏi khung hình xám Vì màu sắc của tấm phôi thường là màu tối, phương pháp này có thể giúp xác định vị trí của tấm phôi một cách chính xác trong khung hình Sau khi xác định được vị trí của tấm phôi, chúng tôi sẽ tìm cách chuyển đổi không gian màu sắc và lọc ra màu của các mối hàn Màu sắc của các mối hàn sau khi hàn sẽ nổi bật hơn so với màu sắc của phôi, từ đó chúng tôi có thể xác định vị trí chính xác của các mối hàn Phương pháp này được lựa chọn vì việc sử dụng ngưỡng có thể giảm thiểu số lượng nhiễu, và nhiễu có thể được khử bằng các phương pháp xử lý ảnh khác như lọc nhiễu

Với các phương án nhận diện mối hàn trong khung hình này, chúng tôi hy vọng sẽ đạt được kết quả chính xác và tối ưu, giúp cải thiện quá trình nhận diện các mối hàn

• Phương án thực hiện phân loại mối hàn

Mô hình đã được thiết kế để học từ sự đa dạng của các mối hàn, cho phép phân loại mối hàn của học viên dựa trên độ hoàn thiện của mối hàn đó Hình ảnh mối hàn sau khi được thu thập, hệ thống sẽ phân tích và xác định các khuyết tật trên bề mặt mối hàn, sau đó chia chúng thành 4 mức chất lượng khác nhau: Mức A (mối hàn đẹp, không tồn tại khuyết tật hoặc chỉ có khuyết tật nhỏ được chấp nhận), Mức B (mối hàn hình thành nhưng có tồn tại khuyết tật nhỏ đến vừa), Mức C (mối hàn hình thành hơn một nửa đường hàn với các khuyết tật lớn hoặc khuyết tật vừa với tần suất cao), và Mức D (hầu như không hình thành đường hàn)

Thông qua việc phân loại mối hàn theo các mức chất lượng này, học viên có thể nhận biết được những sai sót đã xuất hiện trong quá trình hàn và nhận được những góp ý để khắc phục cho các đường hàn tiếp theo Điều này giúp cung cấp thông tin phản hồi xây dựng và hỗ trợ cho học viên trong quá trình luyện tập, từ đó nâng cao kỹ năng hàn của họ

Chúng tôi đã lựa chọn sử dụng mạng nơ-ron tích chập (CNNs) cho việc phân loại mối hàn CNNs được biết đến là một phương pháp mạnh mẽ trong xử lý hình ảnh, với khả năng tự động học các đặc trưng quan trọng từ dữ liệu Chúng tôi sẽ xây dựng một mô hình CNNs đa tầng với các lớp tích chập, lớp gộp, và lớp kết nối đầy đủ để trích xuất và học các đặc trưng của mối hàn Để tăng cường khả năng phân loại, chúng tôi sẽ áp dụng kỹ thuật trích xuất đặc trưng để tăng độ chính xác Các mô hình huấn luyện như VGG16, ResNet50 có thể được sử dụng để trích xuất các đặc trưng phổ biến của mối hàn

Trước khi áp dụng mô hình nhận diện và phân loại, chúng tôi sẽ thực hiện các bước tiền xử lý và tăng cường ảnh để cải thiện chất lượng và độ tin cậy của dữ liệu Các phương pháp như làm mờ, cân bằng độ sáng, xử lý nhiễu, và cắt tỉa hình ảnh sẽ được áp dụng để loại bỏ nhiễu và tối ưu hóa các đặc trưng của mối hàn Đánh giá hiệu suất: chúng tôi sẽ đánh giá hiệu suất của phương án lựa chọn bằng cách sử dụng các tập dữ liệu mẫu, chia thành tập huấn luyện và tập kiểm tra Chúng tôi sẽ đo đạc độ chính xác, độ nhạy và tốc độ phản hồi của hệ thống phân loại mối hàn Các kết quả sẽ được thực nghiệm trên mối hàn thực

Với việc lựa chọn phương án nhận diện và phân loại mối hàn này, chúng tôi hy vọng sẽ xây dựng được một hệ thống mạnh mẽ và chính xác, đóng góp vào việc cải thiện quá trình hàn và đảm bảo chất lượng hàn.

Trình tự công việc tiến hành

Trình tự công việc tiến hành đề tài thiết kế chế tạo thiết bị thu thập và xử lý ảnh ngoại quan mối hàn hồ quang tay bao gồm 4 giai đoạn như sau:

• Giai đoạn 1: nghiên cứu đề tài và nêu ý tưởng

- Nghiên cứu tổng quan và chi tiết đề tài

- Đặt mục tiêu và kỳ vọng đạt được khi thực hiện đề tài

- Lên ý tưởng thiết kế tổng quát thiết bị: thiết kế tổng quan, các chi tiết cần cho thiết bị.v.v

- Lên ý tưởng thiết kế phần mềm của thiết bị: ngôn ngữ lập trình, các thư viện sử dụng, các thuật toán có thể sử dụng.v.v

• Giai đoạn 2: Lựa chọn giải pháp

- Lựa chọn các giải pháp thiết kế tổng quát thiết bị: lựa chọn vật liệu, phương pháp gia công, các thiết bị cần cho đề tài

- Lựa chọn các giải pháp thiết kế phần mềm của thiết bị: ngôn ngữ sử dụng, thư viện sử dụng, lựa chọn thuật toán tối ưu cho thiêt bị.v.v

• Giai đoạn 3: Thực hiện đề tài

- Thiết kế bản vẽ, gia công các chi tiết và thực hiện lắp ghép thiết bị

- Thiết kế giao diện phần mềm và thực hiện tạo giao diện trên máy tính

- Tính toán và thực hiện các thuật toán xử lý ảnh và deep learning

- Kết hợp phần cứng và phần mềm lại thành một thiết bị hoàn chỉnh

- Thực nghiệm, đánh giá và nâng cấp thiết bị

• Giai đoạn 4: hoàn thành thiết bị

THIẾT KẾ, CHẾ TẠO THIẾT BỊ NHẬN DIỆN VÀ ĐÁNH GIÁ NGOẠI QUAN MỐI HÀN HỒ QUANG TAY

Thiết kế, chế tạo thiết bị

4.1.1 Thiết kế thiết bị a) Thông số thiết kế

Thông số thiết kế đầu vào: Nhằm hỗ trợ việc đào tạo thực tập hàn hồ quang tay trong các môn học thực tập hàn Dữ liệu đầu vào của bài toán sẽ là tấm phôi sau khi hàn của các sinh viên sau khi thực tập hàn hồ quang tay để đưa ra những đánh giá ngoại quan cũng như cấp độ hoàn thiện của mối hàn Hình ảnh mối hàn đầu vào là hình ảnh phôi hàn giáp mối của sáu tấm phôi nhỏ có kích thước là dài 100 mm và rộng là 30mm được hàn giáp mối sáu tấm theo chiều dọc của phôi hàn

Hình 4.1 Hình minh họa phôi hàn

Hình 4.2 Phôi sau khi hàn trong thực tế

Mục tiêu thiết kế thiết kế cơ khí: yêu cầu đề ra là một thiết kế đơn giản và nhỏ gọn nhưng phải đảm bảo đáp ứng tất cả các điều kiện cũng như các tính năng cần thiết Có thể tháo lắp dễ dàng để có thể cân chỉnh về phần cứng và có thể dễ dàng thay thế sửa chữa trong quá trình sử dụng Người dùng có thể dễ dàng thao tác trên thiết bị, dễ dàng làm quen không quá phức tạp b) Sơ đồ khối

Hình 4.3 Sơ đồ khối của thiết bị c) Mô tả hoạt động của thiết bị

Thiết bị thu thập hình ảnh bao gồm khung chính của thiết bị, người dùng sẽ tiến hành kết nối nguồn điện và máy tính xách tay (laptop) hoặc máy tính để bàn thông qua cổng kết nối mạng RJ45 Sau khi đã kết nối thành công với thiết bị người dùng sẽ đặt phôi đã hàn vào bên trong thiết bị và bật hệ thống chiếu sáng Trên máy tính xách tay hoặc máy tính để bàn đã kết nối người dùng mở phần mềm thu thập và đánh chất lượng ngoại quang của mối hàn, từ giao diện người dùng tiến hành mở camera nhấn chụp hình từ phầm mềm camera sẽ chụp hình ảnh của phôi hàn và tự động nhận diện các mối hàn và sẽ đưa ra đánh giá về mối hàn Người dùng có thể lưu lại những hình ảnh đã được chụp hoặc có thể lược bỏ và tiến hành lại quá trình trên để lưu lại hình ảnh mới

32 d) Thiết kế thiết bị trên phần mềm CAD

Hình 4.4 Bản vẽ lắp thiết bị

Hình 4.5 Mô hình 3D của thiết bị

4.1.2 Chế tạo thiết bị a) Lựa chọn vật liệu cho khung và vỏ thiết bị

Thiết bị nhận diện và phân loại ảnh ngoại quan mối hàn hồ quan tay là thiết bị dùng chủ yếu tập vào việc xử lý ảnh và ứng dụng deep learning để phân loại ảnh Do đó ta có thể lựa chọn các vật liệu không cần chú trọng nhiều vào độ cứng, độ chịu lực, chịu tải Do đó ở đề tài này, ta có thể chọn vật liệu là nhôm định hình để làm khung cho thiết bị với các tính chất của nhôm định hình đủ để đáp ứng để làm khung cho thiết bị như: trọng lượng nhẹ, độ bền cao, tính cơ học tốt, tính thẫm mỹ và dễ dàng trong việc gia công thiết bị

Phần vỏ bao bọc của thiết bị cũng không cần phải lựa chọn các vật liệu cần độ chịu lực mà chỉ cần đáp ứng đủ điều kiện để bảo vệ các thiết bị bên trong như camera, đèn Do đó ta có thể lựa chọn các vật liệu như fomex, mica, aluminium,… để làm vật liệu cho phần vỏ bao bọc thiết bị Ở đề tài này nhóm sẽ chọn nhôm nhựa aluminium là phần vỏ cho thiết bị vì nhôm nhựa aluminium là sự kết hợp giữa tính cứng của nhôm và tính linh hoạt của nhựa Điều này tạo ra một vật liệu có khả năng chống va đập, chịu lực và chống biến dạng tốt, đồng thời vẫn đảm bảo tính linh hoạt và dễ dàng gia công và những đặc tính này đủ để đáp ứng điều kiện để làm phần vỏ bao bọc cho thiết bị

Hình 4.7 Nhựa nhôm aluminium b) Chế tạo khung và vỏ thiết bị

Hình 4.8 Thiết kế và chế tạo khung thiết bị c) Lựa chọn camera Ở đề tài này, camera là một thiết bị quan trọng vì thiết bị sẽ hoạt động chủ yếu với camera và ảnh nhận từ camera sẽ ảnh hưởng trực tiếp đến hiệu suất của thiết bị Do đó khi

35 lựa chọn camera cho thiết bị cần chú trọng vào yếu tố như: độ phân giải, tốc độ khung hình, độ bền, khả năng kết và khả điều chỉnh để thiết bị của thể hoạt động đa năng hơn Ở thiết bị này, nhóm chọn camera công nghiệp để thu thập hình ảnh cho thiết bị thay vì webcam vì camera công nghiệp có độ phân giải cao và tốc độ khung hình nhanh hơn so với webcam thông thường Điều này quan trọng để đảm bảo nhận diện và đánh giá chính xác các chi tiết của mối hàn Camera công nghiệp có thể hoạt động trong môi trường công nghiệp khắc nghiệt, nơi có nhiều rung động, bụi bẩn, và ánh sáng khó khăn Và camera công nghiệp có khả năng điều chỉnh về tiêu cự, độ sáng giúp thiết bị có thể đáp ứng đa dạng với môi trường và kiểu phôi đầu vào

Hình 4.9 Camera công nghiệp Flir Grasshopper2

Với các điều kiện cần như trên, nhóm lựa chọn camera công nghiệp Flir Grasshopper2 làm thiết bị thu thập hình ảnh với các đặc tính sau:

Bảng 4.1 Đặc tính camera Flir Grasshopper2 [13]

Mã camera GigE GS2-GE-20S4C-C

Tốc độ khung hình 29 fps Độ phân giải 1624 x 1224

Số lượng điểm ảnh 2 MP

Cảm biến 1/1.8" Sony ICX274 CCD

Nhiệt độ khi hoạt động 0 đến 45 độ

Kích thước 44 mm × 29 mm × 58 mm d) Chế tạo cơ cấu gá đặt camera

Hình 4.10 Thiết kế và chế tạo cơ cấu gá camera e) Lựa chọn thiết bị chiếu sáng

Thiết lập ánh sáng cho thiết bị là điều quan trọng của thiết bị vì ánh sáng sẽ bổ trợ cho camera thu thập dữ liệu hình ảnh và điều này ảnh hưởng trực tiếp đến hiệu suất của hệ thống Ánh sáng nên chọn là ánh sáng trắng, có thể chiếu sáng đều cả thiết bị, ánh sáng không nên quá sáng hoặc quá yếu, và không làm đổ bóng hoặc làm phản ánh sáng mối hàn của phôi làm ảnh hưởng chất lượng nhận dạng và phân loại Từ đó, nhóm quyết định sử dụng led dây với điện áp 5V để bổ trợ ánh sáng cho camera vì led dây có thể đa dạng điều chỉnh và bố trí để có thể thiết lập ánh sáng đều cho cả thiết bị, và dòng điện của led được cấp bằng cổng USB có thể kết nối trực tiếp với laptop hoặc máy tính khi sử dụng

Hình 4.11 Dây led 5V kết nối USB.

Thiết kế phần mềm của thiết bị

Mục tiêu của thiết kế giao diện cho thiết bị là tạo ra được ứng dụng cho người dùng sử dụng mà không cần các bước cài đặt phức tạo Ứng dụng phải đáp ứng các yêu cầu tối thiểu về các chức năng và ứng dụng được các thuật toán xử lý ảnh và AI để phục vụ cho việc nhận dạng và phân loại ảnh mối hàn thu thập được từ camera

4.2.2 Thiết kế giao diện tương tác với thiết bị a) Liệt kê các chức năng của thiết bị

Dựa trên những yêu cầu của mục tiêu thiết kế giao diện cho thiết bị nhận diện và đánh giá mối hàn hồ quang, ta có thể liệt kê được các chức năng cần thiết của phần mềm để thực hiện việc thiết kế giao diện cho thiết bị như sau:

Bảng 4.2 Các chức năng cần thiết của phần mềm thiết bị

Chức năng Đặc tính Mô tả

Mở camera Nút nhấn Mở camera và hiện ảnh từ camera lên giao diện người dung

Chụp ảnh Nút nhấn Chụp ảnh phôi hàn nhận từ camera

Reset Nút nhấn Loại bỏ ảnh nếu ảnh chụp bị lỗi

Nhận diện mối hàn Thuật toán Thuật toán xử lý ảnh dùng để nhận diện mối hàn trên phôi hàn

Phân loại mối hàn Thuật toán Thuật toán deep learning dùng để phân loại từng mối hàn

Lưu ảnh Nút nhấn Lưu ảnh mối hàn và kiểu phân loại vào máy tính tập tin data b) Lưu đồ hoạt động của phần mềm thiết bị

Dựa trên các chức năng cần thiết đã liệt kê của thiết bị ta có thể sắp xếp các chức năng để tạo thành một lưu đồ tổng quát về các chức năng sẽ được thiết kế với lưu đồ tuần tự như sau:

Hình 4.12 Lưu đồ hoạt động của phần mềm thiết bị

- Ban đầu khi mở ứng dụng, người dùng cần nhấn nút chụp ảnh ở giao diện

- Khi nút mở camera được nhấn, phần mềm sẽ gọi hàm mở camera và camera sẽ được mở và trả về ảnh thực tế từ camera hiện lên phần mềm

- Khi người dùng bấm nút chụp ảnh thì phần mềm sẽ thực hiện chụp lại ảnh thu được từ camera, sau đó sẽ gọi hàm chứa thuật toán xử lý ảnh để thực hiện việc phân loại mối hàn và xuất những mối hàn đã nhận diện được lên giao diện người dùng

- Khi người dùng nhấn nút phân loại thì giao diện phần mềm sẽ đưa các ảnh của mối sau khi được nhận diện vào model deep learning đã được huấn luyện để phân loại và hiện giá trị phân loại mối hàn lên giao diện người dùng

- Khi người dùng nhấn lưu ảnh thì ảnh sẽ được lưu với tên ảnh được đặt theo số thứ tự ảnh trong folder chứa ảnh và sẽ kèm theo phân loại của ảnh đó c) Thiết kế sơ đồ khối giao diện người dùng

Dựa trên các chức năng của thiết bị đã được liệt kê ở trên ta có thể thiết kế được sơ đồ các khối chức năng cho giao diện cho người dùng như sau:

Hình 4.13 Sơ đồ giao diện người dùng

Sơ đồ giao diện người dùng dựa trên các chức năng được liệt kê khi thiết kế sẽ bao gồm các thành phần với các chức năng như sau:

- Khung chứa ảnh thu được từ camera.

- Khung chứa ảnh các mối hàn sau khi được nhận diện từ phôi.

- Khung chứa phân loại sau khi mối hàn được xử lý qua thuật toán phân loại.

- Nút nhấn mở camera: mở camera và hiện ảnh thu được từ thiết bị.

- Nút nhấn chụp phôi: nhận diện mối hàn và hiện ảnh mối hàn được nhận diện.

- Nút nhấn đánh giá: đánh giá mối hàn và hiện phân loại mối hàn lên giao diện.

- Nút nhấn reset: xóa ảnh của các khung đang chứa mối hàn.

- Nút lưu ảnh: lưu ảnh cùng phân loại sau khi đánh giá.

41 d) Thiết kế giao diện người dùng

Dựa vào giao diện người dùng đã thiết kế ở trên và kết hợp cùng lưu đồ hoạt động của phần mềm, ta sẽ thực thi việc thiết kế giao diện người dùng với thư viện PyQT5 để thu được giao diện tương tác với người dùng khi sử dụng thiết bị nhận dạng và đánh giá ngoại quan mối hàn như sau:

Hình 4.14 Giao diện người dùng

Giao diện người dùng sau khi thực thi với thư viện PyQT5 sẽ có các chức năng và hoạt động chi tiết như sau:

1 Khung chứa ảnh camera: ảnh đầu vào nhận được từ camera sẽ được hiện ra ở khung này

2 Khung chứa ảnh mối hàn: các khung này chứa các ảnh mối hàn nhận diện được từ ảnh nhận được ở camera vì phôi đầu vào lớn nhất được ghép từ 6 phôi nhỏ hàn lại tương đương với 5 mối hàn nên sẽ có 5 ô chứa ảnh mối hàn

3 Khung chứa giá trị phân loại: sau khi ảnh được đánh giá/phân loại thì giá trị đánh sẽ được hiện ở khung này

4 Nút camera: nút này sẽ thực hiện mở camera và hiện ảnh nhận từ camera vào khung chứa ảnh camera

5 Nút capture: khi camera đã được bật, nếu người dùng nhấn nút capture thì phần mềm sẽ thực hiện chụp ảnh nhận từ camera sau đó thực hiện xử lý ảnh để nhận diện được các mối hàn trên phôi, sau đó sẽ cắt ảnh các mối hàn và hiện ảnh lên khung chứa ảnh mối hàn

6 Plates: ở đây người dùng sẽ nhập số lượng phôi được hàn lại với nhau, số lượng này giao động từ 2 đến 6 phôi tương đương với 1 đến 5 mối hàn

7 Nút reset: nút này sẽ thực hiện việc xóa các ảnh hiện có trên khung chứa ảnh mối hàn khi các ảnh này bị lỗi do lệch phôi, ánh sáng không hoạt động,.v.v dẫn đến việc xử lý nhận dạng mối hàn lỗi khiến ảnh bị lỗi

8 Nút assess: sau khi người dùng nhấn nút này, phần mềm sẽ thực hiện lấy các ảnh ở khu chứa ảnh mối hàn và đưa qua một tập huấn luyện CNN để thực hiện phân loại các mối hàn và hiện đánh giá ấy lên khung chứa giá trị phân loại

9 Nút chọn folder: hoạt động của nút là để người dùng chọn folder để lưu các ảnh sau khi nhận diện

10 Save address: ở đây sẽ hiện đường dẫn nơi sẽ lưu các ảnh sau khi thực hiện nhận dạng mối hàn

11 Nút save: khi người dùng nhấn nút này, các ảnh sau khi được nhận dạng sẽ được lưu vào đường dẫn ở save address với tên của từng ảnh sẽ được đặt theo quy tắt _ Trong đó, STT là số thứ tự của ảnh trong folder chứa dữ liệu, được lấy từ số thứ tự ảnh cuối cùng trong thư mục dữ liệu cộng thêm 1 hoặc là 1 nếu folder rỗng và đánh giá là giá trị hiện ở khung chứa giá trị phân loại

12 Notify: ở đây sẽ xuất hiện các thông báo bước tiếp theo à người dùng cần thực hiện trong ứng dụng để đạt được kết quả mong muốn, hoặc các thông báo từng chức năng trong ứng dụng

4.2.3 Thiết kế chương trình xử lý ảnh nhận diện mối hàn a) Tổng quan về nhận diện mối hàn hồ quang tay