TỔNG QUAN NGHIÊN CỨU
Bài toán và yêu cầu đặt ra
Trong quá trình sản xuất linh kiện thiết bị phục vụ cho quân đội tại nhà máy Z113, các khớp nối của linh kiện bản lề được cố định bởi mối ghép đinh tán – một loại mối ghép không tháo được hoặc nếu tháo sẽ làm hỏng mối ghép, mối ghép bao gốm các chi tiết được ghép, và đinh tán Hiện nay, việc kiểm soát chất lượng loại mối ghép này tại nhà máy được thực hiện thủ công với công suất chưa cao.
Hình 1.1 Linh kiện bản lề
Hình 1.2 Thông số bàn lề
Trên thế giới, việc nghiên cứu về công nghệ và sản xuất máy tán rivet rất đa dạng và phát triển Nhiều loại máy tán với các nguyên lý khác nhau và ứng dụng vào nhiều lĩnh vực khác nhau Ngoài những công nghệ tán truyền thống, các nhà sản xuất máy tán rivet trên thế giới đã phát triển nhiều công nghệ mới như: máytán CNC, máy tán dây chuyền, robot tán… dùng cho việc gia công hàng loạt vừa và lớn.
Tại nhà máy Z113, công nghệ tán rivet đã được nghiên cứu nhiều năm với nhiều phiên bản máy tán đinh đã được ra đời nhằm mục đích phục vụ sản xuất.
1.1.1.1 Quy trình sản xuất hiện tại
Gá đặt chi tiết Điều khiển máy Kiểm định chất tán đinh lượng mối ghép a Người vận hạnh máy đưa các linh kiện rời, bao gồm 2 chi tiết cần ghép và đinh tán vào vị trí gá kẹp
Hình 1.4 Gá đặt chi tiết b Người vận hành thực hiện điều khiển máy tán đinh, đưa đầu trục chính của máy tác động lực vào 2 đầu đinh tán, làm chúng loe ra và có hình dạng tùy theo đầu trục chính.
Hình 1.5 Quá trình tán đinh c Sử dụng các dụng cụ đo panme, đo kích thước bao của đầu rivet sau khi tán và đánh giá.
Hiện nay, việc kiểm định chất lượng về mặt kích thước của đầu rivet sau tán được thực hiện thủ công, tốn nhiều thời gian và công suất thực hiện chưa cao và cần tìm phương án cải thiện. Đề tài “Ứng dụng xử lý ảnh kiểm tra chất lượng bề mặt đinh tán”, nghiên cứu nhằm mục đích đưa ra phương án để tối ưu vận hành công đoạn kiểm tra trên.
Yêu cầu xây dựng hệ thống kiểm tra, đánh giá chất lượng bề mặt đầu đinh sau tán về thông số kích thước đường kính d như chỉ ra trên hình 1.7.
Sai số so với thiết bị đo tiêu chuẩn – panme: ± 0.5 mm
Hình 1.7 Mục tiêu đặt ra
Xây dựng hệ thống đo ứng dụng thị giác máy tính, thu thập dữ liệu hình ảnh từ camera gửi về bộ xử lý trung tâm, phân tích hình ảnh, nhận diện đường bao của đầu đinh tán và tính toán kích thước thực tế.
Hình 1.8 Phương án đề xuất
Tổng quan kiến trúc đề xuất của hệ thống
Hệ thống kiểm tra chất lượng bề mặt đinh tán được triển khai theo các mô đun:
1 Lựa chọn camera và thu nhận hình ảnh gửi về bộ xử lý trung tâm
2 Xử lý hình ảnh và nhận diễn biên dạng dựa trên dữ liệu thu về
3 Chuyển đổi, chuẩn bị hệ tọa độ đo từ pixel sang hệ mét để đo đạc kích thước biên dạng
Kiến trúc hệ thống được triển khai cụ thể theo các bước được mô tả như sau:
Hình 1.9 Kiến trúc hệ thống kiểm tra chất lượng bề mặt đinh tán
CƠ SỞ LÝ THUYẾT
Giới thiệu về xử lý ảnh
Xử lý ảnh là một lĩnh vực mang tính khoa học và công nghệ Nó là một ngành khoa học mới so với nhiều ngành khoa học khác nhưng tốc độ phát triển rất nhanh, kích thích các trung tâm nghiên cứu, ứng dụng, đặc biệt là máy tính chuyên dụng riêng cho nó.
Xử lý ảnh đã được đưa vào giảng dạy ở bậc đại học ở nước ta trong các năm gần đây Đây là môn học liên quan đến nhiều lĩnh vực và cần nhiều kiến thức cơ sở khác:
- Kiến thức về xử lý tín hiệu số - môn học cơ bản cho xử lý tín hiệu chung, các khái niệm về tính chập, các biến đổi Fourier, Laplace, các bộ lọc.
- Các công cụ bao gồm đại số tuyến tính, xác xuất, thống kê.
- Kiến thức cần thiết khác như trí tuệ nhân tạo, mạng noron nhân tạo cũng được đề cập đến trong quá trình phân tích và nhận diện đối tượng ứng dụng xử lý ảnh.
Các phương pháp xử lý ảnh bắt đầu từ các ứng dụng chính: nâng cao chất lượng ảnh và phân tích ảnh Ứng dụng đầu tiên được biết đến là nâng cao chất lượng ảnh báo được truyền qua cáp từ London đến New York từ những năm 1920. Vấn đề nâng cao chất lượng ảnh có liên quan tới cân bằng sáng và độ phân giải của ảnh Việc nâng cao chất lượng ảnh được phát triển vào khoảng những năm 1955.
Từ năm 1964 đến nay, các phương tiện xử lý, nâng cao chất lượng, nhận dạng ảnh phát triển không ngừng Các phương pháp tri thức nhân tạo như mạng noron nhân tạo, các thuật toán xử lý hiện đại và cải tiến, các công cụ nén ảnh ngày càng được áp dụng rộng rãi và thu nhiều kết quả khả quan.
Xử lý ảnh số là quá trình áp dụng các phương thức, thuật toán để tác động vào và biến đổi ảnh ban đầu thành ảnh mới có chất lượng tốt hơn theo một tiêu chí xác định trước, hoặc trích rút các thông tin có ích từ dữ liệu ảnh Về mặt toán học, ảnh số có thể được coi là một hàm rời rạc hai biến f(x,y) với x, y là tọa độ của điểm ảnh [1] Giá trị hàm số f(x,y) chính là giá trị cường độ điểm ảnh tại vị trí x,y. Miền giá trị của f là: 0 ≤ f ≤ f max Với fmax là giá trị lớn nhất của điểm ảnh Với mã hóa 8 bit, f max = 255 Quá trình xử lý ảnh là quá trình thực hiện các phép biến đổi trên f(x,y) Vì vậy có thể nói xử lý ảnh số là một dạng của xử lý tín hiệu số.
Xử lý ảnh thông thường bao gồm các bước sau đây:
- Phân tích và biến đổi ảnh gồm tiền xử lý và trích rút đặc trưng ảnh.
- Biểu diễn kết quả như là ảnh kết quả, hoặc các báo cáo thu được từ việc phân tích ảnh.
- Tái tạo và biểu diễn ảnh
Xử lý ảnh bao gồm các thành phần: Thu nhận ảnh, tiền xử lý, trích chọn đặc trưng, hậu xử lý, hệ quyết định và lưu trữ Hình 2.1 dưới dây mô tả các bước trên.
Hình 2.1 Quy trình cơ bản trong xử lý ảnh
2.1.1 Thu nhận và biểu diễn ảnh (image acquistion)
2.1.1.1 Thu nhận ảnh Ảnh có thể nhận qua camera màu hoặc đen trắng Thường ảnh nhận qua camera là ảnh tương tự (loại camera ống chuẩn CCIR với tần số 1/25, mỗi ảnh 25 dòng), cũng có loại camera đã số hoá (như loại CCD – Change Coupled Device) là loại photodiot tạo cường độ sáng tại mỗi điểm ảnh.
Phần lớn ảnh kỹ thuật số được thu bằng nguồn ánh sáng trong vùng nhìn thấy bởi ưu điểm là an toàn, giá thành thấp và có thể được xử lý bởi các phần cứng thích hợp Có hai phương thức phổ biến để tạo ra ảnh số là sử dụng camera kỹ thuật số và máy quét ảnh (scanner) Nói chung, giai đoạn thu nhận hình ảnh có liên quan phần nào tới giai đoạn tiền xử lý, chẳng hạn như việc thu phóng kích thước ảnh (scaling) có thể được thực hiện ở bước này.
Quá trình thu nhận ảnh là quá trình biến đổi tín hiệu liên tục trong thế giới thực thành tín hiệu số rời rạc, gọi là số hóa, gồm hai bước là lấy mẫu (sampling) và lượng tử hóa (quantization). a) Lấy mẫu
Giá trị cường độ sáng của hình ảnh trong thế giới thực có tính liên tục Tuy nhiên vì nguyên lý mã hóa dữ liệu bởi các bit 0 và 1, máy tính chỉ có thể lưu trữ và xử lý các dữ liệu rời rạc Việc lấy mẫu là quá trình chuyển đổi một tín hiệu liên tục thành một chuỗi số (một tín hiệu rời rạc) Yêu cầu đặt ra là tín hiệu ban đầu phải được khôi phục chính xác từ chuỗi số thu được qua lấy mẫu Định lý lấy mẫu Nyquist – Shannon cung cấp điều kiện đủ để đạt được yêu cầu đó, một tín hiệu có thể được tái tạo hoàn toàn từ tín hiệu sau lấy mẫu nếu tần số lấy mẫu fs lớn hơn hai lần thành phần tần số lớn nhất fmax của tín hiệu ban đầu: f s t 2f max
Hay chu kỳ lấy mẫu T phải đảm bảo:
Chu kỳ lấy mẫu T là khoảng thời gian giữa hai thời điểm lấy mẫu liên tiếp. Giá trị biên độ của tín hiệu tại mỗi thời điểm lấy mẫu được lưu lại, tạo thành chuỗi số rời rạc Chuỗi số này chính là kết quả của việc lấy mẫu. b) Lượng tử hóa
Giá trị các điểm ảnh thu được từ bước lấy mẫu là rời rạc Tuy nhiên miền giá trị của nó rất rộng Như đã trình bày, cường độ sáng của điểm ảnh thường được chia thành 256 khoảng, nhận giá trị từ 0 đến 255 Vì thế cần phải xấp xỉ giá trị lấy mẫu bằng một đại lượng thuộc 256 khoảng đó. c) Nén ảnh
Dữ liệu ảnh thu được qua lấy mẫu và lượng tử hóa vẫn có kích thước khá lớn Vì thế để giảm chi phí lưu trữ và truyền tải dữ liệu, cần phải có các kỹ thuật làm giảm kích thước ảnh, gọi là nén ảnh Nén ảnh là quá trình loại bỏ các thông tin dư thừa, sử dụng các dạng thức biểu diễn dữ liệu phù hợp làm giảm kích thước ảnh Các kỹ thuật nén ảnh có thể phân chia vào hai nhóm: nén bảo toàn thông tin và không bảo toàn thông tin Trong đó nén bảo toàn thông tin giúp khôi phục hoàn toàn dữ liệu qua giải nén nhưng hiệu quả nén không cao, còn nén không bảo toàn thông tin cho hiệu quả nén cao nhưng lại gây mất mát dữ liệu Các hướng tiếp cận chính của nén ảnh gồm có: dựa trên thống kê tần xuất xuất hiện của giá trị điểm ảnh; dựa vào vị trí không gian của điểm ảnh, khai thác sự giống nhau của các điểm ảnh gần nhau; thực hiện các phép biến đổi ảnh; và khai thác sự lặp lại của các chi tiết ảnh Phụ thuộc vào kỹ thuật nén được xử dụng, ảnh số có các định dạng khác nhau như BMP, GIF, JPEG, PNG, v.v
Cấu trúc trung của các định dạng biểu diễn ảnh gồm 3 phần:
- Phần header: Chứa các thông tin về phương thức mã hóa; số bit dùng để mã hóa một điểm ảnh; kích thước và độ phân giải ảnh; v.v
- Dữ liệu nén của ảnh: Dữ liệu hình ảnh đã được mã hóa theo phương thức đã chỉ ra ở header.
- Bảng màu: Cho biết thông tin về bảng màu mà ảnh sử dụng để hiển thị.
Các vấn đề cơ bản trong xử lý ảnh
2.2.1 Cấu trúc dữ liệu hình ảnh
Hình ảnh máy tính bao gồm một tập hợp các điểm hoặc các yếu tố hình ảnh, thường được gọi là pixel, được lưu trữ dưới dạng một dãy số Hình ảnh là dữ liệu không gian được lập chỉ mục bởi hai tọa độ không gian; thông thường các biến x và y đề cập đến trục ngang và dọc của một hình ảnh Giá trị pixel đại diện cho màu sắc hoặc cường độ của từng pixel và vị trí của các pixel trong ma trận tương ứng với vị trí của chúng trong hình ảnh Nếu nhiều hơn một giá trị được yêu cầu để mã hóa thông tin pixel, hình ảnh thường được biểu diễn bằng nhiều chiều ma trận Ví dụ: mã hóa RGB của hình ảnh sẽ chứa 3 ma trận: một mỗi màu cho cường độ đỏ, lục và lam như trong Hình 2.4 Nói cách khác, mỗi pixel được biểu diễn trong ma trận có một giá trị được mã hóa dưới dạng vô hướng (trong trường hợp thang xám) hoặc một vectơ (trong trường hợp màu).
Hình 2.4 Ảnh màu RGB được biểu thị bằng ba ma trận
Trên máy tính đối với ảnh màu người ta sử dụng kỹ thuật pha trộn màu để tạo nên hình ảnh hiển thị với nhiều màu sắc khác nhau.
Chúng ta có các hệ màu phổ biến sau: a) Hệ màu RGB:
Mô hình màu RGB sử dụng mô hình bổ sung, trong đó ánh sáng đỏ, xanh lá cây và xanh lam được tổ hợp với nhau theo nhiều phương thức khác nhau để tạo thành các màu khác nhau Viết tắt RGB trong tiếng Anh là: R (red – màu đỏ), G(green – màu xanh lá cây), B (Blue – màu xanh lam) [3].
Cũng lưu ý rằng mô hình màu RGB tự bản thân nó không định nghĩa thế nào là “đỏ”, “xanh lá cây” và “xanh lam” một cách chính xác, vì thế với cùng các giá trị như nhau của RGB có thể mô tả các màu tương đối khác nhau trên các thiết bị khác nhau có cùng một mô hình màu Trong khi chúng cùng chia sẻ một mô hình màu chung, không gian màu thực sự của chúng dao động một cách đáng kể.
Một trong những ứng dụng phổ biến nhất của mô hình màu RGB là việc hiển thị màu sắc trong các ống tia âm cực, màn hình tinh thể lỏng hay màn hình plasma, chẳng hạn như màn hình máy tính hay ti vi Mỗi điểm ảnh trên màn hình có thể được thể hiện trong bộ nhớ máy tính như các giá trị độc lập của màu đỏ, xanh lá cây và xanh làm Các giá trị này được chuyển đổi thành các cường độ và gửi tới màn hình Bằng việc sử dụng các tổ hợp thích hợp của các cường độ ánh sáng đỏ, xanh lá cây và xanh lam, màn hình có thể tái tạo phần lớn các màu trong khoảng đen và trắng Các phần cứng hiển thị điển hình được sử dụng cho các màn hình máy tính trong năm 2003 sử dụng tổng cộng 24 bit thông tin cho mỗi điểm ảnh (trong tiếng Anh thông thường được biết đến như bits per pixel hay bpp) Nó tương ứng với mỗi 8 bit cho màu đỏ, xanh là cây và xanh lam, tạo thành một tổ hợp 256 các giá trị có thể, hay 256 mức cường độ cho mỗi màu Với hệ thống như thế, khoảng 16,7 triệu màu rời rạc có thể tái tạo.
Biểu thị màu RGB trên máy tính: trong phần dữ liệu của một ảnh thô được biểu diễn như sau: R|G|B|R|G|B|R|G|B|R|G|B|…
- R: 8 bit lưu giá trị của màu đỏ
- G: 8 bit lưu giá trị của màu xanh lục
- B: 8 bit lưu giá trị của màu xanh lam
Cứ mỗi nhóm giá trị R, G, B trong dữ liệu của hình ảnh sẽ được phần cứng máy tính xử lý và đưa ra một pixel được biểu diễn trên màn hình.
Do đó, một hình ảnh theo chế độ màu RGB là một hình ảnh được tổ hợp bởi 3 hình ảnh Red, Green và Blue. b) Hệ màu HSB
Không gian màu HSB còn gọi là không gian màu HSV [4], là một không gian màu dựa trên ba thông số:
- S: (Saturation) Độ bão hòa màu
- B hay V: (Bright hay Value) Độ sáng
Như đã đề cập ở trên, từ 3 màu chính đỏ (red), xanh lá cây (green) và xanh lam (blue), pha trộn lại ta sẽ có được các màu sắc khác nhau Còn trong hệ màu HSV, sự trộn màu được biểu diễn khác trong RGB Cụ thể được biểu diễn như sau:
- Bố trí vị trí của 3 màu Red, Green, Blue trên một vòng tròn
- Kết hợp 2 màu: o Đỏ và xanh lá cây ta được vàng o Xanh lá cây và xanh dương ta được màu lục làm Xanh dương và đỏ ta được màu hồng. o Tiếp tục: trộn hai màu đỏ và vàng ta được màu cam o Cứ tiếp tục trộn ta sẽ được một vòng tròn màu liên tục thay đổi theo
360 độ. Đó chính là cách biểu diễn của một chiều của hệ màu HSB Ta cũng nhận thấy rằng màu sắc cũng thay đổi theo hai chiều khác nữa Một trong đó là độ sáng – tối.
Một màu sáng hoặc tối như nào phụ thuộc vào độ sáng của màu, ký hiệu là B (hay đôi khi là Value – ký hiệu là V) Phạm vi của độ sáng là từ 0 đến 100% Khi giá trị là 0 thì vùng màu sẽ đen hoàn toàn Khi giá trị tăng độ sáng sẽ tăng, kết hợp với HUE và S sẽ đưa ra các màu khác nhau Khi tăng đến 100% thì màu sẽ trắng hoàn toàn.
Và chiều cuối cùng đó là độ bão hòa, biểu thị độ xám trong không gian màu. Phạm vi của độ bão hòa là từ 0 đến 100% Cạnh ngoài cùng của vòng màu HUE là các màu gốc Khi di chuyển vào trung tâm của vòng màu thì màu gốc sẽ bị mờ dần và đến trung tâm của vòng màu thì màu HUE sẽ bị mất hoàn toàn, trở thành màu trắng.
Ngoài ra chúng ta còn có mô hình màu đơn giản nhất là Grayscale là cấp độ xám biến thiên từ màu đen đến trắng Độ xám lớn nhất là màu đen, hấp thu toàn bộ ánh sáng Độ xám nhỏ nhất là màu trắng, phản xạ hoàn toàn ánh sáng chiếu tới. những khoảng màu ở giữa được biểu diễn bằng độ chói (brightness) của ba màu chính (red, green, blue) Lợi điểm của loại mô hình này là có thể sử dụng cả trong công nghiệp in ấn lẫn dùng trong việc thể hiện ảnh lên các thiết bị xuất số. c) Hệ thang màu xám (Grayscale)
Với L là khoảng lưu trữ giá trị của ảnh Giá trị cường độ điểm ảnh được mã hóa trong L mức Trong đó mức độ đen hay trắng được chia thành L khoảng đều nhau Giá trị mỗi điểm ảnh nằm trong L khoảng này, là giá trị rời rạc biểu diễn mức cường độ sáng tại vị trí điểm ảnh Giá trị điểm ảnh càng cao, cường độ sáng càng lớn và ngược lại Ngày nay các thiết bị thường sử dụng mỗi 8bit để mã hóa giá trị một điểm ảnh, nghĩa là L = 256 khoảng [5] Giá trị điểm ảnh nằm giữa 0 và
255 Trong trường hợp L = 2, một điểm ảnh chỉ có 2 mức giá trị 0 và 1, ta được ảnh nhị phân với mức 0 biểu diễn màu đen tuyệt đối và mức 1 biểu diễn màu trắng tuyệt đối Nếu L > 2 ta được ảnh đa mức xám Ảnh nhị phân có thể thu được qua phép tách ngưỡng ảnh đa mức xám: Giá trị điểm ảnh lớn hơn ngưỡng cho trước tương ứng với giá trị 1, nhỏ hơn ngưỡng tương ứng với giá trị 0 trên ảnh kết quả. Ảnh đa mức xám được lưu trữ trên một mảng hai chiều duy nhất Rất nhiều kỹ thuật trong xử lý ảnh số được thực hiện trên ảnh đa mức xám khi không cần thiết phải quan tâm đến thông tin màu sắc của ảnh, giúp giảm độ phức tạp tính toán. d) Ảnh nhị phân
Mỗi điểm ảnh chỉ là màu đen hoặc trắng, được biểu diễn bằng 0 và 1 Vì chỉ có hai giá trị có thể cho mỗi điểm ảnh, chúng ta chỉ cần một bit cho mỗi điểm ảnh. Như vậy, việc lưu trữ khá hiệu quả Ảnh nhị phân có thể phù hợp với văn bản (in hoặc viết tay), dấu vân tay, thiết kế kiến trúc.
Các mẫu ánh sáng từ một số lượng hữu hạn các cảm biến được lưu trữ ở dạng kỹ thuật số để tạo hình ảnh kỹ thuật số Vì có một bộ cảm biến hữu hạn, một bản sao kỹ thuật số của một hình ảnh là, theo định nghĩa, xuống cấp Số lượng cảm biến xác định kích thước hình ảnh (N) và phải đủ lớn để phân giải chi tiết không gian của ảnh đồng thời đủ nhỏ để phù hợp với việc quản lý bộ nhớ hiệu quả và thời gian xử lý [6].
Hình 2.5 Độ phân giải của ảnh
Kĩ thuật mặt nạ cơ bản
2.3.1 Khái niệm về mặt nạ
Mặt nạ trong xử lí ảnh thường được gọi là mặt nạ kernel Một Kernel thường là những ma trận nhỏ như 3x3, 5x5, 7x7 v.v… được dùng trong các phép xử lí ảnh như: lọc nhiễu, dò cạnh [7].
Kích thước Kernel phải nhỏ hơn kích thước của ma trận ảnh Các Kernel được sử dụng bằng cách nhân chập các giá trị của nó với một vùng pixel (điểm ảnh) tương ứng trên ảnh.
Dùng mặt nạ là ma trận 3x3 để tính toán Tổng các 9 điểm ảnh nhân với hệ số tương ứng sẽ là giá trị của điểm ảnh trung tâm [8].
Hình 2.6 Kỹ thuật nhân chập
Các kỹ thuật lọc nhiễu
2.4.1 Khái quát về nhiễu ảnh
Trên mỗi pixel trên cảm biến của máy quay (camera hay webcam) có chứa một hay nhiều diode dò sáng để chuyển ánh sáng chiếu tới thành tín hiệu điện, rồi xử lí thành những giá trị màu của những pixel tạo nên ảnh sau cùng Nếu trên cùng một pixel không được chiếu sáng cùng một lượng ánh sáng trong khoảng thời gian thu ảnh thì giá trị màu trên pixel đó sẽ không được tương ứng với thực tế Theo thống kế thì số lượng pixel như vậy là rất ít, và nó được gọi là nhiễu (noise).
Phân loại nhiễu: a) Nhiễu độc lập với dữ liệu ảnh (independent noise)
Là một loại nhiễu cộng: ảnh thu được là tổng của ảnh đúng (true image) và nhiễu Thông tin ảnh có tần số thấp, còn nhiễu ảnh hưởng đến tần số cao và ảnh hưởng này có thể được giảm đi khi sử dụng bộ lọc thông thấp Lọc nhiễu bằng bộ lọc tần số hay bộ lọc không gian. b) Nhiễu phụ thuộc vào dữ liệu (data dependent noise):
Nhiễu này xuất hiện khi có sự bức xạ đơn sắc nằm rải rác trên bề mặt ảnh, độ lớn chởm trên bề mặt phụ thuộc vào bước sóng của ảnh Do có sự giao thoa giữa các sóng ảnh nên làm xuất hiện những vết lốm đốm trên ảnh.
Hình 2.7 Nhiễu phụ thuộc vào dữ liệu c) Nhiễu Gaussian:
Nhiễu này có được do bản chất rời rạc của bức xạ (hệ thống ghi rửa ảnh bằng cách đếm các photon lượng tử ánh sáng) [9] Đây là nhiễu cộng và độc lập Mỗi pixel trong ảnh nhiễu là tổng giá trị pixel thật và pixel ngẫu nhiên.
Hình 2.8 Nhiễu Gaussian trước và sau khi xử lí d) Nhiễu muối – tiêu (salt and pepper noise):
Nhiễu này sinh ra do xảy ra sai số trong quá trình truyền dữ liệu Những pixel đơn được gán luân phiên mang giá trị 0 hay giá trị cao nhất (maximum) tạo ra hình muối tiêu trên ảnh.
Hình 2.9 Nhiễu muối tiêu trước và sau khi xử lí
2.4.2 Các phương pháp lọc nhiễu cơ bản
Cách thức chung là biến đổi các giá trị của mỗi pixel dựa vào tính toán trên các giá trị của các pixel lân cận.
Các pixel lân cận được xác định bởi một Kernel và giá trị được tính đặt ở trung tâm của cửa sổ Cách thức xử lí là dùng các cửa sổ Kernel nhân chập lần lượt qua các pixel trong ảnh từ trái qua phải, từ trên xuống dưới [10].
Do có nhiều loại nhiễu can thiệp vào quá trình xử lý ảnh nên cần có nhiều bộ lọc thích hợp Với nhiễu cộng và nhiễu nhân ta dùng các bộ lọc thông thấp, trung bình và lọc đồng hình (Homomorphie), với nhiễu xung ta dùng lọc trung vị, giả trung vị, lọc ngoài (Outlier).
2.4.2.1 Lọc trung bình không gian
Với lọc trung bình [11], mỗi điểm ảnh được thay thế bằng trung bình trọng số các điểm lân cận và được định nghĩa như sau: v(m, n) ¦ ¦ a(k,l) y(m k, n l) PT 2.3
Nếu trong kỹ thuật lọc trên, ta chọn các trọng số bằng nhau, phương trình trên sẽ có dạng: v ( m, n ) 1 ¦ ¦ a ( k , l ) y ( m k , n l) PT 2.4
- ak,1 = 1/N và NW là số điểm ảnh trong cửa sổ lọc W
Lọc trung bình có trọng số chính là thực hiện chập ảnh đầu vào với nhân chập
H Nhân chập H trong trường hợp này có dạng: ê1 1 1º
Trong lọc trung bình, thường người ta ưu tiên cho các hướng để bảo vệ biên của ảnh khỏi bị mờ khi làm trơn ảnh Các kiểu mặt nạ được sử dụng tùy theo các trường hợp khác nhau Các bộ lọc trên là bộ lọc tuyến tính theo nghĩa là điểm ảnh ởtâm cửa số sẽ được thay bởi tổ hợp các điểm lân cận chập với mặt nạ.
Lọc thông thấp thường được sử dụng để làm trơn nhiễu Trong kỹ thuật này ta sử dụng một số nhân chập có dạng sau:
2.4.2.3 Lọc đồng hình (Homomorphie Filter)
Kỹ thuật lọc này hiệu quả với ảnh có nhiễu nhân Thực tế, ảnh quan sát được gồm ảnh gốc nhân với hệ số nhiễu Gọi là ảnh thu được, X(m,n) là ảnh gốc và η(m,n) là nhiễu, ta có:
Lọc đồng hình thực hiện lấy Logarit của ảnh quan sát Do vậy ta có kết quả sau: PT 2.8 log X m, n log X (m, n) log Km, n
2.4.2.4 Phương pháp lọc Gaussian (Gaussian smoothing) Đây là phương pháp được ứng dụng khá phổ biến trong các bài toán xử lý ảnh lọc nhiễu.
Lọc Gaussian có tác dụng làm trơn ảnh dựa trên ý tưởng rằng giá trị điểm ảnh (giá trị hàm hai chiều I(x,y)) là một biến xác xuất hai chiều tuân theo phân bốGaussian Điều này đồng nghĩa với việc trong một lân cận nào đó, giá trị điểm ảnh không có sự chênh lệch bất thường.
Phân bố Gaussian hay còn được gọi là phân bố chuẩn, có hàm phân bố xác xuất đối với biến ngẫu nhiên một chiều sau:
2SV Trong đó, là độ lệch chuẩn của phân bố Đồ thị của ( ) như sau:
Hình 2.10 Minh họa phân bố Gaussian một chiều Đối với biến ngẫu nhiên hai chiều, hàm phân bố xác xuất trở thành:
2SV 2 Biểu đồ của hàm G(x,y) được minh họa trong Hình 2.11:
Hình 2.11 Minh họa phân bố Gaussian 2 chiều Đối với ảnh số, vốn là tập hợp của các điểm ảnh có giá trị rời rạc, cần thiết phải xấp xỉ hàm Gaussian bởi một ma trận rời rạc để có thể thực hiện phép nhân chập Theo lý thuyết, phân bố Gaussian là khác 0 tại mọi điểm, dẫn đến để xấp xỉ phân bố này cần một ma trận với kích thước không giới hạn [12] Nhưng trong thực tế có thể coi như phân bố là bằng 0 với mọi giá trị sai khác hơn 3 lần độ lệch chuẩn, nên chỉ cần một ma trận có kích thước xác định làm nhân (kernel) của phép nhân chập Ví dụ Hình 2.12 sau minh họa một xấp xỉ của hàm Gaussian với độ lệch chuẩn = 1.
Hình 2.12 Xấp xỉ rời rạc cho hàm Gausian với = 1
Sau khi xác định được ma trận xấp xỉ trên, phép lọc Gaussian có thể thực hiện bằng cách tiến hành nhân chập ma trận xấp xỉ với ảnh gốc Kết quả là ảnh mới có tính trơn hơn ảnh ban đầu, như minh họa Hình 2.13
Hình 2.13 Minh họa lọc Gaussian với các độ lệch chuẩn
Độ tương phản
Độ tương phản là sự chênh lệch về độ chói hoặc màu sắc, làm cho một đối tượng (hoặc sự thể hiện của nó trong một hình ảnh hoặc màn hình) có thể phân biệt được [13] Trong nhận thức trực quan về thế giới thực, độ tương phản được xác định bởi sự khác biệt về màu sắc và độ sáng của đối tượng và các đối tượng khác trong cùng một trường nhìn Hệ thống thị giác của con người nhạy cảm với độ tương phản hơn độ chói tuyệt đối; chúng ta có thể nhận thức thế giới một cách tương tự bất kể sự thay đổi lớn về độ chiếu sáng trong ngày hay từ nơi này sang nơi khác Độ tương phản tối đa của hình ảnh là tỷ lệ tương phản hoặc dải động Các hình ảnh có tỷ lệ tương phản gần với tỷ lệ tương phản tối đa có thể có của phương tiện của chúng sẽ bảo toàn độ tương phản, trong đó bất kỳ sự tăng độ tương phản nào ở một số phần của hình ảnh nhất thiết phải dẫn đến giảm độ tương phản ởnhững nơi khác Làm sáng hình ảnh sẽ tăng độ tương phản ở vùng tối nhưng giảm độ tương phản ở vùng sáng, trong khi làm tối hình ảnh sẽ có tác dụng ngược lại Điều chỉnh độ tương phản là kỹ thuật cải thiện chất lượng ảnh bằng cách làm biến đổi khoảng giá trị điểm ảnh sang khoảng giá trị mong muốn, ví dụ như khoảng đầy đủ các giá trị có thể của điểm ảnh mà kiểu ảnh đó cho phép Ví dụ, với ảnh xám mã hóa bởi 8 bit, khoảng giá trị này từ 0 đến 255. Độ tương phản càng cao, chi tiết ảnh càng nổi bật, ảnh càng sắc nét Để làm thay đổi độ tương phản, tăng hoặc giảm tùy theo các mục đích khác nhau của bước tiếp theo trong tiến trình xử lý ảnh, các kỹ thuật được áp dụng là hiệu chỉnh min – max, hiệu chỉnh histogram, hiệu chỉnh gamma, v.v Các kỹ thuật trên làm thay đổi khoảng giá trị điểm ảnh trong ảnh, điều chỉnh lại các giải giá trị để đạt được mục đích mong muốn Công thức hiệu chỉnh như sau:
Trong đó, Imax và Imin lần lượt là giá trị lớn nhất và nhỏ nhất của điểm ảnh
Icũ và Imới lần lượt là giá trị cường độ sáng của điểm ảnh trước và sau khi điều chỉnh.
Hình 2.14 Độ tương phản của ảnh
Kỹ thuật phân ngưỡng ảnh
Trong xử lý ảnh kỹ thuật số, tạo ngưỡng là phương pháp phân đoạn ảnh đơn giản nhất Từ một hình ảnh thang độ xám, có thể sử dụng ngưỡng để tạo các hình ảnh nhị phân.
Các phương pháp tạo ngưỡng đơn giản nhất thay thế từng pixel trong ảnh bằng pixel đen nếu cường độ ảnh tại pixel Ii,j nhỏ hơn một giá trị cố định được gọi là ngưỡng T, hoặc pixel trắng nếu cường độ pixel lớn hơn ngưỡng đó Trong hình Hình 2.15 điều này dẫn đến cây tối trở thành màu đen hoàn toàn và tuyết sáng trở thành màu trắng hoàn toàn.
2.6.2 Ngưỡng toàn cục và cục bộ
Trong hầu hết các phương pháp, cùng một ngưỡng được áp dụng cho tất cả các pixel của hình ảnh Tuy nhiên, trong một số trường hợp, có thể thuận lợi khi áp dụng một ngưỡng khác cho các phần khác nhau của hình ảnh, dựa trên giá trị cục bộ của các pixel Loại phương pháp này được gọi là ngưỡng cục bộ hoặc ngưỡng thích ứng Chúng đặc biệt thích ứng với các trường hợp hình ảnh có ánh sáng không đồng nhất, chẳng hạn như trong Hình 2.16a Trong những trường hợp đó, một vùng lân cận được xác định và ngưỡng được tính cho từng pixel và vùng lân cận của nó.
Hình 2.16 Phân ngưỡng tùy biến
Kỹ thuật biến đổi hình thái học (morphology transformation)
Biến đổi hình thái là một tập hợp rộng các hoạt động xử lý hình ảnh xử lý hình ảnh dựa trên hình dạng của nhóm pixel trong ảnh Các hoạt động hình thái áp dụng một yếu tố cấu trúc cho một hình ảnh đầu vào, tạo ra một hình ảnh đầu ra có cùng kích thước Trong một phép toán hình thái học, giá trị của mỗi pixel trong ảnh đầu ra dựa trên sự so sánh giữa pixel tương ứng trong ảnh đầu vào với pixel lân cận của nó
Các biến đổi hình thái cơ bản nhất là giãn nở (dilation) và xói mòn Sự giãn nở thêm các pixel vào ranh giới của các đối tượng trong một hình ảnh, trong khi sự xói mòn sẽ loại bỏ các pixel trên các ranh giới của đối tượng Số pixel được thêm hoặc bớt khỏi các đối tượng trong ảnh phụ thuộc vào kích thước và hình dạng của phần tử cấu trúc được sử dụng để xử lý ảnh Trong các hoạt động giãn nở và xói mòn hình thái, trạng thái của bất kỳ pixel đã cho nào trong ảnh đầu ra được xác định bằng cách áp dụng quy tắc cho pixel tương ứng và các pixel lân cận của nó trong ảnh đầu vào Quy tắc được sử dụng để xử lý các pixel như sau: a) Giãn nở
Giá trị của pixel đầu ra là giá trị lớn nhất của tất cả các pixel trong vùng lân cận Trong ảnh nhị phân, một pixel được đặt thành 1 nếu bất kỳ pixel lân cận nào có giá trị 1.
Sự giãn nở hình thái làm cho các đối tượng dễ nhìn thấy hơn và lấp đầy các lỗ nhỏ trên các đối tượng Các đường kẻ dày hơn và các hình được tô lớn hơn.
Hình 2.17 Biến đổi hình thái giãn nở b) Xói mòn
Giá trị của pixel đầu ra là giá trị nhỏ nhất của tất cả các pixel trong vùng lân cận Trong ảnh nhị phân, một pixel được đặt thành 0 nếu bất kỳ pixel lân cận nào có giá trị 0.
Xói mòn hình thái loại bỏ các pixel nổi và các đường mảnh để chỉ còn lại các đối tượng thực chất Các đường còn lại mỏng hơn và các hình nhỏ hơn.
Hình 2.18 Biến đổi hình thái xói mòn
Đường biên (cạnh) và vai trò của biên trong nhận dạng
2.8.1 Một số khái niệm về biên
Các đặc trưng của ảnh thường bao gồm các thành phần như: mật độ xám, phân bố xác suất, phân bố không gian, biên ảnh Biên là một vấn đề chủ yếu và đặc biệt quan trọng trong phân tích ảnh vì các kĩ thuật phân đoạn ảnh chủ yếu dựa vào biên. Hiện nay có nhiều định nghĩa về biên ảnh và mỗi định nghĩa được sử dụng trong một số trường hợp nhất định Song nhìn chung, ta có thể hiểu là: một điểm ảnh có thể coi là biên nếu ở đó có sự thay đổi đột ngột về mức xám Ví dụ: Đối với ảnh đen trắng, một điểm được gọi là điểm biên nếu nó là điểm đen có ít nhất một điểm trắng bên cạnh.
Tập hợp các điểm biên tạo thành biên, hay còn gọi là đường bao của ảnh (boundary) Chẳng hạn, trong một ảnh nhị phân, một điểm có thể được gọi là biên nếu đây là một điểm đen và có ít nhất một điểm trắng nằm trong lân cận điểm đó. Mỗi một biên là một thuộc tính gắn liền với một điểm riêng biệt và được tính toán từ những điểm lân cận nó Đó là một biến Vector bao gồm hai thành phần:
- Hướng φ được xoay đối với hướng Gradient ψ.
2.8.2 Các kiểu biên cơ bản
Việc phát hiện biên một cách lý tưởng là việc xác định được tất cả các đường bao trong đối tượng Biên là sự thay đổi đột ngột về mức xám nên sự thay đổi cấp xám giữa các vùng trong ảnh càng lớn thì càng dễ dàng nhận ra biên.
Hình sau đây minh hoạ điểm ảnh có sự biến đổi mức xám u(x) một cách đột ngột:
Hình 2.19 Đường biên lý tưởng
Một biên được coi đó là biên lý tưởng khi mà có sự thay đổi cấp xám lớn giữa các vùng trong ảnh Biên này thường chỉ xuất hiện khi có sự thay đổi cấp xám qua một điểm ảnh.
Biên dốc xuất hiện khi sự thay đổi cấp xám trải rộng qua nhiều điểm ảnh Vị trí của cạnh được xem như vị trí chính giữa của đường dốc nối giữa cấp xám thấp và cấp xám cao Tuy nhiên đây chỉ là đường dốc trong toán học, từ khi ảnh được kỹ thuật số hoá thì đường dốc không còn là đường thẳng mà thành những đường lởm chởm, không trơn.
Trên thực tế, ảnh thường có biên không lý tưởng, các điểm ảnh trên ảnh thường có sự thay đổi mức xám đột ngột và không đồng nhất, đặc biệt là ảnh nhiễu Trong trường hợp không nhiễu (biên lý tưởng), bất cứ một sự thay đổi cấp xám nào cũng thông báo sự tồn tại của một biên Trường hợp đó khó có khả năng xảy ra, ảnh thường là không lý tưởng, có thể là do các nguyên nhân sau:
-Hình dạng không sắc nét.
- Nhiễu: do một loạt các yếu tố như: kiểu thiết bị nhập ảnh, cường độ ánh sáng, nhiệt độ, hiệu ứng áp suất, chuyển động, bụi…, chưa chắc rằng hai điểm ảnh có cùng giá trị cấp xám khi được nhập lại có cùng cấp xám đó trong ảnh Kết quả của nhiễu trên ảnh gây ra một sự biến thiên ngẫu nhiên giữa các điểm ảnh Sự xuất hiện ngẫu nhiên của các điểm ảnh có mức xám chênh lệch cao làm cho các đường biên dốc trở lên không trơn tru mà trở thành các đường biên gồ ghề, mấp mô, không nhẵn, đây chính là đường biên trên thực tế
Hình 2.20 Đường biên không trơn
2.8.3 Vai trò của biên trong nhận dạng Đường biên là một loại đặc trưng cục bộ tiêu biểu trong phân tích nhận dạng ảnh Người ta sử dụng đường biên làm phân cách các vùng xám (màu) cách biệt Ngược lại, người ta cũng dùng các vùng ảnh để tìm đường phân cách
Như đã đề cập tới ở phần tổng quan về một hệ thống nhận dạng và xử lý ảnh, quá trình nhận dạng có hai giai đoạn cần thực hiện:
- Giai đoạn học: Các đặc điểm của đối tượng mẫu được lưu trữ (gọi là học mẫu) và tập các phần tử mẫu được chia thành các lớp.
- Giai đoạn nhận dạng: Khi có đối tượng cần nhận dạng, các đặc điểm của đối tượng sẽ được trích chọn và sử dụng hàm quyết định để xác định đối tượng cần nhận dạng thuộc lớp nào.
Các kĩ thuật dò cạnh
2.9.1 Khái quát về dò cạnh
Các cạnh là những vùng ảnh mà có độ tương phản cao Vì thế các cạnh thường xuyên xuất hiện tại những vị trí được thấy như là những đường bao quanh vật trên hình ảnh, xác định cạnh thường được dùng phổ biến trên những hình ảnh có nhiều vật thể khác nhau khi ta muốn chia hình ảnh thành những vùng khác nhau có chứa vật thể Biểu diễn một hình ảnh bằng các cạnh thì có nhiều thuận lợi hơn là làm giảm được dữ liệu ảnh trong khi vẫn đảm bảo giữ được những thông tin về vật thể trên ảnh.
Các cạnh chủ yếu có tần số cao nên theo lý thuyết, dò cạnh sử dụng lọc tần số cao bằng phương pháp Fourier hay bằng cách nhân chập hình ảnh với nhữngKernel thích hợp trong miền không gian Fourier Trên thực tế, dò cạnh được thực hiện trong miền không gian vì thực hiện dễ dàng hơn và thường cho ra kết quả tốt hơn.
Cách xác định cạnh: vì các cạnh tương ứng với sự chiếu sáng mạnh, chúng ta có thể làm nổi bật lên bằng cách tính toán đạo hàm của hình ảnh.
Chúng ta có thể thấy rằng vị trí của cạnh có thể được ước lượng với giá trị lớn nhật của đạo hàm bậc nhất hay với điểm uốn của đạo hàm bậc 2 Vì thế chúng ta muốn tìm một kĩ thuật để tính toán đạo hàm của một hình ảnh 2 chiều.
Những Kernel dùng cho việc xác định cạnh được tính dựa theo công thức trên cho phép chúng ta tính toán đạo hàm bậc một và bậc hai của một hình ảnh 2 chiều.
Có 2 tiến trình chung tính đạo hàm bậc một trong một hình ảnh hai chiều, dò cạnh Pretwitt compass và dò cạnh gradient.
2.9.2 Các phương pháp dò cạnh
Theo Roberts, để xác định cạnh ta cần dựa vào các tính chất sau: cạnh được tạo ra cần được xác định rõ, nền của ảnh có ít nhiễu và cường độ của cạnh được xác định bằng mắt thường [14] Với những đặc tính đó, Roberts đưa ra phương trình sau:
Với x là cường độ sáng ban đầu của ảnh, z là đạo hàm tính được và i, j là tọa độ của điểm ảnh.
Kết quả tính được sẽ thay đổi cường độ sáng theo đường chéo Phương pháp này đơn giản, nhân kernel nhỏ và chỉ chứa giá trị nguyên, tuy nhiên, phương pháp này nhạy cảm với nhiễu. Để dò cạnh sử dụng phương pháp Robert Cross, ta nhân ma trận ảnh gốc với
0 Đặt , là điểm ảnh gốc và , là điểm ảnh được thu được khi nhân ma trận ảnh với nhân kernel 1, , là điểm ảnh thu được khi nhân ma trận ảnh với nhân kernel 2.
Gradient có thể được xác định bằng công thức:
Hướng của gradient được xác định theo công thức:
Sobel đưa ra ý tưởng nhân ảnh với ma trận đẳng hướng 3x3 dùng để tính xấp xỉ sự thay đổi giá trị của hàm tính cường độ sáng ở từng điểm ảnh, kết quả của phương pháp Sobel gồm có hướng và độ lớn của vector [15] Phương pháp này dựa vào việc nhân ma trận ảnh với từng ma trận chỉ hướng dó đó không yêu cầu hiệu năng tính toán cào Mặt khác, tính toán xấp xỉ hướng đưa ra kết quả thô, đặc biệt là với những ảnh có sự thay đổi cường độ ánh sáng mạnh.
Phương pháp này sử dụng ma trận 3x3 nhân với ma trận ảnh gốc để tính toán xấp xỉ sự thay đổi theo phương ngang hoặc phương dọc Ta coi A là ảnh gốc,
Gx và Gy là ảnh sau khi nhân từng điểm ảnh với các phép tính xấp xỉ theo chiều ngang và dọc tương ứng.
Nhân kernel của Sobel có thể được tách thành tích của phép nhân trung bình và nhân xấp xỉ có thể được viết lại như sau:
Tại mỗi điểm ảnh, kết quả tính gradient xấp xĩ có thể được kết hợp để tính giá trị gradient sử dụng công thức: ൌ PT 2.19
Từ đó, ta tính được hướng của gradient: ൌ atan PT 2.20
Với công thức này, khi 0 thì phía bên phải của cạnh dọc sẽ sáng hơn phía bên trái.
Mục đích của việc phát hiện biên nói chung là giảm thiểu đáng kể số lượng dữ liệu trong một hình ảnh, trong khi các đặc tính cấu trúc vẫn được giữ để sử dụng cho việc xử lý hình ảnh hơn nữa Có rất nhiều phương pháp phát hiện biên đã được đề cập ở trên nhưng phương pháp Canny – được phát triển bởi John F Canny (JFC) vào năm 1986, là một trong những công cụ xử lý hình ảnh thông dụng nhất
[16] Mặc dù nó khá là cũ, song đã trở thành một trong những phương pháp phát hiện biên tiêu chuẩn và vẫn được sử dụng trong nghiên cứu.
Mục tiêu (ràng buộc) của JFC để phát triển thuật toán đó là tối ưu những vấn đề liên quan đến các tiêu chuẩn sau:
- Phát hiện: Xác suất phát hiện những điểm biên thực sự phải là cực đại hóa, trong khi xác suất lỗi phát hiện những điểm không phải biên cần được giảm thiểu Điều này tương ứng với tối đa hóa tỷ lệ báo hiệu nhiễu.
- Cục bộ hóa: Các biên phát hiện nên càng gần biên thực càng tốt Có nghĩa là độ chênh lệch cấp xám giữa các điểm trên cùng một biên càng nhỏ càng tốt.
- Số lượng trả lời – hiệu suất: biên không được nhận ra nhiều, trong khi chỉ có một biên tồn tại dẫn tới giảm số lượng biên được phát hiện không được nhận ra.
Các bước hiện phương pháp phát hiện biên Canny [17]:
- Bước 1: Giảm nhiễu: làm trơn ảnh để loại bỏ nhiễu bằng cách nhân chập ảnh với bộ lọc Gauss.
- Bước 2: Tìm gradient: Tính toán góc và chiều dài của gradient Biên nên được đánh dấu nơi mà gradient của ảnh có chiều dài lớn.
- Bước 3: Thực hiện “Non-maximum suppression”: Chỉ cực đại cục bộ những điểm được đánh dấu là biên (có mức xám cao).
- Bước 4: Sử dụng ngưỡng đôi: Những biên tiềm năng được xác định bởi ngưỡng cao và ngưỡng thấp.
Cụ thể như sau: a) Giảm nhiễu
Nhiễu là điều không thể tránh khỏi vì tất cả các hình ảnh chụp từ máy quay sẽ chứa một số nhiễu Để ngăn nhầm lẫn nhiễu với các biên, nhiễu phải được giảm bớt Do đó ảnh trước tiên được làm mịn bằng cách áp dụng một bộ lọc Gauss Cách thức tiến hành giống như ở Laplace of Gauss Nhân của bộ lọc Gauss với độ lệch chuẩn σ = 1,4 được thể hiện trong phương trình sau (ở đây ta sử dụng một bộ lọc 5 x 5): ۍ
THUẬT TOÁN ĐỀ XUẤT VÀ TRIỂN KHAI
Lựa chọn hệ phần cứng
Với độ chính xác ±0.3mm như yêu cầu của bài toán đặt ra, cần sử dụng các loại camera chuyên dụng cho việc kiểm tra các chi tiết, linh kiện nhỏ Ngoài ra, để đảm bảo chất lượng ảnh tốt, hệ thống thị giác máy tính cần trang bị thiết bị chiếu sáng tốt.
Với những yêu cầu trên, đề tài đề xuất sử dụng camera Dino-Lite Premier, một dòng camera chuyên dụng cho kiểm tra linh kiện kích thước nhỏ, độ phân giải cao và đồng thời được tích hợp sẵn hệ thống trên sáng trên camera.
Hình 3.1 Camera thu nhận hình ảnh Bảng 3-1 Thông số kỹ thuật camera
Phương pháp đề xuất
Với mục đích xác định đường biên của vật thể, các thuật toán xử lý ảnh cần được áp dụng cùng với việc điều chỉnh các thông số phù hợp với từng thuật toán. Sau khi thu nhận hình ảnh từ camera, cần xử lý tăng độ tương phản của hình ảnh, giúp phân biệt rõ các đối tượng điểm ảnh trong hình nhận về Tiếp theo, áp dụng các thuật toán chuyển kênh màu xám, lọc nhiễu, phân ngưỡng ảnh, nhằm mục đích để giúp thuật toán dò đường biên xử lý tốt hơn, và cuối cùng là tìm ra đường bao của mặt đinh tán Để sử dụng được kết quả đã nhận diện được qua quá tình xử lý ảnh, cần tìm ra giá trị đo trong không gian thực, hay chuyển từ đơn vị pixel sang đơn vị hệ mét.
Cụ thể quá trình thực hiện như sau:
Biến đổi hình thái học
Nhận diện đường bao (vị trí tâm, đường kính)
Chuyển pixel sang hệ mét
Hình 3.2 Quy trình xử lý ảnh
3.2.1 Thu nhận ảnh Đây là bước rất quan trọng trong hệ thống xử lý ảnh, để các thuật toán với ảnh hoạt động hiệu quả, hình ảnh đầu vào cần được đảm bảo đủ ảnh sáng, rõ nét, không bị hiện tượng rung trong quá trình thu nhận ảnh.
Với yêu cầu trên, cần thiết kế một bộ gá để cố định vị trí của camera và chi tiết cần kiểm định.
Camera được đặt cách chi tiết 40mm với 8 đèn led tích hợp sẵn được bật.
Hình 3.3 Hệ thống thí nghiệm
Nhắm mục đích giúp phân biệt rõ hơn các đối tượng pixel trong ảnh, thuật toán tăng tương phản độ sáng được áp dụng đầu tiên với ảnh đầu vào Độ tương phản cần được đặt tại một giá trị phù hợp, với mức độ tương phản cao, các đặc trưng, chi tiết của dữ liệu ảnh có thể bị mất đi, dẫn tới sai số về kết quả đo.
Hình 3.4 Điều chỉnh độ tương phản
Việc chuyển dữ liệu ảnh đầu vào sang thang màu xám giúp đơn giản hóa các thuật toán và cũng như loại bỏ sự phức tạp liên quan đến các yêu cầu tính toán. Điều này là do thang độ xám nén một hình ảnh thành pixel tối thiểu nhất của nó. Mỗi pixel trong ảnh thang màu xám được biểu diễn chỉ bởi một giá trị nhất định từ
Hình 3.5 Chuyển kênh màu xám
Với việc loại bỏ các pixel nhỏ gây nhiễu trong quá trình xử lý, việc áp dụng bộ lọc nhiễu là cần thiết Bộ lọc được đề xuất áp dụng là bộ lọc Gaussian với ma trận kernel 5x5.
Phương pháp tạo ngưỡng cơ bản nhất là chọn một giá trị ngưỡng cố định và so sánh từng pixel với giá trị đó giá trị Tuy nhiên, ngưỡng cố định thường không phù hợp nếu độ sáng thay đổi theo không gian trong ảnh hoặc trên thời gian trong một luồng video. Để các đáp ứng với một dữ liệu ảnh mà ánh sáng không đồng nhất, giải pháp đó là sử dụng ngưỡng thích nghi Ngưỡng được tính toán trên mỗi pixel, dựa trên giá trị xám của các pixel xung quanh.
Như ảnh đầu vào dưới đây, có thể thấy rằng ánh sáng phân bổ không đều ở mỗi vùng khác nhau trên ảnh.
Qua quá trình thí nghiệm, đây là kết quả phân ngưỡng với giá trị ngưỡng là giá trị trung bình của khối (block size) 25x25 pixel xung quanh.
Hình 3.7 Phân ngưỡng thích nghi với blockSize 25
3.2.6 Biến đổi hình thái học
Phương pháp biến đổi hình thái học nhằm mục đích tùy biến giảm thiếu hoặc tăng cường các đặc trưng của dữ liệu ảnh Để đạt được kết quả mong muốn, cần áp dụng biến đổi này theo một trình tự hợp lý. Ảnh sau phân ngưỡng được thực hiện qua các bước:
Hình 3.8 Biến đổi hình thái học
Nhằm loại bỏ các pixel dư thừa, ảnh đầu vào được thực hiện biến đổi hình thái học xói mòn 2 lần Tiếp theo, với việc thực hiện thêm một bước biến đổi giãn nở, các đặc trưng còn lại của ảnh được nhấm mạnh, tăng cường hơn, đảm bảo cho bước nhận diện đường biên tiếp theo.
Như đã phân tích, trong các thuật toán phát hiện cạnh đường biên, phương pháp phát hiện cạnh Canny là một kỹ thuật cải tiến để bổ sung cho các thuật toán hiện có Một trong những ưu điểm chính của thuật toán này là tốc độ phát hiện tốt: phân loại rõ ràng và chính xác cường độ cạnh khỏi nền và nhiễu mà không bị thiếu pixel và có khả năng miễn nhiễm với nhiều loại nhiễu hơn Ngoài ra, vị trí của cạnh được bảo toàn tốt.
Hình 3.9 Dò đường biên với thuật toán Canny
Sau khi áp dụng các thuật toán xử lý ảnh trên, đặc trưng của đối tượng, ở đây là các pixel thuộc đường bao của mặt đinh tán đã được trích chọn Với dữ liệu đã tìm được, cần tìm ra đường bao đầy đủ của bề mặt đối tượng Đây là bài toán “Đường tròn nhỏ nhất”, hay còn gọi là bài toán đường tròn bao nhỏ nhất, là một bài toán tính toán đường tròn nhỏ nhất chứa tất cả các điểm đã cho trong mặt phẳng Euclide.
Bài toán trên đã được nghiên cứu với nhiều thuật toán được triển khai, cụ thể như các phương pháp Megiddo và Emo Welzl Theo đánh giá, thuật toán của Emo Welzl được đánh giá có thời gian thực hiện tối ưu hơn Từ đó, đề tài đề xuất sử dụng phương pháp của Emo Welzl vào bài toán hiện tại.
Thuật toán Emo Welzl là một thuật toán đệ quy Đầu vào ban đầu là một tập hợp điểm P Thuật toán chọn một điểm p ngẫu nhiên và đồng nhất từ P, và tìm đệ quy đường tròn nhỏ nhất chứa P – {p}, tức là tất cả các điểm khác trong P trừ p. Nếu vòng tròn được trả về cũng bao quanh p, thì đó là vòng tròn tối thiểu cho toàn bộ P và được trả về Ngược lại, điểm p phải nằm trên đường bao của đường tròn kết quả Nó lặp lại, nhưng với tập hợp R các điểm đã biết nằm trên ranh giới như một tham số bổ sung Đệ quy kết thúc khi P trống và có thể tìm thấy giải pháp từ các điểm trong R: đối với 0 hoặc 1 điểm, giải pháp là tầm thường, đối với 2 điểm, vòng tròn tối thiểu có tâm nằm ở giữa hai điểm và đối với 3 điểm đường tròn là đường tròn ngoại tiếp tam giác được mô tả bởi các điểm (Trong không gian ba chiều, 4 điểm yêu cầu tính diện tích mặt cầu ngoại tiếp tứ diện.) Đệ quy cũng có thể kết thúc khi R có kích thước 3 (trong 2D hoặc 4 trong 3D) vì các điểm còn lại trong P phải nằm trong vòng tròn được mô tả bởi R. Để giảm lược các đường biên nhỏ, không thuộc đường bảo của mặt đinh tán. Một bước lập trình trung gian được thực hiện, lấy một ngưỡng kích thước T phù hợp, các đường biên có kích thước nhỏ hơn giá trị T được loại bớt, các đường biên lớn hơn được giữ lại và biểu thị bằng màu xanh lá Hình 3.10.
Hình 3.10 Đường biên sau lọc
Với việc áp dụng thuật toán của Emo Welzl, đường bao của bề mặt đinh tán được nhận diện và biểu thị bằng màu đỏ bao quanh Hình 3.11.
3.2.9 Chuyển đổi pixel sang hệ mét
Thông tin đường bao của mặt đinh tán được nhận diện qua các bước xử lý ảnh bao gồm vị trí tâm đường tròn và bán kính của đường bao theo đơn vị pixel. Để có thể đánh giá độ chính xác, cần tìm được kích thước của đường bao theo hệ đơn vị mét Đây là bài toán tìm mối liên hệ giữa đơn vị pixel trên ảnh và đơn vị mét trong không gian thực tế [18].
Phương trình sau biểu thị mối liên hệ trên: ൌ
- p là kích thước theo đơn vị 1 pixel
- m là kích thước theo đơn vị 1 mm
- S là giá trị phóng đại cần tìm Để tìm ra giá trị S, cần sử dụng một vật mẫu đã biết trước giá trị đo theo hệ mét Đặt trên mặt phẳng có cùng độ cao với mặt đinh tán, sao cho vật mẫu nằm trong vùng nhìn của camera.
Vật mẫu ở đây là bảng căn chỉnh đường tròn (Circle calibration board).
Hình 3.12 Bảng căn chỉnh đường tròn
Kích thước 200 x 150 (mm) với bán kính đường tròn 3mm.
Qua tính toán, giá trị S đạt: S = 0.0267, 1 pixel = 0.0267 mm.
3.2.10 Giao diện tương tác Để dễ dàng tiếp cận với người dùng, một ứng dụng với giao diện bao gồm các chức năng cần thiết được xây dựng. Ứng dụng được viết trên nền tảng PyQt với ngôn ngữ Python, chạy trên nền tảng Windows Microsoft và sử dụng thư viện mã nguồn mở OpenCV [19], xây dựng phần mềm với giao diện gồm các khối như trên hình 3.13.
KẾT QUẢ VÀ ĐÁNH GIÁ
Nhận diện đường bao
Hình ảnh đầu vào được trải qua các bước tiền xử lý, trích chọn đặc trưng, và cuối cùng tìm ra đường bao của bề mặt đinh tán.
Một số kết quả nhận diện:
Hình 4.1 Kết quả nhận diện đường bao mặt đinh tán
Tốc độ nhận diện được đánh giá trên 450 khung hình thu nhận từ camera. Kết quả, tốc độ xử lý trung bình đạt 0.05 s/khung hình Tốc độ này đảm bảo yêu cầu bài toán trên thực tế.
Hình 4.2, Tốc độ xử lý khung hình
Kết quả đo
Với phương pháp tìm ra hệ số chuyển độ giữa đơn vị pixel và đơn vị hệ mét, kết quả tính toán:
1 pixel = 0,0267 mm Kết quả đo được đánh giá dựa trên số liệu qua 150 lần đo trên 1 mẫu đo, so sánh kết quả đo bằng panme và đo bằng phương pháp đề xuất.
Số liệu thí nghiệm cụ thể như sau, số liệu đầy đủ của các lần đo được nêu tại bảng Kết quả đo thực nghiệm – Phụ lục.
Bảng 4-1 Kết quả đo thực nghiệm
STT Panme (mm) Phương pháp đề xuất
Với n = 150 là số lần đo, Xpanme, Xdexuat lần lượt là giá trị đo bằng panme và phương pháp đề xuất trong mỗi lần đo.
Giá trị đo trung bình đạt:
Từ đó nhận thấy, phương pháp đề xuất có độ ổn định tốt hơn phương pháp đo panme.
Tốc độ đo đạt 0.05s / khung hình, 0.5 giây/sản phẩm, cải thiện hơn rất nhiều so với phương pháp thủ công.