Đang tải... (xem toàn văn)
Bài giảng Nhập môn cơ điện tử: Chương 5 - Hệ xử lý ảnh được biên soạn bao gồm các nội dung chính sau: Giới thiệu tổng quan về hệ thống xử lý ảnh; Phần tử cơ bản của hệ thống xử lý ảnh; Phân loại hệ thống xử lý ảnh; Các bước cơ bản của xử lý ảnh; Thông số kỹ thuật. Mời các bạn cùng tham khảo chi tiết bài giảng tại đây.
12/7/2018 TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI HANOI UNIVERSITY OF SCIENCE AND TECHNOLOGY Nhập môn Cơ điện tử Introduction to Mechatronics Giảng viên: TS Nguyễn Anh Tuấn Bộ môn Cơ điện tử – ĐHBK Hà Nội Email: bktuan2000@gmail.com Content Chương Hệ xử lý ảnh 5.1 Giới thiệu 5.2 Phần tử 5.3 Phân loại 5.4 Các bước xử lý ảnh 5.5 Thông số kỹ thuật 12/7/2018 Giới thiệu tổng quan Hệ thống xử lý ảnh công nghệ phương pháp sử dụng để tự động phân tích kiểm tra dựa xử lý ảnh dùng cho ứng dụng kiểm tra tự động, điều khiển trình, dẫn hướng rô bốt công nghiệp Các ứng dụng Điều khiển trình Điều khiển chất lượng Các ứng dụng phi cơng nghiệp (ví dụ điều khiển giao thông) Giới thiệu tổng quan Các ứng dụng công nghiệp 12/7/2018 Giới thiệu tổng quan Các ứng dụng đời sống people counter Các phận hệ thống xử lý ảnh • Hệ thống xử lý ảnh với lĩnh vực khác: Xử lý ảnh thị giác máy tính-máy xử lý ảnh 12/7/2018 Các phận hệ thống xử lý ảnh Bộ phận hệ thống xử lý ảnh công nghiệp Các phận hệ thống xử lý ảnh • Hệ thống chiếu sáng (Ilummination): tạo mơi trường ánh sáng để camera chụp xác ảnh, số trường hợp sử dụng ánh sáng mơi trường (đơn vị: flux) • Hệ thấu kính (lens): Việc lựa chọn xác hệ thấu kính để điều chỉnh cho phép độ phân giải độ nét ảnh tối ưu • Camera: Thiết bị chụp ảnh, hệ thống phối hợp nhiều camera • Thiết bị xử lý ảnh (Image processing device): Tích hợp chương trình thuật tốn để xử lý liệu ảnh 12/7/2018 Các phận hệ thống xử lý ảnh • Hệ thống chiếu sáng (llummination): Các phận hệ thống xử lý ảnh • Hệ thống chiếu sáng (llummination): Ring light Một vòng ánh sáng gắn xung quanh trục quang ống kính, máy ảnh khoảng máy ảnh vật thể Góc tỷ lệ phụ thuộc vào đường kính vịng, vị trí đặt ánh sáng, góc độ đèn LED nhắm vào Ưu điểm • Dễ sử dụng • Cường độ cao thời gian phơi sáng ngắn Nhược điểm • Phản xạ trực tiếp bề mặt phản chiếu, gọi điểm chói (hot spots) 10 12/7/2018 Các phận hệ thống xử lý ảnh • Hệ thống chiếu sáng (llummination): Ring light Ambient light/ Ánh sáng mơi trường xung quanh Ring light/ Vịng ánh sáng Bề mặt in mờ chiếu sáng đồng Các điểm chói xuất bề mặt sáng bóng (giữa), ứng 11 với 12 đèn LED ring light Các phận hệ thống xử lý ảnh • Hệ thống chiếu sáng (llummination): Spot light/ Tiêu điểm Một nguồn phát sáng tiêu điểm (spot light) có tất ánh sáng phát từ hướng (tia sáng) khác với trục quang Đối với vật thể phẳng, phản xạ khuếch tán đến camera Ưu điểm • Khơng có điểm chói Nhược điểm • Chiếu sáng khơng đồng • u cầu ánh sáng cường độ cao phụ thuộc vào phản xạ khuếch tán 12 12/7/2018 Các phận hệ thống xử lý ảnh • Hệ thống chiếu sáng (llummination): Back light/ Đèn - Nguyên lý hệ thống back light/đèn đối tượng chiếu sáng từ phía sau để tạo đường viền hình bóng - Thơng thường, đèn gắn vng góc với trục quang Ưu điểm • Độ tương phản tốt • Bền vững kết cấu, màu sắc ánh sáng xung quanh Nhược điểm • Kích thước phải lớn đối tượng 13 Các phận hệ thống xử lý ảnh • Hệ thống chiếu sáng (llummination): Back light Ambient light Backlight: Tăng cường đường nét cách tạo hình bóng 14 12/7/2018 Các phận hệ thống xử lý ảnh • Hệ thống chiếu sáng (llummination): Dark field Dark field có nghĩa đối tượng chiếu sáng góc độ lớn Phản xạ trực tiếp xảy có cạnh Ánh sáng chiếu bề mặt phẳng không phản xạ tới camera Ưu điểm • Tăng cường phát vết trầy xước, cạnh nhô bụi bẩn bề mặt Nhược điểm • Chủ yếu hoạt động bề mặt phẳng với đặc điểm cấu trúc nhỏ • Yêu cầu khoảng cách nhỏ tới đối tượng • Đối tượng cần phản xạ phần Các phận hệ thống xử lý ảnh • Hệ thống chiếu sáng (llummination): Dark field Ambient light Dark field: Tăng cường đường nét bổ trợ, ví dụ làm sáng lên cạnh, 16 đường nét 12/7/2018 Các phận hệ thống xử lý ảnh • Hệ thống chiếu sáng (llummination): On-axial light Khi đối tượng cần chiếu sáng song song với trục quang, tức trực tiếp từ mặt trước, gương bán suốt sử dụng để tạo nguồn sáng trục (on-axial light ) Trên trục gọi đồng trục Vì chùm tia song song với trục quang, phản xạ trực tiếp xuất tất bề mặt song song với mặt phẳng tiêu cự Ưu điểm • Độ chiếu sáng cao, khơng có điểm chói • Độ tương phản cao vật liệu có độ phản xạ khác Nhược điểm • Cường độ thấp địi hỏi thời gian phơi sáng lâu • Cần làm gương bán suốt (bộ tách chùm tia) thường xuyên 17 Các phận hệ thống xử lý ảnh • Hệ thống chiếu sáng (llummination): On-axial light Inside of a can as seen with ambient light Inside of the same can as seen with a coaxial (on-axis) light 18 12/7/2018 Các phận hệ thống xử lý ảnh • Hệ thống chiếu sáng (llummination): Dome light Vật liệu bóng đòi hỏi ánh sáng khuếch tán mạnh mà khơng có điểm chói/hot spots bóng tối Ánh sáng mái vòm tạo cường độ ánh sáng đồng cần thiết nhờ chiếu sáng đèn LED bên thành mái vịm Phần hình ảnh trở nên tối khơng có phản xạ lỗ mái vịm, nơi camera chiếu qua Ưu điểm • Hoạt động tốt vật liệu phản quang cao • Chiếu sáng đồng đều, ngoại trừ phần hình ảnh tối Khơng có điểm chói Nhược điểm • Cường độ thấp đòi hỏi thời gian phơi sáng lâu • Kích thước phải lớn đối tượng 19 • Vùng tối hình ảnh Các phận hệ thống xử lý ảnh • Hệ thống chiếu sáng (llummination): Dome light Ambient light Trên đầu phím số mặt cong, suốt gây phản xạ trực tiếp Phản xạ trực tiếp loại bỏ ánh sáng chiếu mái vòm 20 10 12/7/2018 Các phận hệ thống xử lý ảnh • Hệ thấu kính (lens) Camera: 29 Phân loại hệ thống xử lý ảnh • Hệ thống xử lý ảnh chiều: Hệ thống xử lý ảnh 1D phân tích tín hiệu số theo line (rộng pixel) thời điểm thay quan sát toàn “bức tranh” lúc Kỹ thuật thường phát phân loại khuyết tật vật liệu sản xuất quy trình liên tục, ví dụ giấy, kim loại, nhựa mặt hàng dạng cuộn 1D vision systems scan one line at a time while the process moves In the above example, a defect in the sheet is detected 30 15 12/7/2018 Phân loại hệ thống xử lý ảnh • Hệ thống xử lý ảnh chiều: Các camera thực quét diện tích việc chụp ảnh nhanh 2D độ phân giải khác 2D vision systems can produce images with different resolutions 31 Phân loại hệ thống xử lý ảnh • Hệ thống xử lý ảnh chiều: Another type of 2D machine vision–line scan–builds a 2D image line by line Line scan techniques build the 2D image one line at a time Camera chụp ảnh 1D (rộng pixel) liên tục dọc theo chiều thứ Ảnh 2D tạo nên cách ghép ảnh 1D 32 16 12/7/2018 Phân loại hệ thống xử lý ảnh • Hệ thống xử lý ảnh chiều: Kết hợp camera 2D (x-y: pixel) máy quét tia laser 1D (z: mm) tạo nên ảnh 3D vật thể 33 Phân loại hệ thống xử lý ảnh • Hệ thống xử lý ảnh chiều: Hệ thống thị giác máy 3D thường bao gồm nhiều camera hay nhiều cảm biến laser dịch chuyển Hệ thống thị giác nhiều camera 3D ứng dụng dẫn hướng robot cung cấp cho robot thông tin định hướng Các hệ thống liên quan đến nhiều camera (>2) gắn vị trí khác “triangulation” vị trí mục tiêu khơng gian 3-D (theo nguyên lý tam giác lượng để xác định vị trí điểm khơng gian 3D) 3D vision systems typically employ multiple cameras 34 17 12/7/2018 Phân loại hệ thống xử lý ảnh • Hệ thống xử lý ảnh chiều: Các ứng dụng cảm biến dịch chuyển laser 3D thường bao gồm đánh giá bề mặt đo khối lượng, tạo kết 3D với camera đơn lẻ “Bản đồ chiều cao” tạo từ dịch chuyển vị trí tương đối laser phản chiếu vật thể Đối tượng camera phải di chuyển để quét toàn sản phẩm tương tự quét line 3D inspection system using a single camera 35 Các bước xử lý ảnh • Q trình xử lý thông tin: 36 18 12/7/2018 Các bước xử lý ảnh • Sơ đồ tổng thể hệ thống xử lý ảnh: Điều chỉnh thông số camera chất lượng ảnh tốt nhất: exposed time, độ phân giải (8, 12, 16 bits),… 37 Các bước xử lý ảnh • Hệ thống tự động kiểm tra chất lượng điển hình: 38 19 12/7/2018 Các bước xử lý ảnh Trình tự bước xử lý ảnh 39 Các bước xử lý ảnh • Phần thu nhận ảnh (Image Acquisition): - Ảnh nhận qua camera màu đen trắng (tương tự) - Camera thường dùng loại qt dịng; ảnh tạo có dạng hai chiều Chất lượng ảnh thu nhận phụ thuộc vào thiết bị thu, vào môi trường (ánh sáng, phong cảnh) 40 20 12/7/2018 Các bước xử lý ảnh • Phần thu nhận ảnh (Image Acquisition): - Ảnh camera thu nhận ma trận pixel, pixel có cường độ sáng định số hóa tương 41 ứng từ (trắng) đến 255 (đen) Các bước xử lý ảnh • Tiền xử lý (Image Preprocessing) - Sau thu nhận, ảnh nhiễu độ tương phản thấp nên cần đưa vào tiền xử lý để nâng cao chất lượng - Chức tiền xử lý lọc nhiễu, nâng độ tương phản để làm ảnh rõ hơn, nét 42 21 12/7/2018 Các bước xử lý ảnh • Phân đoạn hay phân vùng ảnh (Segmentation): - Phân vùng ảnh tách ảnh đầu vào thành vùng thành phần để biểu diễn phân tích, nhận dạng ảnh - Đây phần phức tạp khó khăn xử lý ảnh dễ gây lỗi, làm độ xác ảnh Kết nhận dạng ảnh phụ thuộc nhiều vào công đoạn 43 Các bước xử lý ảnh • Phân đoạn hay phân vùng ảnh (Segmentation): 44 22 12/7/2018 Các bước xử lý ảnh • Biểu diễn ảnh (Image Representation): - Đầu ảnh sau phân đoạn chứa điểm ảnh vùng ảnh (ảnh phân đoạn) cộng với mã liên kết với vùng lận cận - Các tính chất để thể ảnh gọi trích chọn đặc trưng (Feature Selection) gắn với việc tách đặc tính ảnh dạng thông tin định lượng 45 Các bước xử lý ảnh • Nhận dạng nội suy ảnh (Image Recognition and Interpretation): - Nhận dạng ảnh trình xác định ảnh - Quá trình thường thu cách so sánh với mẫu chuẩn học (hoặc lưu) từ trước - Nội suy phán đoán theo ý nghĩa sở nhận dạng + Nhận dạng theo tham số (identification of parameter ) + Nhận dạng theo cấu trúc (identification of structure) 46 23 12/7/2018 Các bước xử lý ảnh • Nhận dạng nội suy ảnh (Image Recognition and Interpretation): 47 Các bước xử lý ảnh • Cơ sở tri thức (Knowledge Base): - Trong nhiều khâu xử lý phân tích ảnh ngồi việc đơn giản hóa phương pháp tốn học đảm bảo tiện lợi cho xử lý, người ta mong muốn bắt chước quy trình tiếp nhận xử lý ảnh theo cách người • Mơ tả (Image presentation): - Ảnh sau số hoá lưu vào nhớ, chuyển sang khâu để phân tích + Đặc trưng ảnh (Image Features) + Biên ảnh (Boundary) + Vùng ảnh (Region) 48 24 12/7/2018 Các bước xử lý ảnh Sơ đồ khối phân tích xử lý ảnh lưu đồ thông tin khối 49 Các thông số kỹ thuật • Chi tiết cần kiểm tra: - Các chi tiết rời rạc hay vật liệu liên tục (ví dụ giấy sản phẩm dệt) - Các kích thước nhỏ lớn - Hình dạng có thay đổi hay không - Các đặc điểm (feature) cần phải đánh giá - Nhận dạng đặc điểm không liên quan đến sản phẩm để phát sản phẩm lỗi - Độ bóng màu sắc, màu sắc, ăn mịn, bám dính,… 50 25 12/7/2018 Các thơng số kỹ thuật • Ví dụ: Ứng dụng xử lý ảnh kiểm tra sản phẩm 51 Các thơng số kỹ thuật • Biểu diễn sản phẩm: - Chuyển động chi tiết + Vị trí số hóa (indexed positioning) + Di chuyển liên tục (continuous moving) - Dung sai vị trí (Positioning tolerance) + Ảnh hưởng đến tầm nhìn (field of view) + Chiều sâu tầm nhìn (depth of view) - Số lượng chi tiết (the number of units) + Số lượng chi tiết vùng quan sát + Số lượng chi tiết chồng lên + Các chi tiết chạm (kề sát nhau) 52 26 12/7/2018 Các thông số kỹ thuật • Chất lượng hệ thống xử lý ảnh: - Độ xác - Đặc tính thời gian + chu kỳ thời gian (cycle of time) + bắt đầu thu ảnh (start of image) + thời gian xử lý tối đa (maximum of time processing) + số lượng chu trình từ bắt đầu đến kết thúc xử lý (amount of processing) 53 Các thông số kỹ thuật • Ví dụ: Thơng số kỹ thuật xử lý ảnh (dây chuyền sản sản xuất) 54 27 12/7/2018 Các thơng số kỹ thuật • Giao diện thơng tin (Information Interfaces): - Giao diện người dùng - Khai báo chi tiết hành - Bắt đầu trình kiểm tra - Các kết - Lưu trữ kết tạo thư viện hồ sơ nhật ký - Tạo giao thức truyền liệu cho việc lưu trữ in ấn 55 Các thông số kỹ thuật • Không gian lắp đặt (Installation space): - Khả chỉnh hệ thống chiếu sáng camera - Có khả nhìn xuyên thấu quanh cảnh kiểm tra? - Có thể thay đổi khoảng cách nhỏ lớn chi tiết camera? - Khoảng cách camera phận xử lý cần kiểm tra để đảm bảo chiều dài cáp nối 56 28 12/7/2018 Các thơng số kỹ thuật • Mơi trường (Environment): - Ánh sáng môi trường xung quanh - Bảo vệ thiết bị khỏi chất bẩn bụi bẩn - Va chạm dao động ảnh hưởng đến phận thiết bị - Nhiệt độ môi trường làm việc (nóng lạnh) - Một lớp kính bảo vệ - Khả cung cấp lượng 57 29 ... Giao diện người dùng - Khai báo chi tiết hành - Bắt đầu trình kiểm tra - Các kết - Lưu trữ kết tạo thư viện hồ sơ nhật ký - Tạo giao thức truyền liệu cho việc lưu trữ in ấn 55 Các thơng số kỹ thuật... nối 56 28 12/7/2018 Các thông số kỹ thuật • Mơi trường (Environment): - Ánh sáng môi trường xung quanh - Bảo vệ thiết bị khỏi chất bẩn bụi bẩn - Va chạm dao động ảnh hưởng đến phận thiết bị - Nhiệt... kiểm tra: - Các chi tiết rời rạc hay vật liệu liên tục (ví dụ giấy sản phẩm dệt) - Các kích thước nhỏ lớn - Hình dạng có thay đổi hay khơng - Các đặc điểm (feature) cần phải đánh giá - Nhận dạng