THIẾT KẾ HỆ THỐNG XỬ LÝ ẢNH SỐ TRÊN NỀN FPGA

www.ngohaibac.net ĐẠI HỌC BÁCH KHOA HÀ NỘI KHOA ĐIỆN – BỘ MÔN ĐIỀU KHIỂN TỰ ĐỘNG THIẾT KẾ HỆ THỐNG XỬ LÝ ẢNH SỐ TRÊN NỀN FPGA Nhóm sinh viên thực hiện: Ngô Hải Bắc Đỗ Trung Hiếu Lớp Điều khiển tự động – K48 Giáo viên hướng dẫn: HÀ NỘI - 2008 Ts Lưu Hồng Việt www.ngohaibac.net Lời cảm ơn Trước hết, chúng em xin gửi lời cảm ơn sâu sắc đến thầy giáo TS Lưu Hồng Việt, người giúp đỡ nhiều định hướng nghiên cứu, thiết bị thí nghiệm phục vụ cho nghiên cứu Chúng em xin chân thành cảm ơn thầy cô giáo giảng dạy chúng em, đặc biệt thầy cô giáo Bộ môn Điều khiển tự động – Khoa Điện, TS Phạm Ngọc Nam – Phó Trưởng môn Điện tử - Tin học – Khoa Điện tử Viễn Thông – Trường Đại học Bách Khoa Hà Nội tạo điều kiện giúp đỡ chúng em hoàn thành đồ án tốt nghiệp Xin chân thành cảm ơn Dave Vanden Bout, kĩ sư công ty XESS Corporation trả lời tận tình thắc mắc chúng em KIT XSA3S1000 XST-3.0 Và cuối cùng, chúng em xin dành tất lòng biết ơn kính trọng sâu sắc tới bố mẹ chúng em, người sinh thành, nuôi dưỡng chúng em nên người, lo lắng, bảo từ việc nhỏ nhất, tạo điều kiện cho chúng em sống học tập cách tốt để vươn tới ước mơ hồi bão Mặc dù nỗ lực cố gắng để hoàn thành luận văn tốt nghiệp này, song chắn khơng thể tránh khỏi sai sót Vì vậy, chúng em mong bảo thầy cô giáo để đề tài tốt nghiệp hoàn thiện www.ngohaibac.net Mục lục Lời cảm ơn Mục lục Danh mục hình vẽ đồ án tốt nghiệp Mở đầu Phần : Cơ sở lý thuyết xử lý ảnh số 10 1.1 Khái quát hệ thống Thị giác máy tính Cảm biến thị giác 10 1.3 Các thành phần hệ thống xử lý ảnh: 16 1.3.1 Thành phần thu thập ảnh, Camera vấn đề định dạng ảnh 16 1.3.2 Thành phần xử lý ảnh 17 1.4 1.3.2.1 Các khái niệm xử lý ảnh số 17 1.3.2.2 Các thuật toán xử lý ảnh số 18 Một số giải pháp phần cứng cho hệ thống thị giác máy 28 FPGA 28 DSP Processor 28 Mainboard, laptop 29 Phần : Khái quát FPGA mạch phát triển XST 3S1000 XESS 31 2.1 Giới thiệu chung FPGA ngôn ngữ VHDL 31 2.1.1 Khái niệm ứng dụng FPGA 31 2.1.2 Kiến trúc FPGA 32 2.1.2.1 Kiến trúc chung FPGA 32 Configurable Logic Blocks (CLBs) 33 Configurable I/O Blocks 34 Programmable Interconnect 34 Mạch đồng hồ (Clock Circuitry ) 35 2.1.2.2 So sánh cấu trúc nhỏ cấu trúc lớn 36 2.1.2.3 So sánh SDRAM Programming Anti-fuse programming 36 2.1.2.4 Cấu trúc FPGA Spartan 37 2.1.3 Trình tự thiết kế chip 38 www.ngohaibac.net Ghi đặc điểm kĩ thuật 39 Chọn công nghệ 40 Chọn hướng tiếp cận thiết kế 40 Chọn công cụ tổng hợp 40 Thiết kế chip 41 Mơ – nhìn tổng quan thiết kế 41 Tổng hợp 41 Place and Route 41 Mô lại – tổng quan cuối 42 Kiểm tra 42 2.1.4 Ngôn ngữ mô tả phần cứng VHDL 42 Trình tự thiết kế chíp dựa VHDL 43 2.2 Giới thiệu mạch phát triển XST 3S 1000 hãng XESS 44 2.2.1 XSA-3S1000 45 2.2.2 XST-3.0 (XStend Board) 46 2.3 Giới thiệu hãng Xilinx cơng cụ lập trình: 49 Hãng Xilinx 49 ISE 9.2 49 LogicCore 9.2 49 EDK 9.2 50 System Generator 9.2 50 Phần : Xây dựng hệ thống xử lí ảnh động FPGA 51 3.1 Sơ đồ cấu trúc hệ thống xử lí ảnh động 51 3.2 Xây dựng hệ thống thu thập, lưu trữ, xử lý hiển thị ảnh 53 3.2.1 Thành phần thu thập ảnh Framegrabber 53 3.2.2 Lưu liệu từ Framegrabber vào SDRAM 55 3.2.3 Các chế ghi đọc SDRAM: SDRAM Controller, Dual Port SDRAM 55 SDRAM Controller 55 Pipeline Read Operation 56 Pipeline Write Operation 56 Dualport Module for the SDRAM Controller 58 www.ngohaibac.net 3.2.4 Image Processing core 60 3.2.5 Hiển thị ảnh lên VGA: VGA Generator 67 VGA Color Signals 67 VGA Signal Timing 68 Nguyên tắc hoạt động VGA Generator 69 3.2.6 Picoblaze hệ thống điều khiển trung tâm 71 3.2.6.1 Khái quát PicoBlaze 71 KCPSM3 Module 73 Kết nối với nhớ ROM chương trình 73 3.2.6.2 Sơ đồ cấu trúc khối xử lý trung tâm 75 Thuật tốn chương trình 75 3.3 Thiết kế giao diện điều khiển hệ thống 76 Chức 77 3.4 Mô kết 77 Phương án mô 77 Kết 78 Kết luận 79 Tài liệu tham khảo 82 www.ngohaibac.net Danh mục hình vẽ đồ án tốt nghiệp Hình 1.1 Một tay máy thực gắp đối tượng với trợ giúp hệ thống thị giác máy tính Hình 1.2 Các bước xử lý ảnh số Hình 1.3 Những kiểu liên kết điểm ảnh Hình 1.4 Những kiểu đường liên kết điểm ảnh Hình 1.5 Kết phép lọc Gaussian với cửa sổ 3x3 Hình 1.6 Kết thuật tốn dò biên Hình 1.7 Phân ngưỡng theo lược đồ xám Hình 1.8 Loại bỏ nhiễu khơi phục đối tượng trình làm mảnh-làm đầy Hình 1.9 Sơ đồ thuật tốn gán nhãn đối tượng Hình 2.1 Kiến trúc chung FPGA Hình 2.2 Một Logic Block điển hình Hình 2.3 Configurable Logic Blocks Hình 2.4 Programmable Interconnect Hình 2.5 Cấu trúc thành phần Spartan 3A Hình 2.6 Design Flow Hình 2.7 Qui trình thiết kế chip dựa VHDL Hình 2.8 KIT XSA-3S1000 Hình 2.9 Sơ đồ cấu trúc XSA-3S1000 Hình 2.10 XST-3.0 Board Hình 2.11 XST-3S1000 Hình 3.1 Một ảnh cần xử lý Hình 3.2 Sơ đồ chung hệ thống Hình 3.3 Pixel stream waveform Hình 3.4 Framegrabber state machine Hình 3.5 Pipelined Read Operation timing waveforms Hình 3.6 Pipelined Write Operation timing waveforms Hình 3.7 Ghép nối với SDRAM Controller Hình 3.8 Ghép nối dualport với SDRAM Controller Hình 3.9 Xây dựng ports SDRAM interface Hình 3.10 Sơ đồ khối xử lý ảnh Hình 3.11 Khối ghi liệu từ read_fifo vào Buffer www.ngohaibac.net Hình 3.12 Khối thuật tốn xử lý ảnh Hình 3.13 Cơ chế ghi đọc buffer Hình 3.14 Khối đọc liệu từ buffer Hình 3.15 Sơ đồ khối ghi dịch Pixel register Hình 3.16 Cấu trúc nhân chập Hình 3.17 Cấu trúc xử lý đồng cấu ảnh nhị phân Hình 3.18 Khối gán nhãn đối tượng Hình 3.19 VGA Connection Hình 3.20 màu Hình 3.21 CRT Display Timing Example Hình 3.22 640 x 480 Mode VGA Control Timing Hình 3.23 Sơ đồ khối cấu trúc VGA Generator Hình 3.24 Sơ đồ khối cấu trúc PicoBlaze Hình 3.25 Sơ đồ cấu trúc PicoBlaze Microcontroller Hình 3.26 Sơ đồ khối điều khiển trung tâm giao tiếp UART Hình 3.27 Giao diện điều khiển www.ngohaibac.net Mở đầu Thị giác máy lĩnh vực phát triển Khái niệm thị giác máy – Computer vision có liên quan tới nhiều ngành học hướng nghiên cứu khác Từ năm 1970 mà lực tính tốn máy tính ngày trở nên mạnh mẽ hơn, máy tính lúc xử lý tập liệu lớn hình ảnh, đoạn phim khái niệm kỹ thuật thị giác máy ngày nhắc đến nghiên cứu nhiều ngày Thị giác máy bao gồm lý thuyết kỹ thuật liên quan nhằm mục đích tạo hệ thống nhân tạo tiếp nhận thơng tin từ hình ảnh thu tập liệu đa chiều Ngày nay, ứng dụng thị giác máy trở nên rộng lớn đa dạng, len lỏi vào lĩnh vực từ quân sự, khoa học, vũ trụ, y học, sản xuất, tự động hóa tòa nhà Mục đích đồ án nghiên cứu khái niệm Thị giác máy tính xử lý ảnh số Đồng thời sở đó, chúng em xây dựng hệ thống cảm biến thị giác phần cứng vi mạch khả trình FPGA Cảm biến thực chức sở cảm biến thị giác : tiếp nhận thơng tin từ hình ảnh thu để xử lý phục vụ cho q trình phân tích cao www.ngohaibac.net Trong phần đồ án, chúng em đề cập đến khái niệm hệ thống thị giác máy tính, ứng dụng thành phần Đồng thời chúng em trình bày sở kiến thức xử lý ảnh số dùng việc xây dựng hệ thống cảm biến thị giác Trong phần 2, chúng em trình bày khái niệm chip khả trình FPGA, hãng Xilinx cơng cụ lập trình phát triển hệ thống với FPGA Chúng em đề cập đến vi mạch tích hợp XST 3S 1000 hãng XESS, sử dụng đồ án Phần 3, chúng em trình bày phương án thực thi hệ thống thị giác máy FPGA Việc xây dựng thành phần thu thập ảnh, lưu trữ ảnh, xử lý ảnh thị ảnh mạch tích hợp XST 3S 1000 đề cập chi tiết phần Trong phần này, chúng em trình bày phương án chạy mơ kiểm tra hoạt động hệ thống Và cuối cùng, chúng em tổng kết kết đạt được, ưu điểm, nhược điểm giải pháp, hiệu giải pháp hướng phát triển www.ngohaibac.net Phần : Cơ sở lý thuyết xử lý ảnh số 1.1 Khái quát hệ thống Thị giác máy tính Cảm biến thị giác Theo định nghĩa từ [1] : Hệ thống thị giác - bao gồm thị giác máy (machine vision) thị giác máy tính (computer vision)- hệ thống tiếp nhận thông tin từ cảm biến thị giác (vision sensor) với mục đích cho phép máy móc đưa định thơng minh Thị giác máy tính ngành khoa học phát triển Mặc dù có ứng dụng xử lý ảnh số thập niên đầu kỉ XX vào số lĩnh vực, phải đến năm 1970, nghiên cứu lĩnh vực bắt đầu máy tính quản lý trình xử lý lượng lớn liệu ảnh số Lĩnh vực nghiên cứu thị giác máy rộng, đặc điểm chung tốn thị giác máy tính khơng có đề chung cách giải Mỗi giải pháp giải vấn kết định cho trường hợp cụ thể Ta thấy tương quan Computer vision với lĩnh vực khác sau: 10 www.ngohaibac.net Qua sơ đồ trên, ta thấy thị giác máy tính thị giác máy có liên quan đến nhiều ngành tự động điều khiển, xử lý ảnh số, quang học, sinh học, toán học, máy học Trí tuệ nhân tạo Sự kết hợp ngành tạo cho Thị giác máy tính khả ứng dụng rộng lớn lĩnh vực khoa học, sản xuất đời sống Có thể liệt kê số ứng dụng thị giác máy tính sau : Điều khiển tiến trình (ví dụ: robot công nghiệp, hay thiết bị, xe tự hành) Phát kiện (ví dụ: thiết bị giám sát) Tự động hóa tòa nhà Mơ hình hố đối tượng (ví dụ: q trình kiểm tra môi trường công nghiệp, xử lý ảnh y học) Tương tác (đóng vai trò làm đầu vào cho thiết bị trình tương tác người máy) Nhận dạng Quân Trong lĩnh vực điều khiển tiến trình, thị giác máy tính đóng vai trò đặc biệt quan trọng cảm biến vị trí cho robot công nghiệp xe tự hành Trong hệ thống máy CNC, dây chuyền công nghệ, cảm biến thị giác thu thập liệu ảnh đối tượng công nghiệp, xử lý tách đối tượng khỏi ảnh Sau tách đối tượng, hệ thống thị giác máy tính tốn đặc trưng đối tượng, vị trí, hướng, để giúp cánh tay máy robot cơng nghiệp thao tác xác việc gắp gia công đối tượng Với hệ thống thị giác tích hợp camera có độ phân giải lớn, lập trình xác, điều khiển tay máy để thao tác với vi mạch nhỏ đòi hỏi độ xác gần tuyệt đối 11 www.ngohaibac.net Hình 1.1: Một tay máy thực gắp đối tượng với trợ giúp hệ thống thị giác máy tính Cũng vậy, với xe tự hành môi trường phức tạp, nhiều vật cản, hệ thống thị giác máy giúp cho xe phát đối tượng, vị trí khoảng cách chúng xe Trong trường hợp này, hệ thống thị giác máy không đóng vai trò mơt cảm biến thị giác, mà thực việc vẽ đồ đối tượng, cho phép xe tự hành chọn đường thích hợp Hệ thống thị giác máy ứng dụng lĩnh vực cơng nghiệp với vai trò cảm biến kiểm soát lỗi bề mặt sản phẩm Camera thu thập hình ảnh bề mặt sản phẩm, truyền liệu vào cho hệ thống xử lý để tìm lỗi sản phẩm, vị trí lỗi kích thước lỗi Với hệ thống thị giác sử dụng camera hồng ngoại, ta đo nhiệt độ sản phẩm phân bố nhiệt độ sản phẩm Như vậy, nói, lĩnh vực công nghiệp, thị giác máy cảm biến thị giác thay lượng lớn cảm biến ví trí thơng thường, vốn cần nhiều dây chuyền sản xuất CNC, giúp giảm thiểu chi phí cơng sức lắp đặt cảm biến, quan trọng tạo nên hệ thống xử lý thống thơng tin q trình đối tượng công nghiệp Trong lĩnh vực tự động hóa tòa nhà, hệ thống thị giác máy đóng vai trò ngày quan trọng 12 www.ngohaibac.net Với phát triển thuật toán xử lý liệu ảnh, ứng dụng thành tựu cơng nghệ xử lý trí tuệ nhân tạo, cảm biến thị giác ngày có thẻ thực chức thông minh đếm số người phòng, nhận dạng đối tượng chuyển động, nhận dạng khn mặt, cảnh báo kiện, nhận dạng vân tay Các hãng ALTALS SELTEC, cho đời máy đếm số người, dựa chuỗi hình ảnh Bằng cách quan sát di chuyển dòng người số người , hệ thống thị giác máy tính tốn tốc độ mật độ dòng người di chuyển Bài toán ứng dụng nhiều khu công cộng nhà ga, tàu điện ngầm để kiểm soát lưu lượng người vào nhằm đưa định điều hành xác.[2] Hệ thống thị giác máy ứng dụng rộng rãi việc nhận dạng, chuẩn đoán y học, quân ( xác định vị trí đối phương) vũ trụ Xu phát triển cảm biến ngày nay, độ xác cao, kèm với tính phân tán, thơng minh, khả loại bỏ lỗi (fault tolerance) Các hệ thống cảm biến thị giác chứng tỏ ngày đáp ứng xu Các hệ thống cảm biến thị giác ngày nay, thay lượng lớn cảm biến vị trí toán cụ thể, đồng thời, khả xử lý thông tin không cần đến điều khiển điều khiển trung tâm, cho phép chúng tích hợp rộng rãi vào hệ thống điều khiển phân tán Thêm vào đó, cảm biến thị giác có tính linh hoạt cao, ứng dụng nhiều toán với yêu cầu đo đạc giám sát khác Và cuối cùng, đặc điểm hoạt động mình, cảm biến thị giác hoạt động tốt môi trường khắc nghiệt, nhiệt độ cao, phóng xạ, bụi, điện trường, độ ẩm lớn Với lý đó, hệ thống thị giác máy cảm biến thị giác ngày ứng dụng nhiều hệ thống phức tạp đại, hoạt động liên tục đòi hỏi yêu cầu độ xác xử lý thơng tin cao 1.2 Khái qt q trình xử lý ảnh số hệ thống thị giác máy tính Hệ thống thị giác máy tính bao gồm nhiều lĩnh vực, xử lý ảnh số đóng vai trò định 13 www.ngohaibac.net Hệ thống xử lý ảnh số bao gồm phạm vi rộng kiến thức phần cứng, phần mềm sở lý thuyết Các bước xử lý ảnh số mô tả sơ đồ đây: Phân vùng, phân ngưỡng Biểu diễn Tiền xử lý Cơ sở kiến thức Xử lý nhận dạng Thu nhận ảnh Hình 1.2 : Các bước xử lý ảnh số Thu thập ảnh(image acquision) : Ảnh số thu thập cảm biến ảnh có khả biến thơng tin cường độ sáng mức xám ảnh thực thành tín hiệu điện áp dạng analog Tín hiệu sau số hóa để trở thành tín hiệu số Hiện có số cảm biến ảnh thực việc thu nhận tín hiệu cường độ sáng ảnh số hóa tín hiệu Trong trường hợp cảm biến khơng có chức số hóa cần phải có biến đổi ảnh tương tự thành ảnh số (video decoder) Tín hiệu ảnh sau số hóa mã hóa theo chuẩn video (video format) định trước đưa vào trình lưu trữ xử lý Các chuẩn video thường gặp IUT-R-BT 656, 601 Tiền xử lý ảnh : Sau ảnh số thu thập dạng tín hiệu số, cần phải trải qua giai đoạn tiền xử lý Chức chủ yếu tiền xử lý cải thiện ảnh, nâng cao tính chất ảnh giúp cho trình xử lý sau 14 www.ngohaibac.net thuận tiện Các công đoạn tiền xử lý : nâng cao độ tương phản, lọc nhiễu Phân vùng ảnh: Bước trình xử lý phân vùng ảnh Ảnh sau cải thiện, trở nên thuận tiện cho việc phân ngưỡng phân vùng Nhiệm vụ phân ngưỡng phân vùng ảnh tách ảnh đầu vào thành đối tượng, vật thể riêng biệt Kết trình phân vùng ảnh, ta tập hợp điểm ảnh có liên kết với thành đối tượng, đánh số phân biệt, thuận tiện cho trình xử lý cao Đầu trình phân vùng ảnh pixel chưa lọc, bao gồm liên kết vùng tất điểm ảnh vùng Số liệu cần biến đổi thành dạng thích hợp cho máy tính xử lý Phân tích ảnh: giai đoạn xử lý bậc cao hệ thống xử lý ảnh số Ảnh sau phân vùng thành đối tượng riêng biệt, đánh số phân biệt, phân tích để phục vụ mục đích khác như: Xác định đặc trưng hình học đối tượng: dựa sở đối tượng xác định phân biệt, ta thực xác định đặc trưng hình học đối tượng đấy, : vị trí, kích thước, hướng, số đối tượng hay mật độ đối tượng ảnh Đây đặc trưng dùng nhiều hệ thống thị giác máy (machine vision) Nhận dạng : đối tượng vật thể có hình dạng định, kí tự số, chữ cái, dấu vân tay Ảnh sau phân vùng nhận dạng theo phương pháp định phương pháp neural, để tìm mẫu hình dạng mà đối tượng thuộc Để hướng dẫn hoạt động module xử lý, cần có hệ sở kiến thức để kiểm tra hoạt động tương tác module Hệ có nhiệm vụ kiểm soát hoạt động module xếp trình tự hoạt động chúng thời điểm, giải toán xung đột 15 www.ngohaibac.net 1.3 Các thành phần hệ thống xử lý ảnh: 1.3.1 Thành phần thu thập ảnh, Camera vấn đề định dạng ảnh Giới thiệu chung camera : Trong hệ thống xử lý ảnh số, camera thiết bị quan trọng có chức quan sát thu nhận ảnh đầu vào hệ thống Nó thường coi hộp đen có q trình biến đổi để chuyển ảnh thành dạng lưu trữ máy tính Các bước xử lý bao gồm phát sáng, thấu kính, sensor, phần tử quang điện số hoá, thành phần phối hợp nhằm đưa ảnh số cuối Điểm đặc biệt quan trọng nhận dạng ảnh đặc tính thời gian camera, q trình xử lí ảnh có vai trò lấy mẫu hệ thống nhận dạng ảnh Cảm biến nhìn chung gồm thành phần Thành phần thứ tạo tín hiệu điện đầu tỉ lệ với mức lượng mà nhận Thành phần thứ số hóa(digitalize) , phần tử biến đổi tín hiệu tương tự thành tín hiệu số Tùy thuộc vào thành phần số hóa thực chất chuyển đổi ADC, có tín hiệu với số bit khác nhau: bit, 8bit, 10 bit, 12 bit , tương ứng ta ảnh có 16, 256 mức xám khác Trước đây, người ta sử dụng camera dựa thiết bị phóng tia điện tử, linh kiện bán dẫn, nhiên thiết bị thường cồng kềnh, thiếu bền vững, độ ổn định thấp Từ năm 1980, bắt đầu xuất sensor ảnh camera sensor CMOS, CCD Các sensor chứa số lượng phần tử quang rời rạc, hay điểm ảnh (pixel), phần tử chứa thông tin liên quan đến độ sáng chiếu vào Độ phân giải sensor phụ thuộc vào số điểm ảnh Số điểm ảnh sensor đa dạng, từ thấp (32x32 điểm ảnh), đến trung bình (256x256 điểm ảnh) cao (640x480 ) cao 1280x1024 điểm ảnh Trong đề tài này, chúng em sử dụng loại camera AVC 301D hãng AVTech, loại camera quan sát cho ảnh xám, sử dụng sensor có độ phân giải tương đối lớn (510x482 điểm ảnh), cho tín hiệu ảnh dạng tương tự cần phải số hóa trước vào q trình xử lý Tín hiệu ảnh 16 www.ngohaibac.net tương tự số hóa thành ảnh số video decoder TVP5150 theo chuẩn ITU-R-BT 601 Mỗi frame ảnh thu biểu diễn dạng I(x,y) x,y tọa độ pixel frame I mức xám tương ứng pixel Như frame ảnh thu biểu diễn dạng ma trận chiều n x m với n số pixel hàng, m số hàng frame Trong đồ án này, ảnh thu từ camera có kích thước 510x482, nhiên sau q trình số hóa theo chuẩn ITU 601 ta có ảnh số 8bit với kích thước chuẩn 720x525 1.3.2 Thành phần xử lý ảnh 1.3.2.1 Các khái niệm xử lý ảnh số Pixel lân cận : Như biết, frame ảnh mơ tả dạng ma trận chiều, phần tử ma trận tương ứng với mức xám điểm ảnh (pixel) Mỗi điểm ảnh có lân cận xung quanh Nếu hiển thị pixel dạng vng, điểm có chung biên với điểm lân cận, có chung góc với điểm lân cận khác Hai điểm lân cận gọi "liên kết 4" chúng có chung biên với nhau, "liên kết 8" chung góc chung biên với Hình 1.3 : Những kiểu liên kết điểm ảnh Đường liên kết: Đường liên kết đường nối từ pixel [i1, j1 ] đến pixel [in , jn ] , qua chuỗi pixel [i1, j1 ] , [i2, j2 ] , [ik , jk ] , pixel 17 www.ngohaibac.net liên kết với pixel trước Ta có đường liên kết liên kết pixel liên kết với a) Liên kết b) Liên kết Hình 1.4 : Những kiểu đường liên kết điểm ảnh Có thể dễ dàng nhận thấy, có đường liên kết điểm [ia , ja ] , [ib , jb ] , điểm [ia , ja ] , [ic , jc ] có đường liên kết điểm [ib jb ] [ic jc ] Liên kết có tính tương đối Đối tượng : Ảnh sau nhị phân hóa ( điểm ảnh có giá trị 1) phân biệt đối tượng Trong đề tài này, ta giả định đối tượng tập hợp điểm ảnh có liên kết với có mức xám (đen), ta ký hiệu S, điểm có mức xám (trắng) Biên: biên đối tượng S tập điểm S có liên kết với ~S (phần bù S) hay ảnh Miền S : điểm thuộc S khơng nằm biên 1.3.2.2 Các thuật toán xử lý ảnh số Toán tử cửa sổ (windowing operator): Trong việc thực thi thuật toán xử lý ảnh số bản, người ta thường sử dụng toán tử đặc biệt gọi toán tử cửa sổ Tốn tử cửa sổ tập hợp có hình dạng định, gồm pixel có liên kết với pixel trung tâm, pixel xử lý Các phép 18 www.ngohaibac.net toán pixel có ảnh hưởng đến pixel trung tâm pixel xử lý thuật tốn xử lý ảnh Tốn tử cửa sổ có nhiều hình dạng, tùy thuộc vào thuật tốn thực Tuy nhiên thường dùng tốn tử có dạng hình vng với cạnh số lẻ, ví dụ :3x3, 5x5, 7x7 Trong đồ án này, chúng em sử dụng thường xun tốn tử cửa sổ có dạng 3x3, kích thước hợp lý để thực hiệu tất thuật toán xử lý nâng cao, đồng thời lại dễ thực rút ngắn tối đa trình xử lý Nếu sử dụng cửa sổ 5x5 7x7, thời gian xử lý tăng lên nhiều Tăng độ tương phản : Ảnh sau thu từ camera, tương phản ảnh sáng kém, dẫn đến độ chói cao, khó phân biệt Để cải thiện ảnh, hỗ trợ trình xử lý cao hơn, ta sử dụng phương pháp hiệu chỉnh: hiệu chỉnh min-max, hiệu chỉnh histogram, hiệu chỉnh Gamma, Ở ta sử dụng phương pháp hiệu chỉnh min-max dãn mức xám ảnh dải cho phép (không ảnh hưởng đến mức xám chung) Công thức để nâng cấp ảnh theo hiệu chỉnh min-max: I new  Trong đó: I old  I 256 I max  I I max , I - mức xám cao thấp I new , I old - mức xám sau hiệu chỉnh trước hiệu chỉnh Sau hiệu chỉnh mức xám, ta dãn mức xám ảnh giá trị cách biệt hơn, tạo thuật tiện cho việc xử lý nhận dạng sau Các thuật toán nhân chập Nhân chập (convolution) : nhân chập khơng phải thuật tốn xử lý ảnh, mà phép tốn thơng dụng thuật tốn xử lý ảnh sử dụng toán 19 www.ngohaibac.net tử cửa sổ Nhân chập sử dụng toán dò biên (edge detection) lọc tuyến tính (linear filter) Nhân chập tính tốn giá trị pixel trung tâm toán tử cửa sổ, cách thực phép tính với pixel lân cận pixel trung tâm Việc thực thi phép nhân chập sau: cho cửa sổ với pixel trung tâm chạy toàn frame ảnh, với cửa sổ 3x3 thu được, ta thực phép toán : i 1 I (i, j )  j 1   c(n, m).I (n, m) (1.1) n  i 1 m  j 1 Kết tính cho giá trị pixel trung tâm Trong (1.1), c(n,m) phần tử ma trận gọi mặt nạ (mask) Mỗi thuật toán xử lý khác sử dụng mặt nạ khác để tính giá trị điểm ảnh Lọc tuyến tính, dò biên: Đây thuật toán sở sử dụng phép nhân chập Lọc tuyến tính(linear filter) có tác dụng cải thiện ảnh, loại bỏ nhiễu hỗ trợ cho trình xử lý cao Mỗi lọc khác sử dụng mặt nạ khác nhau, cho hiệu khác tùy vào mục đích sử dụng tình trạng ảnh sau thu thập Ví dụ ảnh có nhiễu phân bố đều, ngẫu nhiên độc lập với pixel, ta sử dụng mặt nạ dành cho lọc trung bình, mặt nạ làm giảm ảnh hưởng nhiễu pixel trung tâm cách lấy trung bình cộng pixel lân cận cửa sổ  c11 c12  c   c21 c22 c  31 c32 c13   1 1    c23   1 1 9  c33   1 1 Nếu ảnh có nhiễu Gaussian, ta sử dụng mặt nạ 20