xử lý ảnh và ứng dụng theo dõi đối tượng chuyển động

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Lê Anh Vũ XỬ LÝ ẢNH VÀ ỨNG DỤNG THEO DÕI ĐỐI TƯỢNG CHUYỂN ĐỘNG KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC CHÍNH QUY Ngành : Công Nghệ Điện Tử - Viễn Thông HÀ NỘI 2005 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Lê Anh Vũ XỬ LÝ ẢNH VÀ ỨNG DỤNG THEO DÕI ĐỐI TƯỢNG CHUYỂN ĐỘNG KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC CHÍNH QUY Ngành : Công Nghệ Điện Tử - Viễn Thông Cán bộ hướng dẫn : Nguyễn Vinh Quang HÀ NỘI 2005 Lời cảm ơn Để hoàn thành được khóa luận này đó là sự giúp đỡ nhiệt tình và hết sức tạo điều kiện của các thầy cô và nhà trường cùng các bạn trong lớp , Sự tận tình và cảm thông của gia đình,anh em. Em xin chân thành cảm ơn thầy Nguyễn Vinh Quang, người đã hưỡng dẫn em làm khóa luận này, thầy đã nhiệt tình giúp đỡ em trong suốt quá trình làm khóa luận về cả vật chất lẫn tinh thần. Em xin cảm ơn Nhà Trường và đặc biệt là các thầy cô của khoa Điện Tử thuộc Phòng Thí Nghiệm ROBOTIC của Trường, những người mà hàng ngày vẫn tạo điều kiện và bảo ban em . Cảm ơn các bạn lớp K46DC, nhưng người luôn sát cánh và chia sẻ cùng mình! Hà Nội, ngày 05/06/2005 Mục lục Mở đầu…………………………………………………………………………….1 Phần 1: LÝ THUYẾT XỬ LÝ ẢNH …………………………………………….2 Chương 1: Lý Thuyết xử lý ảnh …………………………………………………2 1.1:Thu nhận ảnh và số hóa…………………………………………………2 1.2:Phân tích ảnh…………………………………………………………….2 1.3:Quyết định……………………………………………………………… 3 Chương 2: Thu nhận hình ảnh…………………………………………… … 3 2.1:Thu nhận ảnh…………………………………………………………….3 2.2:Lưu ảnh………………………………………………………………… 7 Chương 3: Phân tích ảnh……………………………………………………….…8 3.1:Khái niệm pixel và pixil lân cận…………………………………………8 3.2:Một số công cụ trợ giúp xử lý ảnh………………………………………8 3.2.1:Tích chập……………………………………………………………… 8 3.2.2:Kỹ thuật lọc số………………………………………………………….11 3.2.3:Biến đổi Fourier……………………………………………………… 11 3.3:Tiền xử lý…………………………………………………………………16 3.3.1:Phương pháp tiền xử lý trong miền không gian…………………… 16 3.3.2:Phương pháp tiền xử lý trong miền tần số………………………… 17 3.4:Làm trơn ảnh………………………………………………………….…18 3.4.1:Lấy trung bình các điểm ảnh lân cận, lọc tuyến tính……………… 18 3.4.2:Phương pháp lọc trung vị…………………………………………… 19 3.4.3:Trung bình hóa hình ảnh…………………………………………… 19 3.4.4:Làm trơn hình ảnh nhị phân………………………………………….20 3.5:Phát hiện biên…………………………………………………………….22 3.6:Lập ngưỡng………………………………………………………………25 Phần 2: PHẦN THỰC NGHIỆM:……………………………………………… 26 Chương 1: Ngôn ngữ lập trình…………………………………………… 28 Chương 2:Điều khiển công LPT trên Win200/NT/XP…………………….31 Chương 3:Minh họa thuật toán và chươ ng trình………………………….34 Tài liệu tham khảo:………………………………………………………………….52 TÓM TẮT NỘI DUNG KHÓA LUẬN: Nội dung của khóa luận là ứng dụng lý thuyết của xử lý ảnh số qua thiết bị thu ảnh , ở đây là web camera để điều khiển một hệ cơ tự động theo dõi đối tượng chuyển động. Khóa luận được chia làm hai phần chính, phần lý thuyết và phần thực nghiệm : -Trong phần lý thuyết , ta sẽ tìm hiểu các khái niệm cơ bản của xử lý ảnh số, bao gồm lý thuy ết về Xử lý ảnh,Thu nhận hình ảnh và Phân tích ảnh. -Ở phần này, giới thiệu các khái niệm về xử lý ảnh và ứng dụng các thuật toán về xử lý ảnh như là công cụ toán học tích chập, các phưong pháp tiền xử lý : lọc nhiễu, phát hiện biên, phân ngưỡng ảnh…. -Phần thực hành gồm 3 phần: Phần 1 tìm hiểu ngôn ngữ lập trình và thư viện AVICap của Microsoft. Phần 2 sẽ giới thiệ u về cách giao tiếp và điều khiển công LPT trên VC++. Phần 3 là phần chính , bao gồm thuật toán và chương trình chính điều khiển. LỜI MỞ ĐẦU Trong mấy thập kỷ gần đây, xử lý ảnh đã được nghiên cứu mạnh mẽ và đã có rất nhiều ứg dụng trong thực tế. Như trong y học, xử lý ảnh số đã được dùng để phát hiện và nhận dạng khối u , cải thiện ảnh X quang , nhận dạng đường biên mạch máu từ những ảnh chụp mạch bằng tia X. trong cuộc sống gia đình, xử lý ả nh được dùng để cải thiện ảnh Ti vi. Trong truyền thông video như hội nghị video, điện thoại video thì một vấn đề chính là cần có giải tần rộng. Việc mã hóa thẳng các chương trình video chất lượn quảng bá cần đến 100 triệu bit/s. Điều này không thể đáp ứng được.Nhưng bằng cách mã hóa số và khôi phục ảnh (là những vấn đề của xử lý ảnh ) thì việc trên có thể thự c hiện chỉ với băng tần 100 nghìn bit/s. Còn trong lĩnh vực khoa học kỹ thuật, xử lý ảnh đã và đang có những đóng góp quan trọng, đặc biệt là trong lĩnh vực Robot. Robot thông minh ngày nay không thể thiếu yếu tố xử lý ảnh. Đó là các vấn đề nhận dạng các đối tượng ngoài môi trường. Từ việc nhận dạng có thể giải quyết rất nhiều bài toán như tránh vật cản, dò đường X ử lý ảnh có thể được chia ra làm các quá trình sau: Thu nhận hình ảnh, phân tích ảnh và quyết định. Mô hình sản phẩm theo dõi đối tượng dùng camera . PHẦN 1: LÝ THUYẾT XỬ LÝ ẢNH CHƯƠNG 1 : HỆ THỐNG XỬ LÝ ẢNH Một hệ thống xử lý ảnh điển hình được cho trên hình vẽ sau: Hình 1.1, Các giai đoạn chính trong xử lý ảnh. Thu nhận ảnh Số hoá Phân tích ảnh Nhận dạng Lưu trữ Lưu trữ Hệ quyết định Thiết bị thu nhận ảnh (Camera. Sensor) Từ hình vẽ 1.1 ta thấy một hệ thống xử lý ảnh bao gồm thu nhận ảnh, số hóa ảnh, phân tích ảnh và cuối cùng là quyết định (tùy thuộc vào yêu cầu ứng dụng cụ thể mà đưa ra quyết định cho phù hợp) 1.1 Thu nhận ảnh và số hóa Việc thu nhận ảnh có thể thông qua camera. Các camera có thể hoặc là tương tự (loại camera ống kiểu CCIR) hoặc là số (loại camera kiểu CCD_ Charge Coupled Device). Ảnh cũng có thể được thu qua các thiết bị khác như máy quét v v . Nếu ảnh nhận được là tương tự nó phải được số hóa nhờ quá trình lấy mẫu và lượng tử hóa trước khi phân tích, xử lý hay lưu trữ ảnh. 1.2 Phân tích ảnh Ở giai đoạn này ảnh được xử lý theo nhiều công đoạn nhỏ như: cải thiện ảnh, khôi phục ảnh để làm nổi bật một số đặc tính chính của ảnh hay làm ảnh gần với trạng thái gốc. Tiếp theo là phát hiện các đặc tính như biên, phân vùng. 1.3 Quyết định Cuối cùng tùy theo mục đích của ứng dụng, sẽ là giai đoạn nhận dạng hay các quyết định khác. CHƯƠNG 2: THU NHẬN HÌNH ẢNH 2.1 Thu nhận ảnh Để thu nhận ảnh người ta thường dùng các camera truyền hình, các camera gồm tube hoặc sensor mạch rắn và các thiết bị điện tử đi kèm. Camera sensor mạch rắn có một số ưu điểm so với camera tube như nhẹ hơn, nhỏ hơn, bền hơn, bền hơn và tiêu thụ công suất thấp hơn. Tuy nhiên, một số camera tube có độ phân giải cao hơn camera sensor mạch rắn. Một trong số những loại đượ c sử dụng phổ biến của camera tivi là Vidicon. Camera Vidicon là một vỏ kính hình lăng trụ chứa một súng phóng electron ở đầu và một màn hình (faceplate) ở đầu kia. Dòng electron được hội tụ và làm lệch điện áp đặt vào các cuộn dây như trên hình vẽ 2.1. Mạch làm lệch làm cho dòng electron quết lên bề mặt trong của màn hình để “đọc” hình ảnh . Bề mặt bên trong của màn hình được phủ một màng mỏng kim loại trong suốt, màng mỏng này tạo thành mộ t điện cực mà từ đó tạo ra tín hiệu điện của hình ảnh. Một lớp nhạy sáng được phủ trên màng mỏng kim loại. Lớp tạo thành bao gồm những quả cầu trở kháng có kích cỡ rất nhỏ, trở kháng của những quả cầu này tỷ lệ nghịch với cường độ sáng của nó Phía sau lớp nhạy sáng đó có một lưới tích điện dương để giảm tốc các electron được phát ra từ súng phóng electron sao cho khi các electron này tới bề mặt đích về cơ bản vận tốc là bằng không. Ở chế độ hoạt động bình thường, điện áp dương được đặt vào lớp kim loại của màn hình. Khi không có ánh sáng, lớp nhạy sáng đóng vai trò như chất điện môi, dòng electron phủ một lớp electron lên bề mặt bên trong của màn hình để cân bằng với điện tích dương trên lớp kim loại. Khi chùm electron quét bề mặt của màn hình, lớp nhày sáng trở th ành một tụ điện với điện tích âm trên bề mặt phía trong và điện tích dương ở bề mặt đối diện. Khi ánh sáng va vào màn hình, trở kháng của nó giảm và el ectron được phép chuyển động tự do và trung hòa với điện tích dương. Vì lượng điện tích chuyển động tự do tỷ l ệ với ánh sáng trong một vùng cục bộ bất kỳ của màn hình, hiệ u ứng này t ạo ra một hình ảnh trên màn hình giống với ảnh chiếu trên màn hình của tube. Nghĩa là, sự tập trung của c ác điện tích electron là cao trong các vùng tối và thấp hơn trong các vùng sáng. Khi dòng electron quét màn hình lần thứ hai nó thay thế các điện tích bị mất, và do đó tạo thành một dòng điện chảy trong lớp kim loại và ở phía ngoài của một trong các chân tube. Dòng này tỷ lệ với số electron được thay thế và do đó tỷ l ệ với cường độ sáng t ại vị trí cụ thể của dòng quét. Sự thay đổi này khi dòng electron quét sẽ tạo ra một tín hiệu hình ảnh tỷ lệ với cường độ của ảnh đầu vào. Cuộn hội tụ dòng electron: Lớp nhạy sáng Các chân tube Màn hình Lưới Dòng electron Súng phóng electron Lớp phủ kim loại trong suốt Cuộn làm lệch dòng electron Hình 2.1.Sơ đồ một vidicon Hình 2.2 Mẫu quét dòng electron: Hình 2.2 minh họa một chuẩn quét.Dòng electron quét toàn bộ màn hình 30 lần mỗi giây, mỗi một vết quét hoàn chỉnh (gọi là một khung) gồm 525 dòng trong đó có 480 dòng chứa thông tin về hình ảnh. Nếu các dòng được quét một cách tuần tự và kết quả được hiển thị lên một màn hình TV, hình ảnh sẽ nhấp nháy rõ r ệt. Có thể khắc phục hiện tượng này bằng cách sử dụng cơ cấu quét mà trong đó mỗi khung được chia ra thành hai trường mành xen kẽ nhau, mỗi trường gồm 2625 dòng và được quét 60 lần trong một giây hay tốc độ khung tăng lên gấp đôi. Trường hợp đầu tiên của mỗi khung quét các dòng lẻ (là các đường chấm chấm trong hình 2.2) trong khi đó mành thứ hai quét các dòng chẵn. Sơ đồ quết này được gọi chuẩn là RETMA (Radio-Electronics Television Manufacturers Association ). Hiệp hội các hãng chế tạo Radio, Tivi, và máy móc điện tử). Các chuẩn khác có tốc độ dòng trên mỗi mành cao hơn , nhưng về cơ bản nguyên lý hoạt độn4g của các mạch này là giống nhau. Các thiết bị CCD gồm hai loại: Sensor quét dòng và sensor khối. Thành phần cơ bản của Sensor CCD quét dòng là một hàng phân tử ảnh silic gọi là photosites. Các [...]... camera quét dòng chỉ cho ra một dòng hình ảnh của hình ảnh lối vào Những thiết bị này đặc biệt phù hợp cho các ứng dụng mà các đối tượng chuyển động qua sensor (như trong các băng truyền) Sự chuyển động của một đối tượng theo hướng vuông góc với sensor tạo ra hình ảnh hai chiều Các sensor quét dòng có độ phân giải thấp 32x3, trung bình 256x256 và cao 480 phân tử ảnh và các sensor thí nghiệm CCD có khả năng... trị của X (theo cột) -Tính DFT 1 chiều theo hướng ngược lại (theo hàng) với giá trị thu được ở trên 3.3 Tiền xử lý Có hai phương pháp cơ bản được sử dụng trong tiền xử lý ảnh Phương pháp thứ nhất dựa vào các kỹ thuật tiền xử lý trong miền không gian và phương pháp thứ hai sử dụng các khái niệm trong miền tần số thông qua biến đổi Fourier 3.3.1 Phương pháp tiền xử lý trong miền không gian Thuật ngữ miền... MÔ HÌNH SẢN PHẨM WEBCAM TỰ ĐỘNG THEO DÕI ĐỐI TƯỢNG DI CHUYỂN: Như là một phần của đề tài, tôi đã cho thực hành cho camera theo dõi vật dựa trên phần cứng đơn giản.Với mục tiêu minh hoạ cho đề tài nên các phần cứng và chương trình đã được đơn giản hoá …như là camera chỉ bám vật theo hai chiều trái và phải, chương trình cũng chỉ cho phép điều khiển camera bám theo một vật chuyển ... hình ảnh Các phương pháp tiền xử lý trong miền không gian là các thủ tục tác động trực tiếp lên các pixel tạo lên hình ảnh đó Các hàm tiền xử lý trong miền không gian có thể được viết như sau: g(x,y) =h[f(x.y)] (3.22) Ở đây f(x,y) là hàm điểm ảnh chưa được xử lý g(x,y) là hàm điểm ảnh đã được xử lý h là toán tử áp lên f Dạng đơn giản nhất của h là lân cận có kúch tghước1x1, khi đó g chỉ phụ thuộc vào... mạnh trong việc phát hiện chuyển động của vật Tuy vẫn còn hạn chế về mặt tính toán nhưng biến đổi Fourier rời rạc có rất nhiều ứng dụng trong các lĩnh vực tái tạo ảnh, cải thiện ảnh và khôi phục ảnh Đối với biến đổi Fourier liên tục, hai chiều, việc tính toán có thể đạt tới tốc độ ánh sáng nhờ sử dụng các thiết bị quang học 3.4 Làm trơn ảnh 3.4.1 Lấy trung bình các điểm ảnh lân cận- Lọc tuyến tính... số pixel trên một dòng ảnh • 2 byte cuối: cho biết số dòng ảnh trong ảnh Định dạng ảnh PCX là một trong những định dạng ảnh cổ điển nhất Định dạng này sử dụng phương pháp mã loại dài RLE (Run-Length-Encoded) để nén dữ liệu ảnh Quá trình nén và giải nén được thực hiện trên từng dòng ảnh Tệp PCX gồm 3 phần : đầu tệp(header), dữ liệu ảnh (image data), và bảng màu mở rộng Định dạng ảnh TIFF được thiết kế... photosite được sắp xếp theo dạng ma trận và có một tổ hợp thanh ghi vận chuyển cổng giữa các cột photosite như trong hình 2.4 Nội dung của các photosite lẻ được chốt lần lượt vào các thanh ghi vận chuyển dọc và sau đó lại được chốt vào các thanh ghi vận chuyển ngang Nội dung của các thanh ghi vận chuyển ngang này được dẫn vào bộ khuyếch đại, lối ra của bộ khuyếch đại là một dòng lẻ hình ảnh Thực hiện tương... gọi là nhân chập hay nhân cuộn hay mặt nạ : I(x,y) gọi là ảnh đối tượng Thuật toán tổng quát để tính nhân chập dùng cho mọi trường hợp Để sử dụng thuật toán chỉ cần thay đổi hai thông số:ma trận biểu diễn ảnh số cần xử lý và ma trận biểu diễn nhân chập Nhân chập (ImageIn, ImageOut: ảnh H: nhân chập N: kích thước ảnh W; kích thước nhân chập) { Vào: ImageIn Nhân chập Ra: ImageOut} Begin For i = 1 to N... tại điểm đó.: Gốc hình ảnh y f(x,y) • x Để máy tính có thể xử lý, hàm ảnh (x,y) phải được số hoá cả về không gian lẫn biên độ (cường độ) Việc số hoá các toạ độ không gian (x,y) được coi như là việc lấy mấu hình ảnh, trong khi đó việc số hoá biên độ được coi là lượng tử hoá cường độ cho những hình ảnh đơn sắc và phản ảnh bản chất của các ảnh này là biến thiên từ đen tới trắng theo các mức xám khác nhau... BOOL đối với lân cận tâm tại pixel p và gán p là 1 hoặc 0 phụ thuộc vào sự sắp xếp về mặt không gian và giá trị của các pixel lân cận Do hạn chế về thời gian xử lý nên việc phân tích chỉ giới hạn trong 8 lân cận của p, lân cận này cho một mặt nạ kích thước 3x3 như hình 3.7 Hình 3.7 Các lân cận của p sử dụng để làm nhẵn ảnh a d f b p g c e h nhị phân điểm tối là một và điểm sang là 0 Làm nhẵn ảnh nhị . luận là ứng dụng lý thuyết của xử lý ảnh số qua thiết bị thu ảnh , ở đây là web camera để điều khiển một hệ cơ tự động theo dõi đối tượng chuyển động. Khóa. HỌC CÔNG NGHỆ Lê Anh Vũ XỬ LÝ ẢNH VÀ ỨNG DỤNG THEO DÕI ĐỐI TƯỢNG CHUYỂN ĐỘNG KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC CHÍNH