Kỹ thuật SIFT trong phát hiện và đánh dấu đối tượng

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG LA NGỌC TÙNG KỸ THUẬT SIFT TRONG PHÁT HIỆN VÀ ĐÁNH DẤU ĐỐI TƯỢNG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên- 2012 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn i MỤC LỤC MỤC LỤC i DANH MỤC KÝ HIỆU VÀ VIẾT TẮT iv DANH MỤC CÁC HÌNH ẢNH v PHẦN MỞ ĐẦU 1 Chƣơng 1: KHÁI QUÁT VỀ XỬ LÝ ẢNH VÀ PHÁT HIỆN, 4 ĐÁNH DẤU ĐỐI TƢỢNG 4 1.1. Khái quát về xử lý ảnh 4 1.1.1. Các khái niệm cơ bản 4 1.1.1.1. Xử lý ảnh 4 1.1.1.2. Điểm ảnh 5 1.1.1.3. Ảnh 5 1.1.1.4. Mức xám của ảnh 5 1.1.1.5. Độ phân giải của ảnh 6 1.1.2. Các bước xử lý ảnh số 7 1.1.2.1. Thu nhận ảnh 8 1.1.2.2. Tiền xử lý 8 1.1.2.3. Phân vùng ảnh 16 1.1.2.4. Trích chọn đặc trưng 17 1.1.2.5. Nhận dạng và nội suy ảnh 18 1.1.2.6. Hậu xử lý 19 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ii 1.2. Phát hiện và đánh dấu đối tượng 23 1.2.1. Phát hiện đối tượng 23 1.2.2. Đánh dấu đối tượng 25 Chƣơng 2: KỸ THUẬT PHÁT HIỆN VÀ ĐÁNH DẤU ĐỐI TƢỢNG DỰA TRÊN ĐẶC TRƢNG BẤT BIẾN TỶ LỆ 26 2.1. Lý thuyết điểm bất động và các đặc trưng bất biến của đối tượng 26 2.1.1. Điểm bất động 26 2.1.1.1. Định nghĩa 26 2.1.1.2. Một số định lý về điểm bất động 27 2.1.1.3. Vai trò của điểm bất động trong nhận dạng đối tượng 29 2.1.2. Các đặc trưng cục bộ bất biến của đối tượng 30 2.1.3. Trích chọn các đặc trưng bất biến dựa trên các điểm bất động 30 2.1.4. So khớp đặc trưng 31 2.2. Thuật toán “Phép biến đổi đặc trưng bất biến tỷ lệ” – SIFT 32 2.2.1. Phát hiện cực trị không gian tỷ lệ (Scale-space Extrema Detection) 35 2.2.1.1. Tần số lấy mẫu theo tỷ lệ 37 2.2.1.2. Tần số lấy mẫu trong một vùng không gian 38 2.2.2. Định vị chính xác điểm khóa (Keypoint localization) 39 2.2.3 Gán hướng cho các điểm khóa (Oriented Assignment) 43 2.2.4. Bộ mô tả ảnh cục bộ (Keypoint Description) [5,6,7] 44 2.3. Một số hướng cải tiến, phát triển thuật toán SIFT 47 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn iii 2.3.1. Giảm số lượng keypoint trích xuất ở mỗi ảnh 47 2.3.2. Dùng lược đồ màu loại trừ trước các ảnh ít khả năng tương đồng 48 2.3.3. Trích xuất đối tượng ra khỏi ảnh theo đối tượng mẫu 48 Chƣơng 3: CHƢƠNG TRÌNH THỬ NGHIỆM 49 3.1. Bài toán nhận dạng đối tượng 49 3.1.1. Phát biểu bài toán 49 3.1.2. Cách giải quyết bài toán 49 3.2. Chương trình cài đặt thử nghiệm 51 3.2.1. Cài đặt chương trình 51 3.2.2. Kết quả thực nghiệm 51 PHẦN KẾT LUẬN 55 TÀI LIỆU THAM KHẢO 57 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn iv DANH MỤC KÝ HIỆU VÀ VIẾT TẮT STT Ký hiệu viết tắt Viết đầy đủ Ý nghĩa 1 Pixel Picture Element Điểm ảnh 3 CGA Color Graphic Adapter Chế độ đồ họa màu 5 RLC Run Length Coding Phương pháp mã hóa loạt dài 6 MPEG Moving Picture Experts Group Chuẩn nén video và audio theo ISO/IEC 7 2D Two-dimensional space Không gian hai chiều 8 3D Three-dimensional space Không gian ba chiều 9 SIFT Scale Invariant Feature Transform Phép biến đổi đặc trưng bất biến tỷ lệ 10 DoG Deffirence of Gaussisan Hàm sai khác Gaussian 11 RANDSAC RANDom Sample Consensus Đồng thuận mẫu ngẫu nhiên Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn v DANH MỤC CÁC HÌNH ẢNH Hình 1.1. Quá trình xử lý ảnh 4 Hình 1.2. Các bước cơ bản trong một hệ thống xử lý ảnh 7 Hình 1.3. Sơ đồ phân tích, xử lý ảnh và lưu đồ thông tin giữa các khối 7 Hình 1.4. Ảnh thu nhận và ảnh mong muốn 9 Hình 1.5. Dãn độ tương phản 15 Hình 1.6. Quá trình hiển thị và chỉnh sửa, lưu trữ ảnh thông qua DIB 22 Hình 1.7. Sự chuyển đổi giữa các mô hình biểu diễn ảnh 23 Hình 2.1. Xây dựng một thể hiện không gian tỷ lệ 36 Hình 2.2. Các giá trị cực đại và cực tiểu của các ảnh DoG 37 Hình 2.3. Các giai đoạn lựa chọn các điểm khóa. 40 Hình 2.4. Bộ mô tả điểm khóa 44 Hình 3.1. Ví dụ về bài toán nhận dạng đối tượng: xác định xem đối tượng 49 trong ảnh (b) có trong ảnh (a) không? 49 Hình 3.2. Mô hình chức năng nhận dạng đối tượng 50 Hình 3.3. 52 Kết quả nhận dạng của ảnh chứa nhiều đối tượng được huấn luyện. 52 Hình 3.4. Kết quả nhận dạng đối tượng bị che khuất một phần. 53 Hình 3.5. Không nhận dạng được đối tượng 54 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 1 PHẦN MỞ ĐẦU Con người thu nhận thông tin từ môi trường ngoài thông qua các giác quan, trong đó thị giác đóng vai trò quan trọng nhất trong quá trình nhận thức. Sự phát triển của phần cứng máy tính về phương diện thu nhận, lưu trữ, xử lý và hiển thị và đã vạch ra nhiều định hướng mới cho sự phát triển phần mềm nói chung và lĩnh vực xử lý ảnh nói riêng. Cùng với kỹ thuật đồ họa, xử lý ảnh đóng vai trò quan trọng trong các hệ thống tương tác người máy. Nhận dạng đối tượng là một bài toán điển hình của lĩnh vực xử lý ảnh, với mục tiêu giúp cho máy tính có thể nhận thức được môi trường ngoài giống như con người thông qua “thị giác”. Bài toán này có thể được áp dụng trong việc phát hiện, nhận dạng, theo dõi hay tìm kiếm tự động các đối tượng trong thực tế, điển hình như việc giám sát an ninh cho các khu vực quan trọng: ngân hàng, khu vực chính trị, quân sự Quá trình nhận dạng đối tượng tự động bao gồm việc thu nhận dữ liệu từ các giác quan và tiền xử lý, biểu diễn dữ liệu, nhận dạng và đưa ra quyết định. Đối với con người quá trình này diễn ra gần như tức thời, nhưng đối với máy tính thì hoạt động này tương đối phức tạp. Với sự hỗ trợ của các thiết bị thu nhận hình ảnh hiển đại cho ta chất lượng hình ảnh rõ nét, chân thực về đối tượng, nhưng vấn đề là làm thế nào để máy tính nhận biết được đối tượng trông như thế nào, các hình dạng khác nhau, các góc nhìn khác nhau và kích thước của đối tượng ra sao Một số vấn đề cần giải quyết của bài toán nhận dạng đối tượng khi áp dụng vào thực tế đã tạo ra những thách thức về giải thuật cũng như yêu cầu về tốc độ tính toán. Đặc điểm chung của tất cả những ứng dụng đó là những đặc điểm đặc trưng cần thiết thường là nhiều, không thể do chuyên gia đề xuất, mà phải được trích chọn dựa trên các thủ tục phân tích dữ liệu. Với bài toán nhận dạng đối tượng có rất nhiều cách tiếp cận để giải quyết, với mỗi loại đối tượng lại có một phương pháp cụ thể để áp dụng, nhưng chúng vẫn có những điểm chung. Một trong số những Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 2 phương pháp được sử dụng đó là trích chọn các đặc trưng của ảnh. Các đặc trưng được trích chọn thường dựa vào các đặc trưng bất biến của ảnh. Lý thuyết về điểm bất động đã được nghiên cứu nhiều trong toán học và vật lý. Việc nghiên cứu áp dụng lý thuyết này để trích chọn đặc điểm phục vụ cho nhận dạng trong xử lý ảnh là hướng tiếp cận mới và có nhiều hứa hẹn nhất là đối với các đối tượng có sự biến đổi về kích thước, hình dạng, các đối tượng bị che khuất một số bộ phận hoặc đối tượng chuyển động v.v Như vậy bài toán nhận dạng đối tượng dựa vào các đặc trưng bất biến mà nền tảng là dựa vào các điểm bất động là một cách tiếp cận mới trong khoa học nhận dạng là cơ sở để xây dựng nhiều ứng dụng quan trọng và cần thiết. Có thể liệt kê ra một số kỹ thuật tìm kiếm điểm bất biến trong ảnh như: Phương pháp Harris; Phương pháp Harris – Laplacian; Phương pháp xác định điểm bất biến Harris – Affine; Phương pháp SIFT (Scale Invarian Feature Tranforms); Phương pháp SURF (Speed Up Robust Feature). Trong vấn đề cụ thể nhận dạng đối tượng thì ngày nay hướng nghiên cứu phổ biến trên thế giới là việc sử dụng các điểm bất biến (Invarian Feature) trong ảnh làm đặc trưng (Keypoint) để nhận dạng. Tiêu biểu nhất trong các thuật toán đối sánh sử dụng keypoint dạng này là thuật toán SIFT (Scale-Invarian Feature Transform, David Lowe 1999 và 2004), SIFT có thể coi là thuật toán tiền đề cho các ứng dụng cũng như giải thuật khác về biến đổi đặc trưng bất biến trong ảnh. Các giải thuật đang ứng dụng trong thực tế khác đều dựa trên hay phát triển theo các nhánh riêng của kỹ thuật SIFT. Các đặc trưng trong SIFT không phụ thuộc vào các phép biến đổi ảnh cơ bản như xoay, thu phóng, thay đổi độ sáng nên có thể xem tập các đặc trưng của một ảnh là thể hiện cho nội dung của ảnh đó. Vì vậy kết quả của việc nhận dạng sẽ có độ chính xác rất cao và thậm chí có thể khôi phục được đối tượng bị che khuất trong ảnh. Tuy nhiên giải thuật SIFT rất phức tạp trong cài đặt, đòi hỏi thời gian nghiên cứu và am hiểu nhiều thuật toán thành phần. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 3 Với tầm quan trọng của bài toán nhận dạng đối tượng như trên, đặc biệt là các đối tượng đã bị biến đổi cho ta thấy rõ tính cần thiết cũng như tính thời sự, đồng thời là ý nghĩa khoa học và thực tiễn của vấn đề. Nhận thức được điều này, tôi đã chọn đề tài luận văn: “Kỹ thuật SIFT trong phát hiện và đánh dấu đối tượng”. Nội dung luận văn bao gồm phần mở đầu, phần kết luận và ba chương với bố cục nội dung như sau: Chương 1: Khái quát về xử lý ảnh và phát hiện, đánh dấu đối tượng Chương này trình bày khái quát về xử lý ảnh, các giai đoạn của xử lý ảnh số và các vấn đề trong phát hiện và đánh dấu đối tượng. Chương 2: Kỹ thuật phát hiện và đánh dấu đối tượng dựa trên đặc trưng bất biến tỷ lệ - SIFT Trong chương này sẽ trình bày lý thuyết về điểm bất động và các đặc trưng bất biến của đối tượng; lý thuyết cơ bản của thuật toán SIFT cũng như các bước tiến hành; một số hướng cải tiến, phát triển thuật toán SIFT. Chương 3: Chương trình thử nghiệm Trong chương này sẽ trình bày ứng dụng nhận dạng đối tượng ảnh dựa vào các đặc trưng bất biến được xây dựng từ các điểm bất động, cài đặt thử nghiệm thành công kỹ thuật SIFT đã trình bày ở chương 2. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 4 Chƣơng 1: KHÁI QUÁT VỀ XỬ LÝ ẢNH VÀ PHÁT HIỆN, ĐÁNH DẤU ĐỐI TƢỢNG 1.1. Khái quát về xử lý ảnh 1.1.1. Các khái niệm cơ bản 1.1.1.1. Xử lý ảnh Xử lý ảnh [1,2,3] là một lĩnh vực mang tính khoa học và công nghệ. Tuy là một ngành khoa học mới mẻ so với nhiều ngành khoa học khác, nhưng tốc độ phát triển rất nhanh, được rất nhiều các viện nghiên cứu, ứng dụng. Những năm trở lại đây với sự phát triển của phần cứng máy tính, xử lý ảnh và đồ hoạ đã phát triển một cách mạnh mẽ và có nhiều ứng dụng được áp dụng trong cuộc sống. Xử lý ảnh và đồ hoạ đóng một vai trò quan trọng trong tương tác người - máy. Mục đích của xử lý ảnh là nâng cao chất lượng ảnh phục vụ con người và xử lý ảnh dữ liệu dạng hình ảnh để máy tính có thể hiểu được từ đó đưa ra những quyết định cần thiết. Hình 1.1. Quá trình xử lý ảnh Xử lý ảnh có nhiều ứng dụng trong đời sống như : nhận dạng ảnh, vệ tinh dự báo thời tiết, viễn thám, ảnh y tế, khoa học hình sự, điện ảnh… Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn [...]... dụng trong cuộc sống Đây cũng là bài toán cơ bản cần giải quyết trong các hệ thống tương tác người máy, theo dõi đối tượng Phát hiện đối tượng là một khâu không thể thiếu cho bất kỳ hệ thống xử lý đối tượng ảnh một cách tự động như: nhận dạng đối tượng, xác định các phần đặc trưng của đối tượng, kiểm chứng xác thực đối tượng Nhiệm vụ của một hệ thống phát hiện đối tượng là nhằm xác định xem trong. .. trong ảnh đầu vào có đối tượng đó hay không, nếu có thì chỉ ra vị trí và kích thước của đối tượng đó trong ảnh Trong hai thập kỷ gần đây vấn đề này được rất nhiều nhà khoa học quan tâm nghiên cứu, và đã có khá nhiều giải pháp khác nhau được đưa ra nhằm giải quyết bài toán phát hiện đối tượng trong ảnh đơn và trong chuỗi ảnh video Tuy nhiên do tính phức tạp và đa dạng của các đối tượng trong thực tế... độ nhanh và chất lượng cho cả đầu vào và ra nhưng lại chỉ hỗ trợ cho ảnh Raster Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 23 Do vậy, những nghiên cứu về biểu diễn vectơ đều tập trung từ chuyển đổi từ ảnh Raster Hình 1.7 Sự chuyển đổi giữa các mô hình biểu diễn ảnh 1.2 Phát hiện và đánh dấu đối tƣợng 1.2.1 Phát hiện đối tƣợng Phát hiện và nhận dạng đối tượng trong ảnh... kiếm đối tượng - Phương pháp sử dụng các đặc trưng bất biến của đối tượng - Phương pháp đối sánh ngẫu - Phương pháp sử dụng các kỹ thuật học cho mạng Nơ-ron Đối với nhóm phương pháp thứ nhất, tập trung nghiên cứu xây dựng một tập luật phát hiện đối tượng dựa trên các đặc điểm tạo thành đối tượng đó Ví dụ như các đặc trưng đường biên, để thực hiện phân lớp cho ảnh thành 2 lớp: Lớp ảnh có đối tượng và. .. ứng dụng trong các vị trí chồng chéo do các đối tượng phân đoạn không đúng Các vấn đề chung của việc phân đoạn không đúng là các bóng dài, các phần riêng lẻ và tình trạng bị chồng chéo của các đối tượng với mỗi đối tượng khác và với phần tử đứng yên trong cảnh đó Như vậy, việc đối phó với bóng ở bước phát hiện chuyển động và việc bắt được các phần bị che khuất ở cả bước phân đoạn và bước đánh dấu là... điểm ảnh trong các vùng gần nhau Ví dụ cho kỹ thuật này là mã nén *.PCX - Nén ảnh sử dụng phép biến đổi: Đây là kỹ thuật tiếp cận theo hướng nén không bảo toàn và do vậy, kỹ thuật thường hiệu quả hơn *.JPG tiếp cận theo kỹ thuật nén này - Nén ảnh Fractal: Sử dụng tính chất Fractal của các đối tượng ảnh, thể hiện sự lặp lại của các chi tiết Kỹ thuật nén sẽ tính toán để chỉ cần lưu trữ phần gốc ảnh và quy... biến tỉ lệ của đối tượng ảnh sẽ được trình bày trong Chương 2 Các nhóm phương pháp thứ ba, nghiên cứu kỹ thuật đối sánh mẫu dựa trên sự đối sánh đối tượng nhận được với các mẫu được xây dựng trước Còn nhóm phương pháp thứ tư, dựa trên kỹ thuật máy học, đề xuất ra các mô hình quá trình học và sử dụng mô hình này để huấn luyện và tìm kiếm đối tượng Các kỹ thuật máy học thường được sử dụng như: mạng Nơ... trọng cho sự đánh dấu đúng đắn Đánh dấu trong Video có thể được phân biệt theo sự cần thiết của các ứng dụng sử dụng nó hoặc theo các phương pháp sử dụng để giải quyết Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 26 Chƣơng 2: KỸ THUẬT PHÁT HIỆN VÀ ĐÁNH DẤU ĐỐI TƢỢNG DỰA TRÊN ĐẶC TRƢNG BẤT BIẾN TỶ LỆ 2.1 Lý thuyết điểm bất động và các đặc trƣng bất biến của đối tƣợng 2.1.1... và đa dạng của các đối tượng trong thực tế nên một giải pháp toàn diện và trọn vẹn cho vấn đề này vẫn còn đang trong giai đoạn nghiên cứu Trong khuôn khổ đề tài này, tôi chỉ tập trung trình bày vào vấn đề nghiên cứu và cải tiến giải pháp phát hiện đối tượng trong ảnh đơn Cho đến nay có thể phân loại các phương pháp phát hiện đối tượng thành 4 nhóm chủ yếu: Số hóa bởi Trung tâm Học liệu – Đại học Thái... trên kỹ thuật học thường cho kết quả đầu ra cao hơn hẳn các phương pháp còn lại nhưng lại khó áp dụng trong các hệ thống thời gian thực Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 25 1.2.2 Đánh dấu đối tƣợng Đánh dấu là vấn đề có ý nghĩa và khó nên được các nhà nghiên cứu về máy tính toán rất quan tâm Mục đích của đánh dấu là để thiết lập sự phù hợp của các đối tượng và . hiện, đánh dấu đối tượng Chương này trình bày khái quát về xử lý ảnh, các giai đoạn của xử lý ảnh số và các vấn đề trong phát hiện và đánh dấu đối tượng. Chương 2: Kỹ thuật phát hiện và đánh. 1.2.2. Đánh dấu đối tượng 25 Chƣơng 2: KỸ THUẬT PHÁT HIỆN VÀ ĐÁNH DẤU ĐỐI TƢỢNG DỰA TRÊN ĐẶC TRƢNG BẤT BIẾN TỶ LỆ 26 2.1. Lý thuyết điểm bất động và các đặc trưng bất biến của đối tượng 26. Kỹ thuật SIFT trong phát hiện và đánh dấu đối tượng . Nội dung luận văn bao gồm phần mở đầu, phần kết luận và ba chương với bố cục nội dung như sau: Chương 1: Khái quát về xử lý ảnh và phát