Kỹ thuật SIFT trong phát hiện và đánh dấu đối tượng

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG LA NGỌC TÙNG KỸ THUẬT SIFT TRONG PHÁT HIỆN VÀ ĐÁNH DẤU ĐỐI TƯỢNG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên- 2012 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn i MỤC LỤC MỤC LỤC i DANH MỤC KÝ HIỆU VÀ VIẾT TẮT iv DANH MỤC CÁC HÌNH ẢNH v PHẦN MỞ ĐẦU Chƣơng 1: KHÁI QUÁT VỀ XỬ LÝ ẢNH VÀ PHÁT HIỆN, ĐÁNH DẤU ĐỐI TƢỢNG 1.1 Khái quát xử lý ảnh 1.1.1 Các khái niệm 1.1.1.1 Xử lý ảnh 1.1.1.2 Điểm ảnh 1.1.1.3 Ảnh 1.1.1.4 Mức xám ảnh 1.1.1.5 Độ phân giải ảnh 1.1.2 Các bước xử lý ảnh số 1.1.2.1 Thu nhận ảnh 1.1.2.2 Tiền xử lý 1.1.2.3 Phân vùng ảnh 16 1.1.2.4 Trích chọn đặc trưng 17 1.1.2.5 Nhận dạng nội suy ảnh 18 1.1.2.6 Hậu xử lý 19 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ii 1.2 Phát đánh dấu đối tượng 23 1.2.1 Phát đối tượng 23 1.2.2 Đánh dấu đối tượng 25 Chƣơng 2: KỸ THUẬT PHÁT HIỆN VÀ ĐÁNH DẤU ĐỐI TƢỢNG DỰA TRÊN ĐẶC TRƢNG BẤT BIẾN TỶ LỆ 26 2.1 Lý thuyết điểm bất động đặc trưng bất biến đối tượng 26 2.1.1 Điểm bất động 26 2.1.1.1 Định nghĩa 26 2.1.1.2 Một số định lý điểm bất động 27 2.1.1.3 Vai trò điểm bất động nhận dạng đối tượng 29 2.1.2 Các đặc trưng cục bất biến đối tượng 30 2.1.3 Trích chọn đặc trưng bất biến dựa điểm bất động 30 2.1.4 So khớp đặc trưng 31 2.2 Thuật toán “Phép biến đổi đặc trưng bất biến tỷ lệ” – SIFT 32 2.2.1 Phát cực trị không gian tỷ lệ (Scale-space Extrema Detection) 35 2.2.1.1 Tần số lấy mẫu theo tỷ lệ 37 2.2.1.2 Tần số lấy mẫu vùng không gian 38 2.2.2 Định vị xác điểm khóa (Keypoint localization) 39 2.2.3 Gán hướng cho điểm khóa (Oriented Assignment) 43 2.2.4 Bộ mô tả ảnh cục (Keypoint Description) [5,6,7] 44 2.3 Một số hướng cải tiến, phát triển thuật tốn SIFT 47 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn iii 2.3.1 Giảm số lượng keypoint trích xuất ảnh 47 2.3.2 Dùng lược đồ màu loại trừ trước ảnh khả tương đồng48 2.3.3 Trích xuất đối tượng khỏi ảnh theo đối tượng mẫu 48 Chƣơng 3: CHƢƠNG TRÌNH THỬ NGHIỆM 49 3.1 Bài toán nhận dạng đối tượng 49 3.1.1 Phát biểu toán 49 3.1.2 Cách giải toán 49 3.2 Chương trình cài đặt thử nghiệm 51 3.2.1 Cài đặt chương trình 51 3.2.2 Kết thực nghiệm 51 PHẦN KẾT LUẬN 55 TÀI LIỆU THAM KHẢO 57 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn iv DANH MỤC KÝ HIỆU VÀ VIẾT TẮT STT Ký hiệu viết tắt Viết đầy đủ Ý nghĩa Pixel Picture Element Điểm ảnh CGA Color Graphic Adapter Chế độ đồ họa màu RLC Run Length Coding Phương pháp mã hóa loạt dài MPEG 2D Two-dimensional space Không gian hai chiều 3D Three-dimensional space Không gian ba chiều SIFT Scale Invariant Feature Transform Phép biến đổi đặc trưng bất biến tỷ lệ 10 DoG Deffirence of Gaussisan Hàm sai khác Gaussian 11 RANDSAC RANDom Sample Consensus Đồng thuận mẫu ngẫu nhiên Moving Picture Experts Chuẩn nén video audio Group theo ISO/IEC Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn v DANH MỤC CÁC HÌNH ẢNH Hình 1.1 Quá trình xử lý ảnh Hình 1.2 Các bước hệ thống xử lý ảnh Hình 1.3 Sơ đồ phân tích, xử lý ảnh lưu đồ thơng tin khối Hình 1.4 Ảnh thu nhận ảnh mong muốn Hình 1.5 Dãn độ tương phản 15 Hình 1.6 Quá trình hiển thị chỉnh sửa, lưu trữ ảnh thơng qua DIB 22 Hình 1.7 Sự chuyển đổi mơ hình biểu diễn ảnh 23 Hình 2.1 Xây dựng thể khơng gian tỷ lệ 36 Hình 2.2 Các giá trị cực đại cực tiểu ảnh DoG 37 Hình 2.3 Các giai đoạn lựa chọn điểm khóa 40 Hình 2.4 Bộ mơ tả điểm khóa 44 Hình 3.1 Ví dụ tốn nhận dạng đối tượng: xác định xem đối tượng 49 ảnh (b) có ảnh (a) khơng? 49 Hình 3.2 Mơ hình chức nhận dạng đối tượng 50 Hình 3.3 52 Kết nhận dạng ảnh chứa nhiều đối tượng huấn luyện 52 Hình 3.4 Kết nhận dạng đối tượng bị che khuất phần 53 Hình 3.5 Khơng nhận dạng đối tượng 54 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn PHẦN MỞ ĐẦU Con người thu nhận thơng tin từ mơi trường ngồi thơng qua giác quan, thị giác đóng vai trị quan trọng trình nhận thức Sự phát triển phần cứng máy tính phương diện thu nhận, lưu trữ, xử lý hiển thị vạch nhiều định hướng cho phát triển phần mềm nói chung lĩnh vực xử lý ảnh nói riêng Cùng với kỹ thuật đồ họa, xử lý ảnh đóng vai trò quan trọng hệ thống tương tác người máy Nhận dạng đối tượng toán điển hình lĩnh vực xử lý ảnh, với mục tiêu giúp cho máy tính nhận thức mơi trường ngồi giống người thơng qua “thị giác” Bài tốn áp dụng việc phát hiện, nhận dạng, theo dõi hay tìm kiếm tự động đối tượng thực tế, điển việc giám sát an ninh cho khu vực quan trọng: ngân hàng, khu vực trị, quân Quá trình nhận dạng đối tượng tự động bao gồm việc thu nhận liệu từ giác quan tiền xử lý, biểu diễn liệu, nhận dạng đưa định Đối với người trình diễn gần tức thời, máy tính hoạt động tương đối phức tạp Với hỗ trợ thiết bị thu nhận hình ảnh hiển đại cho ta chất lượng hình ảnh rõ nét, chân thực đối tượng, vấn đề làm để máy tính nhận biết đối tượng trơng nào, hình dạng khác nhau, góc nhìn khác kích thước đối tượng Một số vấn đề cần giải toán nhận dạng đối tượng áp dụng vào thực tế tạo thách thức giải thuật yêu cầu tốc độ tính tốn Đặc điểm chung tất ứng dụng đặc điểm đặc trưng cần thiết thường nhiều, chuyên gia đề xuất, mà phải trích chọn dựa thủ tục phân tích liệu Với tốn nhận dạng đối tượng có nhiều cách tiếp cận để giải quyết, với loại đối tượng lại có phương pháp cụ thể để áp dụng, chúng có điểm chung Một số Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn phương pháp sử dụng trích chọn đặc trưng ảnh Các đặc trưng trích chọn thường dựa vào đặc trưng bất biến ảnh Lý thuyết điểm bất động nghiên cứu nhiều toán học vật lý Việc nghiên cứu áp dụng lý thuyết để trích chọn đặc điểm phục vụ cho nhận dạng xử lý ảnh hướng tiếp cận có nhiều hứa hẹn đối tượng có biến đổi kích thước, hình dạng, đối tượng bị che khuất số phận đối tượng chuyển động v.v Như toán nhận dạng đối tượng dựa vào đặc trưng bất biến mà tảng dựa vào điểm bất động cách tiếp cận khoa học nhận dạng sở để xây dựng nhiều ứng dụng quan trọng cần thiết Có thể liệt kê số kỹ thuật tìm kiếm điểm bất biến ảnh như: Phương pháp Harris; Phương pháp Harris – Laplacian; Phương pháp xác định điểm bất biến Harris – Affine; Phương pháp SIFT (Scale Invarian Feature Tranforms); Phương pháp SURF (Speed Up Robust Feature) Trong vấn đề cụ thể nhận dạng đối tượng ngày hướng nghiên cứu phổ biến giới việc sử dụng điểm bất biến (Invarian Feature) ảnh làm đặc trưng (Keypoint) để nhận dạng Tiêu biểu thuật toán đối sánh sử dụng keypoint dạng thuật toán SIFT (Scale-Invarian Feature Transform, David Lowe 1999 2004), SIFT coi thuật toán tiền đề cho ứng dụng giải thuật khác biến đổi đặc trưng bất biến ảnh Các giải thuật ứng dụng thực tế khác dựa hay phát triển theo nhánh riêng kỹ thuật SIFT Các đặc trưng SIFT không phụ thuộc vào phép biến đổi ảnh xoay, thu phóng, thay đổi độ sáng nên xem tập đặc trưng ảnh thể cho nội dung ảnh Vì kết việc nhận dạng có độ xác cao chí khơi phục đối tượng bị che khuất ảnh Tuy nhiên giải thuật SIFT phức tạp cài đặt, đòi hỏi thời gian nghiên cứu am hiểu nhiều thuật tốn thành phần Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Với tầm quan trọng toán nhận dạng đối tượng trên, đặc biệt đối tượng bị biến đổi cho ta thấy rõ tính cần thiết tính thời sự, đồng thời ý nghĩa khoa học thực tiễn vấn đề Nhận thức điều này, chọn đề tài luận văn: “Kỹ thuật SIFT phát đánh dấu đối tượng” Nội dung luận văn bao gồm phần mở đầu, phần kết luận ba chương với bố cục nội dung sau: Chương 1: Khái quát xử lý ảnh phát hiện, đánh dấu đối tượng Chương trình bày khái quát xử lý ảnh, giai đoạn xử lý ảnh số vấn đề phát đánh dấu đối tượng Chương 2: Kỹ thuật phát đánh dấu đối tượng dựa đặc trưng bất biến tỷ lệ - SIFT Trong chương trình bày lý thuyết điểm bất động đặc trưng bất biến đối tượng; lý thuyết thuật toán SIFT bước tiến hành; số hướng cải tiến, phát triển thuật tốn SIFT Chương 3: Chương trình thử nghiệm Trong chương trình bày ứng dụng nhận dạng đối tượng ảnh dựa vào đặc trưng bất biến xây dựng từ điểm bất động, cài đặt thử nghiệm thành công kỹ thuật SIFT trình bày chương Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Chƣơng 1: KHÁI QUÁT VỀ XỬ LÝ ẢNH VÀ PHÁT HIỆN, ĐÁNH DẤU ĐỐI TƢỢNG 1.1 Khái quát xử lý ảnh 1.1.1 Các khái niệm 1.1.1.1 Xử lý ảnh Xử lý ảnh [1,2,3] lĩnh vực mang tính khoa học cơng nghệ Tuy ngành khoa học mẻ so với nhiều ngành khoa học khác, tốc độ phát triển nhanh, nhiều viện nghiên cứu, ứng dụng Những năm trở lại với phát triển phần cứng máy tính, xử lý ảnh đồ hoạ phát triển cách mạnh mẽ có nhiều ứng dụng áp dụng sống Xử lý ảnh đồ hoạ đóng vai trị quan trọng tương tác người - máy Mục đích xử lý ảnh nâng cao chất lượng ảnh phục vụ người xử lý ảnh liệu dạng hình ảnh để máy tính hiểu từ đưa định cần thiết Hình 1.1 Quá trình xử lý ảnh Xử lý ảnh có nhiều ứng dụng đời sống : nhận dạng ảnh, vệ tinh dự báo thời tiết, viễn thám, ảnh y tế, khoa học hình sự, điện ảnh… Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 43 Biểu thức (r+1)2/r nhận giá trị cực tiểu hai giá trị riêng tăng với r Vì vậy, để kiểm tra xem tỷ lệ độ cong chủ yếu có ngưỡng r không, ta cần kiểm tra: Tr(H)2 (r  1)2  Det(H) r (2.18) Các thí nghiệm cho thấy sử dụng giá trị r = 10, loại bỏ điểm khóa có tỷ lệ độ cong chủ yếu lớn 10 Sự chuyển tiếp từ Hình 2.3(c) sang Hình 2.3(d) thể tác động thao tác 2.2.3 Gán hƣớng cho điểm khóa (Oriented Assignment) Bằng việc gán hướng thích hợp cho điểm khóa dựa đặc tính ảnh cục bộ, mơ tả điểm khóa trình bày phần sau có liên quan tới hướng đạt bất biến phép quay ảnh Để gán hướng cục cho điểm khóa ta sử dụng hướng gradient ảnh Tỷ lệ điểm khóa dùng để lựa chọn ảnh làm trơn Gaussian, L, với tỷ lệ gần nhất, để thực tất tính tốn theo kiểu bất biến tỷ lệ Đối với mẫu ảnh, L(x,y), tỷ lệ này, cường độ gradient, m(x,y), hướng, (x,y), tính tốn trước sử dụng độ chênh lệch điểm ảnh: m( x, y )  ( L( x  1, y )  L( x  1, y ))  ( L( x, y  1)  L( x, y  1)) (2.19)  ( x, y )  tan 1 (( L( x, y  1)  L( x, y  1)) /( L( x  1, y )  L( x  1, y ))) (2.20) Một biểu đồ hướng thiết lập từ hướng gradient điểm mẫu phạm vi vùng lân cận xung quanh điểm khóa Biểu đồ hướng có 36 bin bao phủ 360 độ tất hướng Mỗi mẫu thêm vào biểu Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 44 đồ gán trọng số độ lớn gradient cửa sổ hình trịn Gaussian với  gấp 1.5 lần tỷ lệ điểm khóa Các đỉnh biểu đồ hướng tương ứng với hướng bao quát gradient cục Dựa vào biểu đồ hướng ta xác định đỉnh cao biểu đồ đỉnh cục khác nằm phạm vi 80% so với đỉnh cao dùng để tạo điểm khóa với hướng Vì vậy, vị trí có nhiều đỉnh có cường độ tương tự nhau, có nhiều điểm khóa tạo vị trí tỷ lệ hướng khác Chỉ có khoảng 15% điểm gán nhiều hướng, điểm góp phần đáng kể cho tính ổn định việc so khớp Cuối cùng, đường parabol làm phù hợp với giá trị biểu đồ gần với đỉnh để nội suy vị trí đỉnh để mang lại độ xác tốt 2.2.4 Bộ mô tả ảnh cục (Keypoint Description) Các thao tác gán vị trí, tỷ lệ hướng cho mối điểm khóa Các tham số áp đặt cho hệ tọa độ 2D cục để mô tả vùng ảnh cục Bước tính tốn mơ tả cho vùng ảnh cục để bất biến thay đổi lại thay đổi độ sáng điểm nhìn 3D Image gradients Keypoint descriptor Hình 2.4 Bộ mơ tả điểm khóa Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 45 Bộ mơ tả điểm khóa [5,6,7] tạo cách: tính tốn độ lớn hướng gradient điểm mẫu vùng xung quanh vị trí điểm khóa, hình bên trái Các hướng gán trọng số cửa sổ Gaussian, biểu thị đường trịn phủ ngồi Sau mẫu gom lại thành biểu đồ hướng tóm tắt nội dung 44 vùng con, thể hình phải, với chiều dài mũi tên tương đương với tổng cường độ gradient gần với hướng phạm vi vùng Hình 2.4 minh họa cho việc tính tốn mơ tả điểm khóa Đầu tiên độ lớn hướng gradient ảnh lấy mẫu quanh vị trí điểm khóa, sử dụng tỷ lệ điểm khóa để lựa chọn mức mờ Gaussian cho ảnh Để đạt đến bất biến hướng, tọa độ mơ tả hướng gradient bị quay có liên quan tới hướng điểm khóa Để thuận tiện việc tính tốn mơ tả, gradient phải tính trước cho tất mức hình chóp Các gradient minh họa mũi tên nhỏ vị trí mẫu hình bên trái hình 2.4 Hàm gán trọng số Gaussian với  nửa chiều rộng cửa sổ mô tả dùng để gán trọng số cho cường độ điểm mẫu Điều minh họa cửa sổ hình trịn thể hình bên trái hình 2.4 Mục đích cửa sổ Gaussian tránh thay đổi đột ngột mô tả có thay đổi nhỏ vị trí cửa sổ, quan tâm đến gradient xa vị trí trung tâm mơ tả Hình bên phải hình 2.4 thể mơ tả điểm khóa Nó ý đến thay đổi đáng kể vị trí gradient việc tạo biểu đồ hướng 44 vùng mẫu Hình thể hướng cho biểu đồ, với chiều dài mũi tên tương ứng với độ lớn mục (entry) biểu đồ Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 46 Để tránh tất ảnh hưởng biên điều thật quan trọng, mơ tả thay đổi đột ngột mẫu thay đổi liên tục từ biểu đồ sang biểu đồ khác từ hướng sang hướng khác Vì vậy, sử dụng phép nội suy tuyến tính bậc để phân bố giá trị mẫu gradient vào bin biểu đồ gần kề Mặt khác, entry bin tăng lên nhiều lần trọng số  d cho chiều, d khoảng cách mẫu từ giá trị trung tâm bin đo dạng đơn vị khoảng cách bin biểu đồ Bộ mô tả tạo nên từ vectơ chứa giá trị tất entry biểu đồ hướng, tương ứng với chiều dài mũi tên hình bên phải hình 2.4 Hình thể mảng 44 biểu đồ với bin hướng Vì vậy, vectơ đặc trưng có 448 =128 phần tử để mơ tả cho điểm khóa Cuối cùng, vectơ đặc trưng sửa đổi để giảm tác động thay đổi độ sáng Đầu tiên, vectơ chuẩn hóa theo chiều dài đơn vị Sự thay đổi độ tương phản ảnh tức giá trị điểm ảnh nhân với số làm tăng gradient số đó, phép chuẩn hóa vectơ xóa bỏ thay đổi độ tương phản Thay đổi độ sáng tức số thêm vào điểm ảnh, điều không ảnh hưởng đến giá trị gradient, giá trị gradient tính từ độ chênh lệch điểm ảnh Bởi vậy, mô tả bất biến thay đổi affine độ sáng Tuy nhiên, thay đổi độ sáng phi tuyến tính xảy dựa bão hòa camera dựa thay đổi chiếu sáng mà chúng ảnh hưởng đến bề mặt 3D với hướng khác lượng khác Các ảnh hưởng gây nên thay đổi lớn cường độ liên quan số gradient, có khả ảnh hưởng đến Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 47 hướng gradient Vì vậy, giảm tác động cường độ gradient lớn việc lấy ngưỡng giá trị vectơ đơn vị đặc trưng cho cường độ không vượt 0.2, sau chuẩn hóa lại chiều dài đơn vị Điều có nghĩa việc so khớp cường độ gradient lớn khơng cịn quan trọng nữa, phân bố hướng có tầm quan trọng lớn Giá trị 0.2 xác định thực nghiệm sử dụng ảnh có độ chiếu sáng khác cho đối tượng 3D 2.3 Một số hƣớng cải tiến, phát triển thuật toán SIFT 2.3.1 Giảm số lƣợng keypoint trích xuất ảnh Một hạn chế lớn SIFT chi phí đối sánh tập keypoint lớn số lượng keypoint trích xuất lớn Để khắc phục nhược điểm ngồi cải thiến thuật tốn đối sánh nên giảm số lượng điểm keypoint trích xuất Cụ thể tối giản tập keypoint theo bước: - Hạn chế điểm keypoint mà biên độ Gradient biến đổi không rõ rệt, tức độ biến thiên màu sắc nhỏ, điểm lân cận có mức xám gần tương tự Hạn chế điểm khơng làm giảm tính đặc trưng tập keypoint số điểm lân cận có biên độ Gradient biến đổi rõ rệt chọn làm keypoint đại diện tính đặc trưng cục cho điểm bị loại bỏ điểm chọn đồng thời tăng tính đặc trưng cục - Kết hợp với việc dò biên ảnh để hạn chế điểm keypoint nằm gần biên gần biên dễ bị ảnh hưởng nhiễu phép biến đổi thông thường Việc dò biên áp dụng kỹ thuật dò biên Candy cho đường biên mảnh hiệu Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 48 2.3.2 Dùng lƣợc đồ màu loại trừ trƣớc ảnh khả tƣơng đồng Trước thực tìm kiếm sở liệu ảnh ta dùng lược đồ màu để loại ảnh có màu sắc khác nhau, tức tính tương tự Các ảnh bị bỏ qua q trình tìm kiếm để giảm chi phí đối sánh, tìm kiếm ảnh tương đồng 2.3.3 Trích xuất đối tƣợng khỏi ảnh theo đối tƣợng mẫu Sau nhận dạng đối tượng ảnh theo đối tượng mẫu ta trích xuất đối tượng khỏi ảnh nhờ việc điều chỉnh hướng cho cặp keypoint so khớp cho chúng đồng thực dò vết theo chốt keypoint so khớp để lần theo biên đối tượng thực trích xuất đối tượng khỏi ảnh Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 49 Chƣơng 3: CHƢƠNG TRÌNH THỬ NGHIỆM 3.1 Bài toán nhận dạng đối tƣợng 3.1.1 Phát biểu toán Cho trước hai ảnh, ảnh thứ chứa nhiều đối tượng, ảnh thứ hai chứa đối tượng nhất,yêu cầu xác định xem ảnh thứ có chứa đối tượng ảnh thứ hai khơng, xác định vị trí đối tượng ảnh thứ (a) (b) Hình 3.1 Ví dụ tốn nhận dạng đối tượng: xác định xem đối tượng ảnh (b) có ảnh (a) khơng? 3.1.2 Cách giải tốn Tư tưởng toán sau: Cho trước ảnh huấn luyện đối tượng cần nhận dạng, ta tìm ảnh cần xét (gọi ảnh truy vấn) có đối tượng hay khơng Bằng cách đánh giá mức độ giống đối tượng Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 50 ảnh cho trước với đối tượng ảnh truy vấn Do cần phải giải tốn theo cách đối sánh đặc trưng ảnh cho trước với đặc trưng ảnh truy vấn Thực chất trường hợp đặc biệt toán tra cứu ảnh dựa đặc trưng đặc biệt Và lưu ý yếu tố thời gian thực quan tâm cho tốn, mức độ cần thiết tùy thuộc vào toán mà ta giải quyết, yếu tố định thành công hay thất bại nhiều tốn Mơ hình chung tốn nhận dạng đối tượng sau: Ảnh đầu vào Ảnh huấn luyện Trích chọn đặc trưng: Bất biến Trích chọn đặc trưng: Bất biến So sánh độ tương tự Ảnh kết (ảnh có khoanh vùng đối tượng cần nhận dạng) Hình 3.2 Mơ hình chức nhận dạng đối tượng Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 51 Như vậy, toán nhận dạng đối tượng kỹ thuật Xử lý ảnh gồm ba bước chính: - Xác định trích chọn đặc trưng hai ảnh cách độc lập - Đánh giá độ tương tự (độ giống nhau) đối tượng hai ảnh dựa vào việc so khớp đặc trưng trích chọn - Phân tích xác suất để thực xác minh cuối Đây toán lớn lĩnh vực nhận dạng thị giác máy 3.2 Chƣơng trình cài đặt thử nghiệm 3.2.1 Cài đặt chƣơng trình Chương trình viết ngơn ngữ Visual C# 2008, chạy hệ điều hành Windows – 32bit, máy tính tốc độ Core i5 2.53 GHz, nhớ 4GB RAM Chương trình có chức sau: - Cho phép người sử dụng lựa chọn ảnh truy vấn ảnh chứa đối tượng cần nhận dạng – Khoanh vùng đối tượng cần tìm ảnh chứa đối tượng nhận dạng - Hiển thị kết nhận dạng - Ứng dụng việc trích chọn đặc trưng vào việc tìm ảnh 3.2.2 Kết thực nghiệm Thực cài đặt thử nghiệm phương pháp SIFT để trích chọn đặc trưng bất biến, sau sử dụng RANDSAC để so khớp nhận dạng Bước đầu với số kết sau: Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 52 (a) (b) (c) Hình 3.3 Kết nhận dạng ảnh chứa nhiều đối tượng huấn luyện (a) Ảnh truy vấn chứa nhiều đối tượng; (b) Ảnh huấn luyện; (c) Kết nhận dạng Hình 3.3 thể kết nhận dạng đối tượng, ảnh (a) đối tượng thu nhận tương đối rõ ràng nên việc trích chọn so khớp đặc trưng tiến hành khơng khó khăn độ xác tương đối cao, góc nhìn đối tượng cần nhận dạng hai giống khác tỷ lệ Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 53 (a) (b) (c) Hình 3.4 Kết nhận dạng đối tượng bị che khuất phần (a) Ảnh truy vấn chứa nhiều đối tượng; (b) Ảnh chứa đối tượng cần nhận dạng; (c) Kết nhận dạng Hình 3.4 thể ví dụ khác nhận dạng đối tượng, đối tượng cần nhận dạng hai ảnh có khác đơi chút góc nhìn, ảnh truy vấn lại chứa nhiều đối tượng, thu nhận khơng rõ ràng có nhiều đặc trưng tìm thấy ảnh (a) việc so khớp đặc trưng nhiều thời gian số lượng so khớp khơng xác tăng lên Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 54 * Nhận xét: Thuật toán đánh giá hiệu việc trích chọn đặc trưng phục vụ cho việc nhận dạng đối tượng, đặc biệt ảnh thu nhận có tỷ lệ khác đối tượng ảnh đặt góc nhìn khác Tuy nhiên q trình cài đặt thuật tốn chưa xử lý trường hợp đối tượng cần nhận dạng bị che khuất số phận bị thay đổi góc nhìn, tỷ lệ q lớn Hình 3.5 Khơng nhận dạng đối tượng Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 55 PHẦN KẾT LUẬN Một hướng tiếp cận để nhận dạng đối tượng hiệu nhiều nhóm nghiên cứu ý gần dựa vào đặc trưng bất biến đối tượng Làm nhận dạng xác đối tượng ảnh cho dù đối tượng có biến đổi đơi chút hình thức, thay đổi tỷ lệ thu nhận ảnh, đối tượng cần nhận dạng bị che khuất phần đối tượng khác hay biến đổi khác vấn đề có ý nghĩa Xuất phát từ thực tế luận văn tìm hiểu phương pháp phát đặc trưng bất biến mà tảng dựa vào điểm bất động, kỹ thuật SIFT áp dụng cho toán phát đánh dấu đối tượng,và ứng dụng chúng nhận dạng Kết đạt được: Trong trình nghiên cứu tài liệu thực luận văn định hướng thầy giáo hướng dẫn, luận văn đạt số kết sau: - Trình bày khái quát xử lý ảnh, giai đoạn xử lý ảnh số vấn đề phát đánh dấu đối tượng - Trình bày lý thuyết điểm bất động đặc trưng bất biến đối tượng, vai trò, đặc điểm; lý thuyết thuật toán SIFT bước tiến hành; số hướng cải tiến, phát triển thuật tốn SIFT - Trình bày ứng dụng nhận dạng đối tượng ảnh dựa vào đặc trưng bất biến xây dựng từ điểm bất động, cài đặt thử nghiệm thành công kỹ thuật SIFT trình bày chương trường hợp ảnh có khác tỷ lệ, góc nhìn đối tượng ảnh bị che khuất số phận khơng đáng kể Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 56 - Ngồi ra, q trình nghiên cứu tơi tự tích lũy thêm cho kiến thức tốn học, kỹ thuật lập trình,…Và quan trọng rèn luyện kỹ để thực nghiên cứu khoa học Tuy bước đầu, kết giúp ích cho tơi nghiên cứu sau để thu kết tốt Một số vấn đề cần tiếp tục giải quyết: - Các ảnh thu nhận có khác đáng kể tỷ lệ, góc nhìn, đối tượng cần nhận dạng bị che khuất nhiều - Ảnh chứa đối tượng cần nhận dạng bị thay đổi độ sáng, độ tương phản.Các ảnh chịu phép biến đổi affine lớn Trong trình thực luận văn tốt nghiệp, thân nỗ lực, cố gắng, đầu tư nhiều thời gian, công sức cho việc tìm hiểu nghiên cứu đề tài định hướng tận tình thầy giáo PGS.TS Đỗ Năng Toàn Tuy nhiên, hạn chế mặt kiến thức thân, thời gian nguồn tài liệu, nên luận văn chưa hồn hảo, cịn nhiều thiếu sót Kính mong thầy giáo bạn đồng nghiệp bảo giúp đỡ Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 57 TÀI LIỆU THAM KHẢO [1] Đỗ Năng Tồn, Phạm Việt Bình, Xử lý ảnh, Đại học cơng nghệ thông tin & Truyền Thông [2] Lương Mạnh Bá, Nguyễn Thanh Thủy, 1999, Nhập môn Xử lý ảnh số, Nhà xuất Khoa học Kỹ thuật, Hà Nội [3] Nguyễn Quang Hoan, 2006, Xử lý ảnh, Học viện bưu viễn thơng [4] Đỗ Hồng Tân, Nguyễn Thị Thanh Hà 2003, Các định lý điểm bất động, Đại học sư phạm Hà Nội [5] Brown M and Lowe D.G 2002, Invariant features from interest point groups, In The 13th British Machine Vision Conference, Cardiff University, UK [6] David Lowe, 1999, The SIFT (Scale Invariant Feature Transform) Detector and Descriptor, University of British Columbia [7] http://en.wikipedia.org/wiki/Scale-invariant_feature_transform [8] http://opencv.willowgarage.com/wiki/ [9] http://en.wikipedia.org/wiki/Computer_vision Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ... http://www.lrc-tnu.edu.vn ii 1.2 Phát đánh dấu đối tượng 23 1.2.1 Phát đối tượng 23 1.2.2 Đánh dấu đối tượng 25 Chƣơng 2: KỸ THUẬT PHÁT HIỆN VÀ ĐÁNH DẤU ĐỐI TƢỢNG DỰA TRÊN ĐẶC... phát đánh dấu đối tượng Chương 2: Kỹ thuật phát đánh dấu đối tượng dựa đặc trưng bất biến tỷ lệ - SIFT Trong chương trình bày lý thuyết điểm bất động đặc trưng bất biến đối tượng; lý thuyết thuật. .. diễn ảnh 1.2 Phát đánh dấu đối tƣợng 1.2.1 Phát đối tƣợng Phát nhận dạng đối tượng ảnh có nhiều ứng dụng sống Đây toán cần giải hệ thống tương tác người máy, theo dõi đối tượng Phát đối tượng khâu