Kết hợp so khớp spatial pyramid và máy véctơ hỗ trợ svm trong nhận dạng khung cảnh tự nhiên (tt)

1 HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG NGUYỄN THỊ NGỌC HÀ KẾT HỢP SO KHỚP SPATIAL PYRAMID VÀ VECTO HỖ TRỢ SVM TRONG NHẬN DẠNG KHUNG CẢNH TỰ NHIÊN Chuyên ngành: Khoa học máy tính Mã số: 60.48.01 Người hướng dẫn khoa học: PGS TS TỪ MINH PHƯƠNG TÓM TẮT LUẬN VĂN THẠC SĨ HÀ NỘI – 2012 MỞ ĐẦU Với bùng nổ liệu ảnh, việc nhận dạng ảnh theo lớp ngữ nghĩa nhu cầu cho việc quản lý truy vấn ảnh dựa nội dung Thêm nữa, nhận dạng ảnh toán lĩnh vực thị giác máy tính ứng dụng máy học nhận quan tâm nhiều nhà khoa học giới Bài tốn nhận dạng ảnh có nhiều thách thức từ việc ảnh chụp nhiều góc độ khác nhau, điều kiện chiếu sáng khác nhau, đa dạng thể lớp ngữ nghĩa phức tạp thông tin ảnh Để giải tốn nhận dạng ảnh có hướng tiếp cận, so khớp mẫu, nhận dạng thống kê, nhận dạng dựa vào cấu trúc nhận dạng theo mạng nơron Trong đó, hướng tiếp cận dựa so khớp mẫu áp dụng rộng rãi mang lại kết cao toán nhận dạng ảnh nói riêng thị giác máy tính nói chung Biểu diễn ví dụ đơn lẻ tập đặc trưng cục phận bao gồm thường hữu ích Ví dụ, thị giác máy tính, hình ảnh mơ tả đặc trưng cục trích chọn từ điểm hấp dẫn “nhô ra” (salient interest points) ảnh Tương tự xử lý ngôn ngữ tự nhiên, tài liệu chủ đề đặc trưng túi từ (bag of words) Tuy nhiên, việc đánh giá độ giống mẫu theo phương pháp thách thức tập đặc trưng gồm nhiều yếu tố, yếu tố khơng có thứ tự Để so sánh tập đặc trưng này, nhà nghiên cứu thường cố gắng sử dụng giải pháp phù hợp tốn chi phí nhất, nhiên lại tính tốn tốn trở nên không khả thi tập có kích thước lớn Những phương pháp trước nhận đầu vào véctơ với chiều tương ứng đặc trưng toàn cục riêng biệt Nhược điểm phương pháp khơng tính tới vị trí tương đối đặc trưng, giải với đặc trưng tương ứng rõ ràng, điều làm cho việc tính tốn tốn kém, hạn chế việc sử dụng đầu vào có phạm vi lớn; Do để cải thiện nhược điểm Kristen Grauman Trevor Darrell phát triển phương pháp so khớp phân cấp (Pyramid Matching – viết tắt PM) – hàm so khớp thời gian tuyến tính thơng qua tập đặc trưng khơng có thứ tự Mặc dù phương pháp cịn nhược điểm bỏ qua thông tin không gian ảnh; phương pháp đời nhằm giải nhược điểm phương pháp so khớp khơng gian phân cấp (Spatial Pyramid Matching – SPM) Với lý nêu lựa chọn đề tài: “Kết hợp so khớp spatial pyramid máy véctơ hỗ trợ SVM nhận dạng khung cảnh tự nhiên” - Mục đích nghiên cứu:  Nghiên cứu trích chọn đặc trưng cục bất biến (Scale Invariant Feature Transform – SIFT)  Tìm hiểu phương pháp SPM  Nghiên cứu phương pháp học máy SVM  Xây dựng chương trình demo từ nghiên cứu tìm hiểu nói - Đối tượng phạm vi nghiên cứu:  Trích chọn đặc trưng SIFT: giải thuật David 25 KẾT LUẬN VÀ KIẾN NGHỊ G.Lowe đưa từ năm 2004  Phương pháp SPM: phát triển từ phương pháp PM Kristen Grauman Trevor Darrell phát triển  Phương pháp học máy SVM: SVM kỹ thuật có nhiều triển vọng, phát triển Vapnik Kết luận Luận văn định hướng nội dung nghiên cứu vào phương pháp SPM, mơ hình kết hợp SPM phương pháp học máy SVM ứng dụng vào toán nhận dạng khung cảnh tự nhiên đồng AT&T Bell Labs Dựa vào nghiên cứu, phân tích xây dựng phần mềm nhận dạng khung cảnh tự nhiên Từ nghiên cứu đây, thấy phương pháp SPM mô tả ảnh tốt thông qua chuỗi độ phân giải khác nhau, mơ tả thơng tin tổng quát độ phân giải thô, Nội dung luận văn tổ chức thành chương thông tin chi tiết ảnh độ phân giải mịn Ngồi ra, SPM có Chương Tổng quan Giới thiệu toán nhận dạng khả xử lý tốt tập hợp đặc trưng không thứ tự PM ảnh,các hướng tiếp cận tốn, mơ hình chung hệ thống nhận Sự kết hợp SPM với trích chọn đặc trưng SIFT SVM cho thấy dạng số ứng dụng nhận dạng đạt hiệu cao Mơ hình cho phép đạt kết cao so với cách tiếp cận kết hợp SIFT SVM sở liệu phân loại Chương Cơ sở lý thuyết Trình bày lý thuyết khung cảnh MIT scene trích chọn đặc trưng SIFT, so khớp phân cấp không gian SPM phương pháp học máy SVM sử dụng luận văn Chương Kết hợp SPM SVM để nhận dạng Giới thiệu sơ lược liệu sử dụng, công cụ, tham số sử dụng để xây dựng chương trình ứng dụng SPM kết hợp học máy SVM nhận dạng khung cảnh Ngoài ra, chương so sánh hiệu phân loại phương pháp đề xuất phương pháp kết hợp SIFT SVM Phần kết luận kiến nghị tổng kết kết đạt luận văn hướng phát triển nghiên cứu Kiến nghị Nghiên cứu phân loại ảnh dựa hướng tiếp cận kernel 24 3.5 So sánh phương pháp thực nghiệm phương pháp kết hợp SIFT SVM Kết thực nghiệm kết hợp SIFT SVM sau Chương - TỔNG QUAN 1.1 Bài toán nhận dạng ảnh Nhận dạng ảnh dựa lý thuyết nhận dạng Nhận dạng Kích thước từ điển Độ xác M = 16 M = 100 M = 200 trình phân loại đối tượng biểu diễn theo mơ hình vào lớp dựa theo quy luật mẫu chuẩn Quá trình 69.32% 83.68% 80.58% bao gồm việc xác định lớp đối tượng cho phân biệt Bảng 3.3 Kết phân loại khung cảnh kết hợp SIFT SVM Hệ thống nhận dạng thực việc: huấn luyện nhận Từ bảng 3.2 bảng 3.3 thấy phân dạng Trong trình huấn luyện, đặc trưng trích chọn loại với sở liệu MIT sence so phương pháp kết phù hợp cho việc biểu diễn phân loại huấn luyện để hợp SPM SVM có độ xác cao so với phương pháp kết phân chia không gian đặc trưng Quá trình nhận dạng, phân loại hợp SIFT SVM huấn luyện gán mẫu đầu vào vào lớp dựa đặc trưng Một mơ hình xây dựng dựa liệu huấn luyện mơ hình sử dụng để phân loại liệu vào lớp Hình 1.1 Quá trình huấn luyện nhận dạng hệ thống nhận dạng 23 1.2 Các hướng tiếp cận toán nhận dạng Có hướng tiếp cận cho tốn nhận dạngError! Reference source not found :  Nhận dạng dựa vào so khớp mẫu  Nhận dạng thống kê  Nhận dạng dựa vào cấu trúc  Nhận dạng dựa vào mạng nơron 1.2.1 So khớp mẫu Hình 3.8 Ảnh cần nhận dạng khung cảnh So khớp thuật tốn chung nhận dạng, sử dụng để xác định điểm giống hai thực thể (các điểm, góc, hình dạng…) Trong so khớp mẫu, mẫu cần nhận dạng biết trước so khớp với mẫu lưu trữ, có tính tới trường hợp mẫu bị quay, thay đổi tỉ lệ bị tịnh tiến 1.2.2 Nhận dạng thống kê 1.2.3 Nhận dạng dựa vào cấu trúc 1.2.4 Nhận dạng theo mạng nơron 1.3 Mơ hình chung hệ thống nhận dạng Về bản, hệ thống nhận dạng thường gồm khối chính, phù hợp với giai đoạn xử lý sau: Hình 3.9 Ảnh nhận dạng sau chạy chương trình 22 Ngồi ra, từ bảng 3.2 ta thấy tỉ lệ phân loại tăng dần từ mức tới mức từ mức sang mức tỉ lệ phân loại bị giảm (trừ trường hợp kích thước từ điển M = 16) Như có nghĩa Ảnh Trích chọn đặc trưng mức cao phân cấp L = ảnh chia nhỏ mịn hiệu phân loại giống với mức phân cấp L = Với kích thước từ điển M = 16, hiệu phân loại không tốt M = 100 M = 200, nhiên tỉ lệ phân loại mức chấp nhận Do kích thước từ điển M = 16 đặc trưng có mật độ cao Phân loại không gian nhỏ nhiều so với M = 100 M = 200 nên hiệu suất phân loại tiếp tục cải thiện chuyển từ L = sang L = Hình 1.2 Mơ hình chung hệ thống nhận dạng 3.3.2 Nhận dạng khung cảnh cho ảnh 1.4 Một số ứng dụng nhận dạng 3.3.2.1 Tập huấn luyện 1.5 Kết luận chương Giống tập huấn luyện phần xác định khung cảnh cho nhiều Trong chương tìm hiểu tốn nhận dạng ảnh, hướng tiếp cận để giải toán Luận văn theo ảnh 3.3.2.2 Tập kiểm tra: Gồm ảnh cần nhận dạng khung cảnh 3.3.2.3 Quy trình thực nghiệm Với tập huấn luyện kiểm tra ta tiến hành thực nghiệm với kích thước từ điển M =16, M =100, M =200 với mức phân cấp L =0, L =1, L =2, L =3 3.3.1.3 Kết thực nghiệm Hình 3.4 3.5 minh họa cho việc nhận dạng khung cảnh ảnh: hướng tiếp cận so khớp mẫu với trích chọn đặc trưng SIFT kết hợp kernel phân cấp không gian SPM Đây coi công cụ mạnh, mềm dẻo, đó, khả ứng dụng lớn Trong chương tiếp theo, nghiên cứu sở lý thuyết sử dụng luận văn 8 Chương - CƠ SỞ LÝ THUYẾT 2.1 Trích chọn đặc trưng cục bất biến SIFT Để so sánh phân loại ảnh, cách tiếp cận thông thường biểu diễn ảnh dạng véc tơ đặc trưng cách sử dụng kỹ thuật tạo trích chọn đặc trưng Véctơ đặc trưng sau sử dụng làm đầu vào cho phương pháp phân loại để tính độ tương tự ảnh với Có nhiều dạng đặc trưng đề 21 Chúng ta tìm hiểu cụ thể file pyramids_all _16_0.mat, file lại tương tự File lưu trữ lược đồ phân cấp đặc trưng ảnh tập huấn luyện (hoặc tập kiểm tra), ma trận kích thước (NxZ) với N số lượng ảnh tập, Z tính theo cơng thức: Z = , M kích thước từ điển, L mức phân cấp Sau tiến hành thực nghiệm thu kết tỉ lệ phân loại ảnh tên khung cảnh sau: xuất sử dụng phân loại ảnh Trong phạm vi luận văn, chọn sử dụng đặc trưng cục bất biến, viết tắt SIFT làm đặc trưng biểu diễn ảnh 2.1.1 Tổng quan SIFT Phương pháp trích chọn đặc trưng SIFT tiếp cận theo phương pháp thác lọc, theo phương pháp thực theo bước sau:  Dị tìm cực trị không gian đo (Scale space Extrema Detection)  Lọc trích xuất điểm đặc biệt (Keypoint Localization)  Gán hướng cho điểm đặc trưng (Oriented Assignment)  Bộ mô tả điểm đặc trưng (Keypoint Descriptor) Bảng 3.2 Kết phân loại Nội dung ô tỷ lệ ảnh nhận dạng Từ bảng kết 3.2, ta thấy với loại kích thước từ điển tỉ lệ phân loại tăng dần từ mức tới mức Ở mức tương ứng với mơ hình BoF chuẩn tỉ lệ phân loại nhỏ so với mức 1, 2, Điều chứng tỏ so với mơ hình BoF chuẩn so khớp SPM cho kết phân loại tốt 20 Chúng ta tìm hiểu cụ thể file histograms_16.mat, file lại tương tự File lưu trữ lược đồ đặc trưng ảnh 2.1.2 Giải thuật SIFT 2.1.2.1 Dị tìm cực trị cục tập huấn luyện (hoặc tập kiểm tra), ma trận kích thước (NxM) với N số lượng ảnh tập, M kích thước từ điển  File lưu trữ lược đồ phân cấp đặc trưng tương ứng với 2.1.2.2 Lọc trích xuất điểm đặc biệt 2.1.2.3 Gán hướng cho điểm đặc biệt kích thước từ điển mức phân cấp, có định dạng: 2.1.2.4 Tạo mô tả cục pyramids_all_sizedictionary_level.mat Bao gồm: 2.2 So khớp không gian phân cấp (SPM) o pyramids_all_16_0.mat Sau xác định đặc trưng, chẳng hạn đặc trưng o pyramids_all_16_1.mat SIFT mô tả trên, ta so sánh hai ảnh với cách o pyramids_all_16_2.mat xác định đặc trưng SIFT giống hai ảnh Hai ảnh o pyramids_all_16_3.mat có chung nhiều đặc trưng SIFT giống coi giống o pyramids_all_100_0.mat Tuy nhiên cách so sánh khơng tính tới vị trí tương đối o pyramids_all_100_1.mat o pyramids_all_100_2.mat o pyramids_all_100_3.mat o pyramids_all_200_0.mat o pyramids_all_200_1.mat o pyramids_all_200_2.mat Sau trích chọn đặc trưng ảnh đại diện o pyramids_all_200_3.mat tập véc tơ đặc trưng không gian d chiều Như việc so vùng giống hai ảnh Trong phần này, giới thiệu phương pháp cho phép phần sử dụng thông tin vị trí tương đối vùng giống ảnh Phương pháp có tên Spatial Pyramid Matching, viết tắt SPM 2.2.1 So khớp phân cấp (Partial Matching) sánh hai ảnh với trở thành việc đánh giá độ tương đồng hai tập véc tơ đặc trưng Gọi X, Y hai tập véc tơ đặc trưng không gian d chiều Grauman Darrell đề xuất phương pháp so khớp phân cấp (viết tắt PM) để ước lượng độ tương đồng hai tập véc tơ 10 19 So khớp phân cấp thực cách thay chuỗi lưới điểm 3.3.1.2 Quy trình thực nghiệm thơ tăng dần thu tổng số so khớp độ phân giải (resolution) Tại độ phân giải bất kỳ, hai điểm gọi so khớp chúng rơi vào vùng lưới điểm; so Với tập huấn luyện kiểm tra ta tiến hành thực nghiệm với kích thước từ điển M =16, M =100, M = 200 với mức phân cấp L = 0, L =1, L =2, L = khớp tìm thấy độ phân giải mịn có trọng số cao so 3.3.1.3 Kết thực nghiệm khớp độ phân giải thô Với tập huấn luyện kiểm tra ta thu file liệu:  File lưu trữ đặc trưng ảnh, có định dạng: dictionary_sizedictionary.mat Bao gồm: o dictionary_16.mat o dictionary_100.mat o dictionary_200.mat Chúng ta tìm hiểu cụ thể file dictionary_16.mat, file Hình 2.5 Bên trái: So khớp cục tập đặc trưng Bên lại tương tự File lưu trữ đặc trưng ảnh tập phải: So khớp phân cấp với đầu vào hai tập véc tơ đặc trưng huấn luyện (hoặc tập kiểm tra), ma trận kích thước (Nx128) Cụ thể, xây dựng chuỗi lưới điểm độ với N kích thước từ điển l phân giải 0, 1, …L; Như lưới điểm mức l có vùng dọc theo chiều, tổng số có D = 2dl vùng Gọi histogram X Y lưới điểm này, và (i) số điểm tập X Y rơi vào vùng thứ i lưới điểm Số lượng so khớp mức l cho hàm histogram intersection: (2.8) Để ngắn gọn, ta thay  File lưu trữ lược đồ đặc trưng tương ứng với kích thước điển từ ảnh, có histograms_sizedictionary.mat Bao gồm: o histograms_16.mat o histograms_100.mat o histograms_200.mat định dạng: 18 11 Lưu ý: số so khớp mức l bao gồm tất so khớp mức l+1 Vì vậy, số so khớp mức l = 0, 1, …L-1) Trọng số (l tương ứng tỉ lệ l nghịch đảo tỉ lệ chiều rộng vùng định nghĩa tỉ lệ tương ứng Trọng số dùng để bù cho việc so khớp nhiều vùng có tỉ lệ khác đặc trưng cục dễ tìm thấy so khớp vùng rộng lớn Kết hợp lại có định nghĩa nhân so Bảng 3.1 Một số công cụ, thư viện sử dụng thực nghiệm Ngồi cơng cụ, thư viện tơi tiến hành xây dựng file xử lý dựa ngôn ngữ Matlab, cụ thể sau:  (X,Y) = = + + (2.9) regMultiImg: kết hợp module con, nhận dạng khung cảnh cho nhiều ảnh  khớp phân cấp sau: regSigImg: kết hợp module con, nhận dạng khung cảnh cho ảnh 2.2.2 So khớp không gian phân cấp (SPM) Một điểm yếu PM bỏ qua thơng tin khơng gian đặc trưng cục ảnh Do để khắc phục nhược điểm Lazebnik cộng đề xuất phương pháp so 3.2.3 Độ đo đánh giá độ xác q trình thực nghiệm khớp biểu diễn không gian phân cấp, viết tắt SPM 3.4 Kết thực nghiệm 3.3.1 Nhận dạng khung cảnh cho nhiều ảnh 3.3.1.1 Tập huấn luyện Gồm lớp (coast, forest, highway, mountain, opencountry, insidecity, street, tallbuilding) sở liệu MIT scenes, lớp chọn ngẫu nhiên 50 ảnh 100 ảnh để làm liệu huấn luyện 3.3.1.2 Tập kiểm tra: Gồm 50 ảnh lại lớp kể Hình 2.6 Lược đồ minh họa biểu diễn không gian phân cấp 12 17 SPM sử dụng chuỗi lưới có kích thước khác để thuật toán Kmeans sử dụng để xây dựng từ điển từ tập đặc chia ảnh thành vùng (subregion) sau sử dụng mơ hình trưng SIFT vừa trích chọn Trong luận văn tiến hành thực túi đặc trưng, viết tắt BoF để thống kê tổng hợp đặc trưng cục nghiệm với kích thước khác từ điển M = 16, M = 100 vùng cố định thay sử dụng tồn ảnh mơ M = 200 hình BoF cổ điển, cuối tập hợp mơ hình BoF vùng nối lại theo thứ tự định nghĩa trước để mơ hình cho ảnh Thực nghiệm tiến hành với ảnh sở liệu MIT scene lớp , địa chỉ: http://people.csail.mit.edu/torralba/code/spatialenvelope/spatial_enve Hình 2.7 minh họa việc xây dựng phân cấp mức cho ảnh Giả sử ảnh có loại đặc trưng kí hiệu hình trịn, hình thoi hình chữ thập Đầu tiên, ta chia ảnh thành mức độ phân giải lope_256x256_static_8outdoorcategories.zip Mỗi lớp chọn 100 ảnh, lấy ngẫu nhiên 50 ảnh tập huấn luyện, số lại dùng làm tập kiểm tra khác (level 0, level 1, level 2) Tiếp theo với mức độ phân giải loại đặc trưng ta đếm số lượng đặc trưng rơi vào vùng Tất thực nghiệm thực 10 lần với việc Cuối cùng, ta tính tốn trọng số cho lược đồ phân cấp dựa lựa chọn ngẫu nhiên tập huấn luyện tập kiểm tra, tỉ lệ phân loại theo công thức (2.9) lưu sau lần chạy chương trình Kết phân loại cuối tính tỉ lệ phân loại trung bình sau 10 lần chạy riêng biệt Việc phân loại khung cảnh chương trình sử dụng phương pháp học máy SVM với phân loại đa lớp, áp dụng chiến lược “một với tất cả” (one – versus – all) 3.2.2 Công cụ phần mềm sử dụng Hình 2.7 Ví dụ xây dựng phân cấp mức 16 Chương - KẾT HỢP SPM VÀ SVM ĐỂ NHẬN DẠNG 13 2.3 Phương pháp học máy véc tơ hỗ trợ SVM SVM họ phương pháp dựa sở hàm nhân (kernel) để tối thiếu hóa rủi ro cấu trúc Phương pháp SVM Dựa vào sở lý thuyết trình bày, luận đời từ lý thuyết học thống kê Vapnik Chervonenkis xây dựng văn tiến hành áp dụng phương pháp so khớp spatial SVM sử dụng thuật toán học nhằm xây dựng siêu phẳng làm cực pyramid với trích chọn đặc trưng SIFT kết hợp SVM tiểu hóa độ phân lớp sai đối tượng liệu Độ phân lớp để nhận dạng khung cảnh tự nhiên sai siêu phẳng đặc trưng khoảng cách bé tới 3.1 Các khối xử lý siêu phẳng Đặc trưng định khả phân lớp khả phân lớp liệu dựa vào tri thức tích lũy q trình huấn luyện Sau trình huấn luyện hiệu suất tổng quát hóa phân lớp cao thuật tốn huấn luyện đánh giá tốt Hiệu suất tổng quát hóa phụ thuộc vào hai tham số sai số huấn luyện lực máy học Trong sai số huấn luyện tỉ lệ lỗi phân lớp tập liệu huấn luyện Còn lực máy học xác định kích thước Vapnik – Chervonenkis (kích thước VC) Đại lượng xác định số điểm cực đại Hình 3.1 Các khối xử lý tốn nhận dạng khung mà họ hàm phân tách hồn tồn khơng gian đối tượng cảnh tự nhiên Một tập phân lớp tốt tập phân lớp có lực thấp (có nghĩa 3.2 Thiết lập tham số công cụ sử dụng cho thực nghiệm 3.2.1 Thiết lập tham số xây dựng tập liệu ảnh Trong luận văn sử dụng SIFT với mật độ dày (dense SIFT) cách sử dụng mô tả SIFT vùng chữ nhật kích thước 16x16 pixel lưới điểm khoảng cách pixel Sau đó, đơn giản nhất) đảm bảo sai số huấn luyện nhỏ Phương pháp SVM xây dựng ý tưởng 14 15 2.3.1 Phân lớp tuyến tính 2.3.3.2 Một số hàm kernel 2.3.2 Vấn đề lề mềm kernel 2.3.4 SVM cho toán đa lớp 2.3.3 Hàm Kernel 2.3.3.1 Giới thiệu kernel Trong trường hợp liệu phân chia tuyến tính, cách tiếp cận sử dụng SVM ánh xạ véc tơ không gian gốc sang khơng gian mới, thường có số chiều lớn Vấn đề việc tính tốn ánh xạ có độ phức tạp tính tốn lớn Để tránh việc tính tốn ánh xạ, kỹ thuật sử dụng dùng hàm nhân Hàm nhân cho phép tính tích vơ hướng hai véc tơ không gian mà không cần biết ánh xạ thực véc tơ không gian Hình 2.11 Sử dụng Kernel để áp dụng phân loại không gian đặc trưng ... phương pháp so khớp khơng gian phân cấp (Spatial Pyramid Matching – SPM) Với lý nêu lựa chọn đề tài: “Kết hợp so khớp spatial pyramid máy véctơ hỗ trợ SVM nhận dạng khung cảnh tự nhiên? ?? - Mục... luyện nhận dạng hệ thống nhận dạng 23 1.2 Các hướng tiếp cận tốn nhận dạng Có hướng tiếp cận cho tốn nhận dạngError! Reference source not found :  Nhận dạng dựa vào so khớp mẫu  Nhận dạng thống...  Nhận dạng thống kê  Nhận dạng dựa vào cấu trúc  Nhận dạng dựa vào mạng nơron 1.2.1 So khớp mẫu Hình 3.8 Ảnh cần nhận dạng khung cảnh So khớp thuật toán chung nhận dạng, sử dụng để xác định