Luận án tiến sĩ nghiên cứu phát hiện mẫu chất liệu trong ảnh (TT)

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ LÊ THỊ KIM NGA NGHIÊN CỨU PHÁT HIỆN MẪU CHẤT LIỆU TRONG ẢNH Chuyên ngành: Khoa học máy tính Mã số: 62 48 01 01 TÓM TẮT LUẬN ÁN TIẾN SĨ CÔNG NGHỆ THÔNG TIN HÀ NỘI - 2014 Công trình hoàn thành tại: Trường Đại học Công nghệ - Đại học Quốc gia Hà nội Người hướng dẫn khoa học: PGS.TS Đỗ Năng Toàn PGS.TS Đinh Mạnh Tường Phản biện 1: PGS.TS Ngô Quốc Tạo Phản biện 2: PGS.TS Huỳnh Quyết Thắng Phản biện 3: TS Nguyễn Thanh Hải Luận án bảo vệ trước Hội đồng cấp Đại học Quốc Gia chấm luận án tiến sĩ họp Phòng 212-E3, Trường Đại học Công nghệ, 144 Xuân Thủy, Cầu Giấy, Hà Nội Vào hồi 00 ngày 25 tháng 01 năm 2014 Có thể tìm hiểu luận án tại: - Thư viện Quốc gia Việt Nam - Trung tâm Thông tin - Thư viện, Đại học Quốc gia Hà Nội MỞ ĐẦU Tính cấp thiết luận án Ngày công nghệ thông tin ứng dụng vào hầu hết lĩnh vực từ khoa học đến đời sống xã hội, đặc biệt vấn đề an ninh, kinh tế quốc gia có giám sát tự động Phát chất liệu da mặt hệ thống phát nhận dạng khuôn mặt, phát khói lửa để cảnh báo hõa hoạn, xây dựng rô bốt thông minh v.v Hơn nữa, đối tượng thực tế cấu tạo từ chất liệu khác nhau, ngữ cảnh cụ thể phát đối tượng dựa vào phát một vài chất liệu tạo nên đối tượng Bài toán trợ giúp việc tìm kiếm loại đối tượng mà vấn đề quan trọng thị giác máy Có số nghiên cứu liên quan đến chủ đề quan tâm cách rời rạc toán nhận dạng từ ảnh chất liệu đơn, dù phát hiện, nhận dạng chất liệu toán mở nhiều quan tâm nghiên cứu Con người thường đánh giá cảm nhận chất liệu thông quan giác quan đánh giá độ thô, độ mịn, mềm, dẽo v.v, khó diễn đạt mô tả chất liệu Hơn chất liệu xét phương diện hình ảnh nên việc mô tả, biểu diễn phát chúng lại khó khăn Phát mẫu chất liệu xác định theo nhiều cách, phát mẫu chất liệu tìm mẫu chất liệu cho trước có ảnh hay không hay nói khác xác định vùng chứa mẫu chất liệu ảnh Với người điều dễ dàng với máy tính vấn đề khó người nhìn thấy chất liệu theo nhiều hướng thời điểm, máy tính thấy hướng chất liệu tỉ lệ cụ thể, ánh sáng ảnh hưởng nhiều đến thể chất liệu, để thu nhận thuộc tính chất liệu từ ảnh bề mặt vấn đề cần phải nghiên cứu nhiều phần tính đa dạng chất liệu, loại chất liệu có thể nó, ví dụ chất liệu gỗ gỗ hương có đường vân khác với gỗ mít, với loại mẫu chất liệu thu nhận điều kiện môi trường khác khác nhau, mẫu chất liệu hai mẫu chất liệu khác trông chúng giống Muốn phát chất liệu thông qua mẫu chất liệu trước hết cần phải biết gì? Và mô tả nào, từ có phương pháp hay kỹ thuật phát phù hợp mô hình tham số, mô hình cấu trúc, v.v Do với phương pháp hay kỹ thuật phát mẫu chất liệu thường có hai giai đoạn chính:  Mô tả mẫu chất liệu  Phát dựa mô tả mẫu chất liệu Có nhiều phương pháp mô tả hay trích chọn đặc trưng ảnh nói chung nghiên cứu từ lâu theo nhiều hướng tiếp cận: Thống kê, cấu trúc, mô hình, lọc gần mô tả kết hợp tiếp cận tạo đặc trưng hữu dụng việc mô tả đối tượng, chất liệu số trường hợp có thay đổi mô trường thu nhận ảnh đặc trưng hay mô tả bất biến đặc trưng bất biến địa phương: SIFT (Scale Invariant Feature Transform) biến thể nó, MSER (Maximally Stable Extremal Regions) v.v số khác xây dựng đặc trưng bất biến từ cách tiếp cận trình bày Với tiếp cận phát mẫu chất liệu thường tìm cấu trúc mẫu chất liệu dựa mô tả cho chất liệu, việc phát dựa vào phương pháp thống kê hay gọi phương pháp định lượng phương pháp cấu trúc hay gọi phương pháp định tính Một phương pháp phát mẫu chất liệu tốt cần đảm bảo hai yếu tố: 1) Phát trường hợp chất liệu bị thay đổi phép biến đổi hình học ánh sáng 2) Thuật toán phát phải đảm bảo thời gian thực Do tính đa dạng chất liệu nên việc lựa chọn xây dựng mô tả biểu diễn mẫu chất liệu vấn đề mở cần thiết đồng thời nghiên cứu tiếp cận phát mẫu chất liệu xác mô tả xây dựng không phần quan trọng Mục tiêu luận án Nghiên cứu: “Nghiên cứu phát mẫu chất liệu ảnh”, trọng nội dung:  Mô tả biểu diễn mẫu chất liệu cho loại chất liệu thông thường sống ngày Tìm thuộc tính đặc tả cho chúng kết hợp với đặc trưng ảnh để tạo mô tả cho mẫu chất liệu khác  Nghiên cứu phương pháp để phát mẫu chất liệu hợp lý nhằm tăng độ xác việc phát tốc độ tính toán đảm bảo thời gian thực  Nghiên cứu toán phát ảnh giả mạo dạng cắt dán dựa tiếp cận phát mẫu chất liệu Các đóng góp luận án 1) Đề xuất kỹ thuật phát mẫu chất liệu dựa vào đặc trưng bất biến địa phương sở phân cụm mối tương quan hình học đặc trưng địa phương để xác định cấu trúc mẫu chất liệu ảnh Kỹ thuật đăng tải Kỷ yếu Hội nghị Quốc Gia Công nghệ Thông tin Truyền thông năm 2009, nhằm giải toán trường hợp có thay đổi tỉ lệ, quay số phạm vi ánh sáng định Kết thực nghiệm cho thấy kỹ thuật đề xuất hiệu mẫu chất liệu có kết cấu không mịn, thô, có độ tương phản cao gỗ, cỏ, vải, v.v Qua đó, luận án đề xuất ứng dụng kỹ thuật để giải toán phát ảnh số giả mạo dạng cắt dán ảnh trường hợp vùng giả mạo bị thay đổi hình học mà kỹ thuật đương thời chưa giải được, kết đăng tải Tạp chí Tin học Điều khiển học năm 2010 2) Đề xuất sử dụng đặc trưng nhiễu để biểu diễn phát mẫu chất liệu Nhiễu thành phần không mong muốn, thông thường hầu hết ứng dụng cần thiết phải loại bỏ chúng, song qua nghiên cứu trình thu nhận ảnh thông qua phim giá trị điểm ảnh nội suy từ lân cận thân điểm ảnh mẫu chất liệu phụ thuộc vào lân cận nhiều có nghĩa nhiễu chất liệu luôn tồn Kỹ thuật sử dụng phương pháp học tích lũy mẫu nhiễu chất liệu dựa vào phân bố Gauss độ tương quan để xác định mẫu chất liệu ảnh Thực nghiệm cho thấy khả phát mẫu chất liệu có thay đổi ánh sáng tốt kết đăng tải Tạp chí Khoa học Công nghệ năm 2010 với Hội nghị FAIR năm 2009 3) Đề xuất kỹ thuật mô tả phát dựa vào cấu trúc lặp lại chất chất liệu hình học Fractal Đề xuất nhằm giải vấn đề thay đổi tỉ lệ toàn cục mẫu chất liệu ảnh thông qua ý tưởng nén ảnh Fractal Kỹ thuật trình bày đăng tải Hội nghị quốc tế ACM (iiWAS-MoMM2011) Tính toán Thông tin Truyền thông đa phương tiện năm 2011 Bố cục luận án Ngoài phần kết luận, luận án tổ chức thành bốn chương Chương giới thiệu tổng quan khái niệm chất liệu, mẫu chất liệu toán phát mẫu chất liệu ảnh số sở lý thuyết để xây dựng kỹ thuật đề xuất chương Chương 2, luận án trình bày kỹ thuật phát mẫu chất liệu dựa vào đặc trưng bất biến địa phương kết hợp mối quan hệ hình học đặc trưng để tìm mối tương quan mẫu chất liệu vùng chứa mẫu chất liệu ảnh, đồng thời trình bày ứng dụng tiếp cận phát mẫu chất liệu cho toán phát ảnh số giả mạo dạng cắt dán với vùng giả mạo bị thay đổi phép quay phép lấy tỉ lệ Trong chương 3, luận án trình bày nhiễu chất liệu kỹ thuật phát mẫu chất liệu dựa đặc trưng nhiễu chất liệu, kỹ thuật nhằm khắc phục khó khăn trường hợp mẫu chất liệu bị thay đổi ánh sáng Chương 4, luận án trình bày kỹ thuật phát mẫu chất liệu có cấu trúc lặp lại chi tiết tỉ lệ khác dựa vào hình học Fractal sở hệ hàm lặp IFS( Iterated Function System) Chương TỔNG QUAN VỀ PHÁT HIỆN MẪU CHẤT LIỆU TRONG ẢNH 1.1 Chất liệu toán phát mẫu chất liệu ảnh 1.1.1 Chất liệu mẫu chất liệu Mẫu chất liệu hiểu theo hai khía cạnh: 1) Mẫu chất liệu có mô hình biểu diễn: Các chuyên gia tìm công thức, quy tắc để biểu diễn chất liệu cụ thể môi trường ảnh số, ví dụ: chất liệu da xét không gian màu YCrCb có công thức: 135 < Cr < 185; 85< Cb < 135; Y > 80 2) Mẫu chất liệu mô hình biểu diễn: Trường hợp mẫu chất liệu ta được, xem ảnh 1.1.2 Bài toán phát mẫu chất liệu Đầu vào: Mẫu chất liệu ảnh vào Đầu ra: Xác định vùng chứa mẫu chất liệu ảnh 1.1.3 Các thách thức phát mẫu chất liệu ảnh Phần luận án trình bày khó khăn thách thức toán phát mẫu chất liệu ảnh điều kiện thu nhận ảnh từ môi trường gồm: phép biến đổi hình học, ánh sáng, v.v 1.2 Các cách tiếp cận phát mẫu chất liệu ảnh Phần luận án trình bày tiếp cận phát mẫu chất liệu ảnh dựa vào đặc trưng địa phương, đặc trưng toàn cục, tiếp cận dựa theo mô hình 1.3 Kết luận vấn đề nghiên cứu Trong chương này, luận án trình bày khái niệm chất liệu, mẫu chất liệu toán phát mẫu chất liệu ảnh thách thức đặt thực tế toán Trên cở sở đó, hệ thống hóa nghiên cứu liên quan theo cách tiếp cận biểu diễn phát chất liệu nhằm mục đích xây dựng số thuật toán phát mẫu chất liệu ảnh nhằm khắc phục trường hợp có biến đổi hình học quang học trình thu nhận ảnh phép thay đổi tỉ lệ, thay đổi quay, dịch chuyển thay đổi ánh sáng Đồng thời với nghiên cứu ứng dụng kỹ thuật đề xuất vào toán có tính thời toán phát ảnh số giả mạo, toán giám sát tự động v.v Chương PHÁT HIỆN MẪU CHẤT LIỆU DỰA VÀO ĐẶC TRƯNG BẤT BIẾN ĐỊA PHƯƠNG 2.1 Đặt vấn đề 2.2 Trích chọn đặc trưng bất biến địa phương cho mẫu chất liệu 2.2.1 Tìm điểm bất biến địa phương không gian tỉ lệ Các đặc trưng bất biến tỉ lệ điểm bất biến không gian tỉ lệ Xây dựng không gian tỉ lệ cho ảnh Không gian tỉ lệ xây dựng nhân cuộn ảnh với kernel, kernel phù hợp chứng minh kernel Gauss Do không gian tỉ lệ xây dựng hàm liên tục sau hàm Trong đó: Các điểm bất biến tỉ lệ cực trị không gian tỉ lệ Có thể tìm điểm cách chọn điểm cực trị không gian hàm D tính phép trừ ảnh đơn giản: Từ ta thấy cực trị không gian tỉ lệ hàm Hình 2.1 minh họa lấy cực trị xấp xỉ Hình 2.1 xấp xỉ với  Xác định xác vị trí đặc trưng : Năm 2002 Brown Lowe đề xuất kỹ thuật nội suy để xác định xác vị trí keypoint cách sử dụng khai triển Taylor hàm không gian tỉ lệ với gốc vị trí điểm mẫu : (2.1) D giá trị đạo hàm giải phương trình =0, Xác định vị trí cực trị =0, cách Khi đó: (2.2) Thực chất đạo hàm D xác định cách lấy hiệu điểm mẫu lân cận, phí tính toán giai đoạn nhỏ Nếu theo hướng nghĩa gần với điểm mẫu khác chọn, nên ta phải thực nội suy để thay cho điểm  Loại bỏ điểm có độ tương phẩn thấp : Để loại bỏ điểm có độ tương phản thấp ta phải kiểm chứng giá trị cách thay (2.2) vào phương trình (2.1) ta : (2.3) Theo thực nghiệm điểm mẫu bị bỏ  Loại bỏ keypoint dọc theo biên : Sử dụng cách tiếp cận Harris Stephens năm 1988 Ta xét đường cong ảnh ma trận Hessan :  Dxx H   Dxy Dxy  Dyy  Các đạo hàm tính cách lấy hiệu điểm mẫu lân cận Sau tìm trị riêng H ,  Tr (H)  Dxx Dyy      r Det (H)  Dxx Dyy  ( Dxy )   Tr (H) (   ) (r  ) (r  1)    Det (H)  r r Loại bỏ keypont xác xác định thỏa mãn bất đẳng thức: (2.4) Với r chọn theo thực nghiệm r=10 Sau trình nhiều bước chọn điểm bất biến tỉ lệ 2.2.2 Xây dựng mô tả địa phương Để điểm bất biến với phép quay ảnh hưởng khác hướng thu nhận khác Trước hết, cách hiệu sử dụng hướng độ lớn gradient cho điểm mẫu Mỗi điểm mẫu xác định vị trí tỉ lệ, gán hướng độ lớn gradient sau: (2.5) (2.6) Gradient ảnh Mô tả điểm bất biến tỉ lệ Hình 2.2 Minh họa cách xây dựng mô tả cho điểm bất biến tỉ lệ 2.3 Phát mẫu chất liệu dựa đặc trưng bất biến địa phương 2.3.1 Đối sánh dựa vào phương pháp lân cận gần Trước hết, trích chọn đặc trưng bất biến địa phương SIFT cho ảnh vào chất liệu Mỗi đặc trưng xác định vị trí, tỉ lệ, giá trị gradient Với đặc trưng mẫu chất liệu ảnh vào mẫu , ta tìm đặc trưng tương ứng giống với dựa khoảng cách Euclid, tức giả sử gọi mẫu chất liệu M, đặc trưng thứ o đặc trưng thứ p ảnh Tìm đặc trưng thỏa mãn hàm khoảng cách Euclid đạt cực tiểu sau: p '  arg p   F    F   128 i 1 o M p I i (2.7) i Sau trình ta có tập cặp đặc trưng chất liệu tương ứng với tập đặc trưng ảnh phương pháp lân cận gần Bây để xác định chất liệu có ảnh vào hay không ta phải thực trình kiểm chứng dựa vào cấu trúc hình học đặc trưng để xác định lại tương ứng cặp đặc trưng xác 2.3.2 Xác định tương ứng mẫu chất liệu ảnh Chọn điểm mẫu chất liệu làm điểm trung tâm Với đặc trưng mẫu chất liệu , xác định vectơ định vị hình 2.3 Dựa vào vectơ định vị đặc trưng này, tính toán điểm ứng cử trung tâm mẫu chất liệu ảnh vào biểu thức sau: I  (x  y )  cos(   M   I ) M  Y  yI  I  (x  y )  sin(   M   I ) M X  xI    arctan( y ); x ; (2.8) tỉ lệ hướng cặp đặc trưng tương ứng Như vậy, ta tính tập điểm ứng cử trung tâm ảnh vào Khi mẫu chất liệu tồn ảnh điểm ứng cử àm trung tâm phải giống (vị trí giống nhau) Nhưng thực chất điểm ứng cử trung tâm tính không giống hoàn toàn mà vị trí lân cận gần Do ta cần phải phân cụm điểm ứng cử trung tâm thành số cụm để xác định mẫu chất liệu ảnh Hình 2.3 Cách xác định vec tơ định vị 2.3.3 Phân cụm điểm ứng cử trung tâm Phần trình bày phương pháp phân cụm ISODATA để phân cụm tập điểm ứng cử trung tâm ảnh dựa vào ngưỡng khoảng cách cực đại cụm ngưỡng số phần tử cụm Nếu số điểm trung tâm cụm lớn ngưỡng xác định ta kết luận mẫu chất liệu có ảnh 2.3.4 Thuật toán phát mẫu chất liệu DMBLIF  Vào: Mẫu chất liệu (dưới dạng ảnh), ảnh cần tìm chất liệu  Ra: Tập gồm vùng chứa mẫu chất liệu ảnh  Các bước thuật toán: Bước 1: Khởi tạo tham số ngưỡng phân cụm ngưỡng phân lớp điểm trung tâm Khởi tạo , tập điểm trung tâm Bước 2: Trích chọn đặc trưng bất biến địa phương cho mẫu chất liệu phần 2.2, giả sử ta tập Bước 3: Với đặc trưng , thực hiện: Bước 3.1: Tìm đặc trưng Chọn ảnh tương ứng giống với theo công thức (2.7) Bước 3.2: Tính thành phần véc tơ định vị dựa vào (xem hình 2.3) Bước 3.3: Dựa vào tìm bước 3.1 tính điểm trung tâm ứng cử tìm bước 3.2, theo công thức (2.8) Bước 4: Phân cụm tập điểm trung tâm ứng cử (tính bước 3) thành số cụm dựa vào thuật toán với ngưỡng khoảng cách lớn cụm Bước 5: Với cụm tìm bước 4, kiểm tra số điểm lớn ngưỡng phân loại xác định kết luận mẫu chất liệu có , thực hiện: Bước 5.1: Lưu (vùng bao chứa tập điểm đặc trưng cụm điểm trung tâm chọn ảnh , tương ứng (a) (b) Hình 2.9 Ảnh bổ sung đối tượng (a) Ảnh gốc; (b) Ảnh bổ sung đối tượng Hình 2.8a ảnh gốc có ô tô, ô tô ô tô tải Hình 2.8b ảnh 2.8a bị giả tạo với việc che phủ ô tô tải cành lấy từ ảnh Hình 2.8c ảnh gốc với trực thăng nhỏ hình 2.8d ảnh gốc 2.8c bỏ đối tượng trực thăng Cả hai trường hợp giả mạo thực từ ảnh nên độ tương đồng ánh sáng bóng nhau, mắt thường khó xác định Hình 2.9 thể dạng khác thường thấy giả mạo ảnh, việc bổ sung thêm đối tượng Hình 2.9a ảnh gốc có máy bay trực thăng, hình 2.9b bổ sung thêm thành trực thăng vị trí khác Các trực thăng copy từ trực thăng gốc nên góc độ hướng giống nhau, khó cho việc xác định 2.4.2 Thuật toán phát ảnh số giả mạo KPImage Hình 2.10a ảnh gốc với máy bay trực thăng Hình 2.10b tạo từ ảnh 2.10a cách bổ sung thêm thành bốn trực thăng vị trí khác Các trực thăng chép từ trực thăng gốc Thuật toán KPImage nhằm phát trực thăng bị giả mạo hình 2.10b (a) (b) Hình 2.10 Ảnh giả mạo cắt dán bổ sung đối tượng (a) Ảnh gốc; (b) Ảnh giả mạo bổ sung đối tượng 2.4.2.1 Thuật toán phát ảnh số giả mạo Exact match Giả sử ảnh có kích thước , với kích thước nhỏ khối bao mà người dùng định nghĩa để đối sánh Với điểm ảnh ta xác định khối bao ma trận điểm ảnh Như vậy, với ảnh ta xác định 11 khối bao Với khối bao, ta lưu phần tử thuộc khối bao vào hàng ma trận A Duyệt toàn ảnh, ta ma trận A với hàng cột Hai hàng giống ma trận A tương đương với khối bao giống ảnh Ta xếp hàng ma trận A theo thứ tự từ điển Yêu cầu thực bước Sau đó, tìm kiếm cách duyệt hàng ma trận qua xếp A tìm kiếm hai hàng giống liên tiếp Kết thuật toán tìm kiếm tập vùng bao giống nhau, minh chứng cho việc ảnh bị cắt dán Hình 2.11 Tìm kiếm khối bao thuật toán Exact match Kết hình 2.12 minh họa cho thuật toán Hình 2.12a ảnh gốc với trực thăng Hình 2.12b ảnh giả tạo từ ảnh gốc thêm vào trực thăng, có copy mà không thay đổi kích thước có thay đổi kích thước, bị quay bị thay đổi tỷ lệ quay Hình 2.12c ảnh kết phát giả mạo nhờ thuật toán Exact match, kết trực thăng giả mạo không thay đổi kích thước bị phát (a) (b) (c) Hình 2.12 Kết phát giả mạo thuật toán Exact match (a) Ảnh gốc; (b) Ảnh giả mạo cắt dán; (c) Các vùng giả mạo phát thuật toán Exact Match 2.4.2.2 Thuật toán KPFImage Để phát vùng ảnh giả mạo, ta phải tìm cặp vùng ảnh tương quan (cặp vùng ảnh “giống nhau”) với tỉ lệ khác thông qua hệ số tỉ lệ α phép biến đổi nội suy Thuật toán đề xuất luận án phát 12 triển mở rộng hai thuật toán Exact match thuật toán Exact match* Vùng ảnh thứ xác định để lấy đối sánh, thực dựa theo thuật toán Exact match để định kích thước khối bao nhỏ BB Vùng ảnh thứ hai xác định dựa theo thuật toán Exact match*, tức xác định dựa phép nội suy hệ số tỷ lệ  Sự khác biệt việc đối sánh hai vùng ảnh so khớp đặc trưng bất biến trích chọn phần 2.2 Vì đặc trưng bất biến phép tỷ lệ phép quay cục bộ, nên ta tìm cặp vùng ảnh tương quan trường hợp vùng ảnh bị xoay, hay nói khác đối tượng dán bị thay đổi phép quay ảnh Cặp vùng gọi cặp tương quan với vùng , tồn vùng ánh xạ , f phép nội suy α hệ số cho: tỷ lệ Giả sử ảnh có kích thước M  N ,  hệ số tỷ lệ xác định, f phép biến đổi nội suy tuyến tính xác định B B kích thước khối bao nhỏ định, kích thước khối bao người dùng định cho phù hợp với ảnh khác nhau, xác định qua thực nghiệm để tìm kích thước phù hợp Duyệt toàn ảnh theo chiều (left-top)  (right-bottom) Với điểm ảnh ta xác định hai khối bao tương ứng có kích thước B B bao quanh Do vậy, duyệt toàn ảnh có tất khối bao có kích thước B B khối bao có kích thước Gọi tập hợp khối bao có kích thước B B kích thước Trong , giả sử và tập hợp khối bao có biểu diễn sau: 1  a1 , a2 , , , , am  2  b1 , b2 , ,b j , ,bn  khối bao thứ có kích thước B B với khối bao thứ có kích thước Xét tập hợp , với , ứng với phần tử khối bao có kích thước B B (với i  1, m ), áp dụng kỹ thuật biến đối nội suy tuyến tính với phép biến đổi cho trước hệ số tỷ lệ  định nghĩa ta phần tử khối bao thước theo công thức sau: Như vậy, với tập hợp khối bao sau áp dụng phép biến đổi nội suy tuyến tính phần tử ứng có kích 13 ta tập hợp tương Ta tìm kiếm cặp khối bao tương quan khối bao thuộc tập sau: Đối sánh với khối bao thuộc tập cách so khớp đặc trưng bất biến khối bao khối bao (u số đặc trưng , ) Nếu tồn cặp khối bao ( i  1, m , j  1, n ) thoả mãn với “giống nhau”, ta khẳng định cặp khối bao cặp tương quan Việc so khớp hai khối bao thực dựa phương pháp so khớp đặc trưng bất biến, nghĩa với đặc trưng cho khoảng cách ta tìm đặc trưng bé ngưỡng cho trước Lúc này, ta xác định cặp đặc trưng giống Nếu tổng số cặp đặc trưng giống đạt tỷ lệ ta nói cặp so khớp được, nghĩa “giống nhau” Vậy tập hợp cặp khối bao tương quan cặp bị nghi giả mạo Do khối bao ứng với vùng ảnh, tập hợp khối bao tương quan tương ứng với tập hợp cặp vùng ảnh làm giả Thuật toán KPFImage:  Vào: Ảnh cần kiểm tra giả mạo  Ra: Tập gồm tập vùng nghi ngờ giả mạo ảnh có  Các bước thực thuật toán: Bước 1: Chọn thông số đầu vào bao gồm: Kích thước khối bao nhỏ , ngưỡng đánh giá “giống nhau” , tỷ lệ co giãn theo chiều ngang chiều dọc p, q hàm nội suy f Khởi tạo Bước 2: Xác định tập ảnh có kích thước B× B ảnh Bước 3: Biến đổi X thành X’ theo hàm nội suy f với thông số tỷ lệ co giãn theo chiều ngang chiều dọc chọn bước Bước 4: Với X’ ta xem mẫu chất liệu thực thuật toán Nếu số vùng trả cập nhật vùng vào Bước 5: Nếu , tức lớn hiển thị vùng nghi ngờ giả mạo ảnh Đây vùng tập RF tìm sau bước Đánh giá độ phức tạp tính toán thuật toán KPFImage Giả sử ảnh vào kích thước , phép duyệt tất khối bao có độ phức tạp Với khối bao thực thuật toán ta có độ phức tạp tính toán 14 ( số đặc trưng địa phương trích chọn thuật toán DMBLIF) Vậy độ phức tạp trình 2.4.3 Thực nghiệm Kỹ thuật cài đặt kết cho thấy thuật toán KPImage phát trường hợp mà vùng giả mạo bị thay đổi phép quay tỉ lệ mà thuật toán phát ảnh giả mạo khác không giải Chương PHÁT HIỆN MẪU CHẤT LIỆU DỰA VÀO ĐẶC TRƯNG NHIỄU 3.1 Biểu diễn mẫu chất liệu dựa đặc trưng nhiễu 3.1.1 Đặc trưng nhiễu chất liệu Trong trường hợp mẫu chất liệu mô hình biểu diễn, mẫu chất liệu mô hình chất liệu bao gồm tập ảnh chất liệu , Np số ảnh chất liệu dùng để xây dựng mẫu chất liệu Đặc trưng nhiễu chất liệu tính toán cách lấy trung bình nhiều phần tử ảnh (pixels) , k=1,…, Np Để tốc độ tính toán nhanh hơn, cần phải thực phép khử nhiễu từ ảnh trước lấy trung bình nhờ sử dụng lọc nhiễu lấy trung bình lượng nhiễu sau: (3.1) 3.1.2 Xây dựng đặc trưng nhiễu cho mô hình chất liệu Với mẫu chất liệu dạng mô hình gồm tập ảnh ), ta thực bước sau: (  Tính nhiễu cho tất ảnh mẫu chất liệu hàm khử nhiễu (sử dụng lọc khử nhiễu wavelet) để ảnh sau khử nhiễu  Tính nhiễu ảnh sau: (3.2) Sau tính trung bình ảnh nhiễu để thu nhiễu mẫu chất liệu sau: (3.3) Do trình thu thập liệu mẫu chất liệu phải thực trước tạo mẫu nhiễu chất liệu với lượng liệu lớn thời điểm thường tốn thời gian lớn, để trình tạo đặc trưng nhiễu mẫu chất liệu thực với trình thu thập liệu chất liệu theo thời gian Kỹ thuật đề xuất dựa giải pháp tạo đặc trưng nhiễu theo phương pháp tích lũy dần hình 3.1 15 Hình 3.1 Mô hình xây dựng đặc trưng nhiễu cho mẫu chất liệu Với nhiễu chất liệu thêm vào, trình tính toán thực tương tự, số ảnh đủ lớn ( ) Giả sử có ảnh chất liệu ban đầu Ta có đặc trưng nhiễu tính được: Khi đó, có chất liệu T Gọi đặc trưng nhiễu tạo sau thêm T Ta có công thức biến đổi: (3.4) 3.1.3 Thuật toán biểu diễn mẫu chất liệu dựa vào đặc trưng nhiễu RMBN  Vào: Mẫu chất liệu (dưới dạng mô hình, gồm tập ảnh chất liệu kích thước ảnh chất liệu  Ra: Mô hình mẫu nhiễu chất liệu , kích thước  Các bước thực thuật toán: Bước 1: Với ảnh chất liệu , theo công thức (3.2) Bước 2: Tính ảnh Tính đặc trưng nhiễu dựa vào công thức (3.3) Độ phức tạp tính toán thuật toán Tính độ phức tạp thuật toán dựa vào số mẫu chất liệu , tham số mẫu chất liệu cố định Bởi vậy, độ phức tạp tính nhiễu ảnh chất liệu Vậy độ phức tạp thuật toán trường hợp xấu 16  Một số kết minh họa thuật toán (a) (b) Hình 3.2 Kết tìm đặc trưng nhiễu mẫu gỗ thuật toán RMBN (a) Mẫu chất liệu gỗ dạng mô hình gồm tập chất liệu gỗ; (b) Đặc trưng nhiễu mẫu chất liệu gỗ (a) (b) Hình 3.3 Kết tìm đặc trưng nhiễu mẫu gỗ thuật toán RMBN (a) Mẫu chất liệu gỗ dạng mô hình gồm tập chất liệu gỗ ; (b) Đặc trưng nhiễu mẫu gỗ (a) (b) Hình 3.4 Kết tìm đặc trưng nhiễu mẫu gỗ thuật toán RMBN (b) Mẫu chất liệu gỗ dạng mô hình gồm tập chất liệu gỗ; (b) Đặc trưng nhiễu mẫu chất liệu gỗ 3.2 Phát mẫu chất liệu dựa vào đặc trưng mô hình nhiễu chất liệu 3.2.1 Phân lớp mẫu chất liệu dựa vào hàm phân phối Gauss Ta xét sở liệu gồm tập đặc trưng nhiễu trường hợp mẫu chất liệu tính độ tương quan cho cặp Giả sử có đặc trưng nhiễu , độ tương quan tính sau: Trong đó, E[.] phép lấy kỳ vọng Nếu có sở liệu giá trị vào hàm phân phối Gauss để xác định ngưỡng phân loại , áp dụng cụ thể cho mẫu chất liệu Tiếp theo việc phân loại mẫu chất liệu ảnh nào? Giả sử cần xét khối ảnh (kí hiệu phải kiểm tra xem có tương thích với đặc trưng nhiễu mẫu chất liệu với mẫu nhiễu chất liệu giả sử hay không, ta tính toán số nhiễu sau : 17 Hình 3.5 minh họa trực quan cách ngưỡng phân loại dựa vào hàm phân phối Gauss Hình 3.5 Minh họa vùng chất liệu R chọn dựa vo phân phối Gauss Ta đánh giá độ tương quan khối có giống hay không Để giải khó khăn luận án sử dụng cách đánh giá phân phối Gaussian Điểm thuận lợi thu số lượng mẫu chất liệu lớn, cần thiết để đánh giá tham số Đầu tiên, tính toán độ tương vùng ảnh vào quan với mô hình đặc trưng nhiễu xác định với kích thước giống Ta tính toán Quá trình định xác định thông qua phân phối Gaussian (generalized Gaussian distribution) với hàm tích luỹ G(x) Thông qua mô hình phân phối Gauss, xác định ρ hợp lý để lựa chọn kết phát xác Áp dụng mô hình tổng quát hoá phân phối Gaussian biến đổi ngẫu nhiên với ước lượng phân loại thu giá trị: (3.6) 3.2.2 Thuật toán phát mẫu chất liệu dựa vào nhiễu DMBNF  Vào: Mẫu nhiễu chất liệu (dạng mô hình  Ra: Tập gồm vùng chứa mẫu chất liệu  Các bước thực thuật toán: Bước 1: Tính ảnh nhiễu ’ ảnh ngưỡng phân loai Khởi tạo dựa vào công thức (3.2) Chọn thành tập ảnh RI’ có Bước 3: Với , thực hiện: Bước 3.2: Tính độ tương quan (3.5), ta ảnh Bước 2: Xác định tập ảnh kích thước , ảnh 18 dựa vào Bước 3.3: Áp dụng phân phối Gauss cho giá trị ta , sau tính giá trị Bước 3.4: Kiểm tra (3.6)) kết luận lưu lại ( xác định dựa vào công thức vùng ảnh chứa mẫu chất liệu , tức Ngược lại, khối chứa mẫu chất liệu Độ phức tạp tính toán thuật toán DMBNF Tính độ phức thuật toán dựa kích thước ảnh đầu vào nhiễu có độ phức tạp tạp Việc tính , thực duyệt tất cửa sổ có độ phức Kích thước mẫu chất liệu cố định nên việc tính toán so sánh cửa sổ có độ phức tạp số Do vậy, độ phức tạp thuật toán 3.2.3 Thực nghiệm Luận án cài đặt thử nghiệm thuật toán DMBNF CSDL trích rút từ tập liệu MIT – CSAIL với ảnh có thay đổi ảnh sáng lớn mẫu chất liệu cần phát có tính kết cấu tương đối thấp gỗ, cỏ, tóc, da Chúng xây dựng mẫu nhiễu cho loại chất liệu, loại chất liệu tính toán trung bình nhiễu 50 ảnh với điều kiện môi trường khác Kết thực nghiệm cho thấy kỹ thuật đề xuất phát hiệu trường hợp ánh sáng bị thay đổi đánh giá bảng 3.1 Bảng 3.1 Kết đánh giá thuật toán DMBNF Mẫu chất liệu thử nghiệm Kết phát mẫu chất liệu thuật toán DMBNF Số ảnh Gỗ 1470 Cỏ Đúng Sai Tỷ lệ sai Độ xác 1455 15 1,00 98,97% 2014 2001 13 0,60 99,35% Da 693 647 46 6,60 93,33% Tóc 818 725 93 11,36 88,63% 3.3 Kết luận chương Kỹ thuật đề xuất cài đặt thử nghiệm phát mẫu chất liệu dựa tính toán độ tương quan ảnh mẫu nhiễu tham chiếu mẫu chất liệu cho trước Thuật toán tỏ có hiệu mẫu chất liệu có tương đồng kết cấu có thay đổi ánh sáng Chương PHÁT HIỆN MẪU CHẤT LIỆU DỰA VÀO HÌNH HỌC FRACTAL 4.1 Đặt vấn đề Trong thực tế có nhiều mẫu chất liệu có cấu trúc chi tiết lặp lại tỉ lệ khác Luận án đề xuất phương pháp phát mẫu chất liệu dựa ý 19 tưởng tìm chi tiết lặp lại theo lý thuyết hàm lặp IFS Fractal (Iterated Function System) 4.2 Cơ sở toán học Gọi không gian metric tập ảnh số cặp (M, d) M tập ảnh, d độ đo Để biểu diễn ảnh , ta phải tìm ánh xạ cho : khối ảnh , điều kiện phân hoạch khối Một mô tả IFS sau : định nghĩa tập hữu hạn đặc tả ảnh : thành phần Gọi Khi toán tử co : , không gian metric đầy đủ cố định tồn điểm Như với khối chất liệu đặc tả đó, trích rút tập làm đặc trưng riêng cho mẫu chất liệu Đặc trưng bất biến với phép biến đổi ảnh, đặc biệt phép biến đổi afin 4.3 Biểu diễn mẫu chất liệu dựa vào hình học Fractal 4.3.1 Đặc trưng hình học Fractal cho chất liệu Đặc trưng Fractal chất liệu khối ảnh chất liệu với phép biến đổi afin xấp xỉ tương ứng từ xây dựng lại mẫu chất liệu ban đầu thông quan đặc trưng Đặc trưng chất liệu cách tiếp cận luận án dựa ý tưởng Fractal Nó thể tính chất lặp lại chi tiết mẫu chất liệu tham số phép biến đổi địa phương Xét mẫu chất liệu X mảng chiều Ta xét phân hoạch X thành khối không giao , , cho khối miền lớn Giả hàm sử gọi khối dãy Kết hợp với khối dãy , cho ảnh u ( Di )  u Di cho ánh xạ afin mức xám, xấp xỉ ánh xạ co 1-1 , tức , biểu diễn Fractal, toán tử không gian metric đầy đủ cho = Với khối ánh xạ co hàm ảnh thích hợp , tồn điểm bất động chọn 20 xấp xỉ tốt nhất, nghĩa sai số xấp xỉ bé , không gian tham số Thực tế, cực tiểu tương đương với cực tiểu sai số định lý Collage Như điểm bất động đạt xấp xỉ ảnh ban đầu sinh từ dãy phép lặp hội tụ đến Phép biến đổi Fractal trường hợp phép biến đổi toàn cục, phần ảnh xấp xỉ phần khác ảnh 4.3.2 Xây dựng mô tả Fractal cho mẫu chất liệu Biểu diễn Fractal mẫu chất liệu dựa nguyên lý IFS sau:  Phân hoạch mẫu chất liệu thành khối dãy không giao  Phân hoạch mẫu chất liệu thành khối miền lớn (có thể chồng lên nhau)  Với khối dãy, tìm khối miền phép biến đổi tương ứng cho áp dụng phép biến đổi lên khối miền kết thu xấp xỉ tốt với khối dãy tương ứng  Lưu vị trí khối dãy, khối miền tham số phép biến đổi tương ứng biểu diễn Fractal chất liệu Vấn đề biểu diễn Fractal cho mẫu chất liệu việc tìm ánh xạ tương ứng khối miền khối dãy Với khối dãy, so sánh với khối miền biến đổi, phép biến đổi chứng minh phải phép biến đổi afin Phép biến đổi tổ hợp phép biến đổi hình học ánh sáng Với mẫu chất liệu mức xám , kí hiệu z cường độ pixel vị trí (x,y) biểu diễn: (4.1) Các hệ số a, b, c, d, e, f hệ số hình học phép biến đổi tỉ lệ, quay dịch chuyển s,o hệ số độ tương phản độ sáng Các phép biến đổi hình học luận án hạn chế số hướng quay, tỉ lệ dịch chuyển định Nên việc so sánh khối miền khối dãy tương ứng thực theo bước: Áp dụng môt số hướng xác định lên khối miền , sau quay thu nhỏ khối miền để kích thước khối dãy tương ứng đối sánh với Bước cuối ta tính toán tham số s o dựa vào phương pháp xấp xỉ bình phương tổi thiểu tức gọi r1,…, rn d1, …, dn, giá trị pixel biển đổi tương ứng, thì: (4.2) 21 Để cực tiểu Err, đạo hàm theo s o phải =0, (4.3) (4.4) (4.5) Giải hệ phương trình ta được: (4.6) (4.7) Viết lại đơn giản: ; ; (4.8) 4.3.3 Thuật toán biểu diễn mẫu chất liệu fractal RMBF  Vào: Mẫu chất liệu (một ảnh) có kích thước  Ra: Mô hình Model_Fractal( ) (kích thước )  Thuật toán xây dựng mô tả Fractal RMBF gồm bước sau: Bước 1: Khởi tạo thông số kích thước phân hoạch khối dãy, khối miền: k, r Khởi tạo Bước 2: Phân hoạch thành tập khối dãy Bước 3: Phân hoạch thành tập khối miền Bước 4: Với khối dãy , kích thước kích thước , Bước 4.1: Chọn khối miền xác định phép biến đổi tương ứng phần 4.3.2 cho Bước 4.2: Tính sai số Bước 4.3: Lưu Rec( i,) ( vị trí )và tham số hình học ánh sáng (a, b, c, d, e, f, s, o) phép biến đổi i tương ứng với nhỏ Tức Như mô hình chất liệu thu gồm tập: Độ phức tạp tính toán thuật toán RMBF Tính độ phức tạp tính toán theo kích thước mẫu chất liệu, tham số phép tính toán Fractal cố định Phân hoạch chất liệu kích thước thành tập khối dãy không chồng lên kích thước ,độ phức tạp tính toán 22 Phân hoạch chất liệu thước kích thước thành tập khối dãy , độ phức tạp tính toán Với khối ta tính sai số kích , ta duyệt tất khối thực phép biến đổi , sau lưu lại sai số nhỏ Ta biết việc tìm phép biến đổi có độ phức tạp O(1) (hằng số) Ta có độ phức tạp tính toán trình 4.4 Thuật toán phát mẫu chất liệu dựa vào Fractal DMBF Phần luận án đề xuất phương pháp phát mẫu chất liệu dựa ý tưởng farctal, phù hợp cho hai loại Đầu tiên, đưa kỹ thuật tìm nhân fractal dựa phương pháp bình phương tối thiểu Thuật toán DMBF  Vào: Mẫu chất liệu biểu diễn Model_Fractal ( ) ảnh  Ra: Tập R gồm vùng ảnh chứa mẫu chất liệu  Thuật toán phát mẫu chất liệu bước sau: Bước 1: Phân hoạch thành tập , có kích thước kích thước mẫu chất liệu Chọn thông số ngưỡng đối sánh khởi tạo Bước 2: Với khối , thực hiện: Bước 2.1: Tính Bước 2.2: Đối sánh với ( ngưỡng Nếu khoảng cách xác định trước) Độ phức tạp tính toán thuật toán DMBF Ta tính độ phức tạp thuật toán theo kích thước ảnh đầu vào, tham số mô hình Fractal cố định Thuật toán thực cách duyệt cửa sổ có kích thước kích thước mẫu chất liệu, với cửa sổ tìm ta thực phép biến đổi tính sai số Giả sử kích thước ảnh vào, kích thước mẫu chất liệu kích thước khối dãy con, độ phức tạp tính toán 4.5 Kết luận chương Chương đề xuất kỹ thuật phát mẫu chất liệu dựa vào tiếp cận Fractal Trên sở ý tưởng lý thuyết hàm lặp IFS hình học Fractal để tìm mô hình đặc trưng ảnh có tính tự lặp lại chất chất liệu đường vân, biên hay xương v.v 23 KẾT LUẬN CỦA LUẬN ÁN Phát mẫu chất liệu ảnh toán mở xử lý ảnh thị giác máy tính đa dạng phức tạp loại chất liệu thực tế nhiều điều kiện thu nhận ảnh tình khác Sự thay đổi ánh sáng tỉ lệ trình thu nhận ảnh vấn đề khó khăn toán phát mẫu chất liệu Luận án đề xuất nghiên cứu phát mẫu chất liệu ảnh theo hướng nghiên cứu đặc trưng biểu diễn ảnh xây dựng từ đặc trưng mức thấp màu sắc, kết cấu v.v Các đặc trưng bất biến với số phép biến đổi ảnh, nhạy với phép biến đổi Xuất phát từ thực tế luận án nhằm tìm hiểu tổng quan phát mẫu chất liệu ảnh, nghiên cứu kỹ thuật phát mẫu chất liệu ứng dụng giải toán phát ảnh giả mạo Cụ thể luận án đạt kết sau:  Đề xuất kỹ thuật phát mẫu chất liệu ảnh dựa vào đặc trưng bất biến địa phương DMBLIF Kỹ thuật nhằm nhằm giải toán đặt trường hợp mẫu chất liệu cần tìm cho dạng ảnh cho trước Trên sở kỹ thuật DMBLIF, luận án đề xuất việc ứng dụng kỹ thuật vào việc giải toán phát ảnh giả mạo dạng cắt dán Kỹ thuật phát ảnh số giả mạo KPFImage mà luận án đề xuất giải toán giả mạo dạng cắt dán trường hợp có thay đổi tỷ lệ góc quay vùng cắt dán  Đề xuất cách biểu diễn chất liệu dựa vào đặc trưng nhiễu nhằm giảm thiểu ảnh hưởng ánh sáng mà nghiên cứu biểu diễn ảnh quan tâm Đưa thuật toán phát mẫu chất liệu DMBNF dựa vào đặc trưng nhiễu, kết cho thấy kỹ thuật đề xuất hiệu trường hợp mẫu chất liệu có thay đổi ánh sáng lớn  Đề xuất kỹ thuật biểu diễn chất liệu hình học Fractal nhằm tìm đặc trưng bất biến tỉ lệ toàn cục, vấn đề nhiều nghiên cứu quan tâm Trên sở đó, luận án đưa thuật toán phát mẫu chất liệu DMBF, thuật toán giải tốt chất liệu có cấu trúc kết cấu cao, đặc biệt cho loại chất liệu nhân tạo Vấn đề nghiên cứu tiếp theo:  Nghiên cứu, cải tiến mở rộng dạng mẫu chất liệu sang dạng mẫu đối tượng dựa việc biểu diễn đối tượng nhiều mẫu chất liệu Nghiên cứu kỹ thuật nâng cao chất lượng phát mẫu chất lượng, khắc phục yếu tố môi trường Nghiên cứu phát triển ứng dụng vào toán cụ thể thực tiễn 24 DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC CỦA TÁC GIẢ LIÊN QUAN ĐẾN LUẬN ÁN Đỗ Năng Toàn, Lê Thị Kim Nga (2007), “Một cách tiếp cận phát đối tượng đột nhập”, Kỷ yếu Hội thảo Quốc gia: Các vấn đề chọn lọc Công nghệ Thông tin Truyền thông, tr 175-181 Đỗ Năng Toàn, Hà Xuân Trường, Phạm Việt Bình, Lê Thị Kim Nga, Ngô Đức Vĩnh (2008), “Một cải tiến cho thuật toán phát ảnh giả mạo Exact match”, Kỷ yếu Hội thảo Quốc gia nghiên cứu ứng dụng Công nghệ thông tin - FAIR, tr 161-172 Đỗ Năng Toàn, Lê Thị Kim Nga, Nguyễn Thị Hồng Minh (2010), “Một mô hình nhiễu ứng dụng việc phát chất liệu”, Tạp chí Khoa học Công nghệ-Viện Khoa học Công nghệ Việt Nam Tập 48 (3), tr 1-10 Lê Thị Kim Nga, Đỗ Năng Toàn (2010), “Phát ảnh cắt dán giả mạo dựa vào đặc trưng bất biến”, Tạp chí Tin học Điều khiển học, Viện Khoa học Công nghệ Việt Nam Tập 26 (2), tr 185-195 Lê Thị Kim Nga (2010), “Phát chất liệu, tiếp cận ứng dụng”, Tạp chí Khoa học Công Nghệ-Đại học Thái Nguyên Tập 69 (7), tr 25-31 Lê Thị Kim Nga, Đỗ Năng Toàn (2010), “Một cách tiếp cận cho phát chất liệu ảnh”, Kỷ yếu Hội thảo Quốc gia: Các vấn đề chọn lọc Công nghệ Thông tin Truyền Thông, tr 202-213 Lê Thị Kim Nga, Đinh Mạnh Tường (2010), “Phát chất liệu dựa vào nhiễu”, Kỷ yếu Hội thảo Quốc gia nghiên cứu ứng dụng Công nghệ Thông tin - FAIR, tr 207-214 Do Nang Toan, Le Thi Kim Nga (2011), “Materials Detection Based on Fractal Approach”, ACM Proceedings of the 9th International Conference on Advances in Mobile Computing &Multimedia (MoMM2011), pp 281-284 25