Hình 3.10. Vùng da sau khi được tách
Hình 3.11. Ảnh trước khi tách ngưỡng động
HÌnh 3.12. Kết quả sau khi tách ngưỡng với trường hợp ảnh chứa nhiều mặt trong ảnh
3.2.2 Cách tiếp cận mô hình HMM
Dò màu da là tìm kiếm các pixel màu da của một ảnh màu. Kết quả là một ảnh nhị phân cùng kích cỡ, trong đó màu trắng là da, màu đen là không phải màu da hay còn gọi là nền. Các ứng dụng dò màu da có một vai trò quan trọng trong cuộc sống như: phát hiện mặt người dùng trong cảnh báo truy cập bất hợp pháp, tìm kiếm và lọc nội dung không lành mạnh trên nền web.
Hầu như tất cả các phương pháp dò tìm màu da trên thế giới đều có một đặc điểm chung là: chúng xây dựng các bộ quyết định để tách các pixel là màu da ra khỏi các pixel không phải màu da. Ở đây xin trình bày mô hình HMM để phát hiện màu da bằng mô hình Entropy cực đại.
Một số ký hiệu
Gọi tập các giá trị màu là S, gán nhãn cho giá trị màu tại pixel s là xs, nhãn của pixel s là ys với ys = 1 nếu s là pixel màu da và ys = 0 nếu ys không phải màu da. Ảnh màu được xem là một vector của các pixel màu, được ký hiệu là x và ảnh nhị phân tương ứng được tạo nên bởi các màu da ys là y.
Giả sử biết được phân phối đồng thời của vector p(x,y), theo công thức Bayes sẽ tính được phân phối hậu nghiệm p(y|x). Mục tiêu cuối cùng là tính xác suất một giá trị là màu da p(ys=1|xs) từ phân phối hậu nghiệm.
Nhưng chúng ta không biết được phân phối p(x,y), thay vào đó có thể sử dụng CSDL Compaq; là một tập khoảng 20.000 ảnh, đã được đánh giá bằng tay các giá trị màu được xem là màu da và không phải màu da:
{(x(1),y(1)),(x(2),y(2)),…,(x(n)
,y(n))}
trong đó 1 i n=18.696, x(i) là một ảnh màu, y(i) là ảnh nhị phân tương ứng, các mẫu là độc lập với nhau và có xác suất phân phối p(x,y). Tập các mẫu cũng được xem như tập dữ liệu học. Xác suất được thiết lập bởi các thiết lập kinh nghiệm và được ký hiệu bởi q.
Bây giờ chúng ta sẽ xây dựng mô hình phân phối xác suất giá trị màu và màu da với của một ảnh màu: p(y|x).
Mô hình Markov ẩn (HMM)
Người ta đã giải quyết bài tóan này bằng mô hình Baseline nhưng mô hình này không có được nhiều chặt chẽ, thực tế cho thấy các vùng da không
đơn thuần phân phối ngẫu nhiên mà nó được cấu tạo nên bởi các vùng da rộng. Vì vậy, cần tăng cường khả năng nhận dạng bằng cách ràng buộc thêm xác suất xuất hiện màu da cho tất cả cặp điểm lân cận nhau.
Trong HMM, chúng ta sẽ sử dụng hệ thống 4 lân cận; theo dõi màu da của hai điểm lân cận s, t: (ys = a, yt = b), khả năng xảy ra đồng thời màu da hay không phải màu da p(a,b) với a = 0,1 và b = 0,1 tương ứng là ràng buộc thuộc tập học.
(hệ thống 4 lân cận) (hệ thống 8 lân cận)
Giả sử rằng mô hình MaxEnt là đẳng hướng theo hai hướng ngang và dọc, có nghĩa rằng q(ys,yt) = q(ys',yt') theo cùng một hướng. Ràng buộc HMM như sau:
D: s ~ t S x S, p(ys = 0, yt = 0) = q(0, 0) và p(ys = 1, yt = 1) = q(1, 1).
Mô hình MaxEnt trong không gian C0 D theo phân phối Gibbs là:
p(y|x) = S s s s y x q x p y p ) | ( ) ( ) ( (3.2) với p(y)= 0 s t s t 0 1 s~t 1 exp ( (1 y )(1 - y ) 1 y ) ( , )( a a y ) Z a a (3.3) , Z(a0,a1) = 0 s t s t y s~t exp ( (1 y )(1 - y ) 1 y ) ( a a y ) (3.4)
Hàm Z(a0,a1) là hàm phân hoạch để đảm bảo ràng buộc thỏa mãn.
Thiết lập tham số
Đối với mô hình Baseline, có thể dễ dàng tính phân phối p(y|x), tuy nhiên với HMM cần thiết phải thiết lập hai tham số a0 và a1 để thỏa mãn ràng buộc. Vấn đề tính hai tham số này không phải là đơn giản bởi vì không thể tính được hàm phân hoạch Z.
Giải pháp thiết lập tham số thường được lựa chọn bằng cách tính xấp xỉ mẫu để có thể đạt được một công thức mà lúc đó hàm phân hoạch bị triệt tiêu (=1). Chúng ta sử dụng phương pháp lấy mẫu ảnh thỏa mãn (3.3) mà không cần tính hàm phân hoạch Z .
Thật vậy, mô hình thỏa mãn (3) được xem như là tập các ảnh y tương ứng với các ràng buộc : py(0,0) = q(0,0) và py(1,1) = q(1,1), trong đó:
(.,.) ) 0 , 0 ( ) 0 , 0 ( N Ny py (.,.) ) 1 , 1 ( ) 1 , 1 ( N Ny py (3.5)
với N(.,.) là số clique trong ảnh nhị phân y, Ny(0,0) và Ny(1,1) tương ứng là các số clique có nhãn là (0,0) và (1,1). py(0,0) và py(1,1) là các xác suất hai điểm lân cận là màu da hoặc không phải là màu da của tập mẫu. Chúng ta sẽ tìm một mô hình tương ứng ràng buộc trên và có năng lượng bé nhất; tương đương với entropy của mô hình đạt cực đại .
Bước 1: lấy mẫu trên lưới hữu hạn định nghĩa bằng (3.3), thỏa mãn ràng buộc D:
Chọn hàm năng lượng như sau:
H(y) = 2 ~ ) 0 , 0 ( ) 1 )( 1 ( (.,.) 1 t s q yt ys Ny + 2 ~ ) 1 , 1 ( (.,.) 1 t s t sy q y Ny (3.6)
Trong đó: t s yt ys Ny(.,.) ~ (1 )(1 ) 1 = py(0,0) và s t s~t 1 y y (.,.) Ny = py(1,1)
H(y) sẽ luôn không âm, khi H(y) đạt Min (= 0) chúng ta có py(0,0) =
q(0,0) và py(1,1) = q(1,1) đảm bảo thỏa mãn ràng buộc D.
Áp dụng thuật toán Metropolis lấy mẫu theo phân phối Gibbs: p(y) =
exp(-H(y)) cực tiểu hóa hàm năng lượng H(y); mô hình của chúng ta sẽ dần tiến tới bất biến.
Xét tập ảnh tuần tự y(0), y(1), …, y(n),…Tại bước thứ n, chúng ta chọn y(n)
như sau:
Xem y’ là ảnh lấy bởi các giá trị của pixel s tại y(n-1), tùy thuộc vào hàm năng lượng H(y):
1. Nếu H(y’) H(y(n-1)) thì
y(n-1) y’ 2. Nếu H(y’) H(y(n-1)) thì
y(n-1) y’ với xác suất exp(H(y)-H(y’))
y(n-1) y(n-1) với xác suất 1- exp(H(y)-H(y’))
Nếu tất cả các pixel được thăm một số lần (N) thì dãy tuần tự y(n) dần hội tụ tới một mẫu y* mà phân phối là đồng nhất trên toàn bộ ảnh, tất nhiên chúng hoàn toàn thỏa mãn ràng buộc D, hoặc có thể nói rằng toàn bộ ảnh có năng lượng bé nhất.
Bước 2, dùng một ảnh mẫu này để thiết lập tham số cho a0 và a1. Ta sử dụng đại lượng p(Ys=1|y(s)), xác suất quan sát thấy một pixel màu da khi biết tập tất cả các giá trị yt, tS; Với mô hình thỏa mãn (3.3), đại lượng này sẽ được tính theo công thức:
p(Ys=1|y(s)) =((a1a n0) (1) 4 )s a0 (3.7)
trong đó 1
( )x (1 e x)
là một hàm sigmod và ns(1) là số các lân cận của s và có nhãn là 1 (ys = 1), t~s, rõ ràng hàm này chỉ nhận 5 giá trị {0,1,2,3,4}.
Hình 3.13. Một ảnh mẫu từ tập phân phối thỏa mãn D và có năng lượng cực tiểu
Với mỗi giá trị của ns(1), giá trị p(Ys=1|y(s)) có thể thiết lập được từ ảnh mẫu, có nghĩa chúng ta phải chỉ ra 5 biểu thức tuyến tính để tính a0 và a1. Kết quả a0 3,76 và a1 3,94.
Bây giờ các tham số đã có, nhiệm vụ cuối cùng cho một ảnh màu x tìm ảnh y nhị phân, với màu trắng là da, màu đen không phải là da.
Phát hiện màu da
Với input là một ảnh màu, phát hiện màu da yêu cầu phải tính p(ys|x) là xác suất tại pixel s là màu da, output là kết quả của nhận dạng một ảnh đen trắng.
Với mô hình Baseline, chỉ cần thay ys=1, xs vào (1), có thể tính được xác suất giá trị màu xs là màu da. Đối với HMM, tính công thức (3.2) không phải là dễ dàng vì hàm Z không cố định, thay vào đó chúng ta sử dụng thuật toán lấy mẫu Gibbs, lấy dãy tuần tự mẫu sau:
với phân phối bất biến p(y|x). Sau đó tính trung bình, p(ys|x) được tính bằng: 0 ( ) 0 1 1 n j s j n y n n
Thuật toán lấy mẫu Gibbs
1. u = 0, khởi tạo ảnh nhị phân y(0) 2. for j = 0 to n – 1 do y = y(j) 3. for all s S do lấy mẫu (j 1) s y theo p(Ys = 1|y(s),x) end for 4. if j + 1 > n0 then u = u + (j 1) s y end if 5. u = u /(n – n0) Chú ý:
1. Chọn mẫu bằng cách: nếu p(Ys = 1|y(s),x) > thì ys = 1 và ngược lại chọn ys = 0.
2. Các vector u, y được định nghĩa trên lưới S và khi n ,sS, us
p(Ys=1|x) và p(Ys = 1|y(s),x) được tính như sau:
p(Ys = 1|y(s),x) = ( ) s y ( 1, | ) ( | ) s p Ys y x p y x = ( ( ; ))U x y (3.8) với ( ; ) U x y = 1 0(1 ) ln ( | 1) ( | 0) ( ) ( ) t Vs q xs Ys a yt a yt q xs Ys (3.9)
trong đó là hàm 1/(1+exp(-x)) và Vs là các lân cận của s.
Xây dựng hai mô hình Baseline và HMM để kiểm thử khả năng phát hiện màu da thì thấy, khả năng nhận dạng của HMM tốt hơn Baseline.
Hình 3.14. Ảnh bên trái: ảnh gốc, ảnh giữa: kết quả nhận dạng bằng mô hình Baseline và ảnh bên phải: kết quả của HMM
Nhận xét:
Vùng da dò ra với mô hình Baseline thường bị pha trộn với màu nền trong các hình phức tạp - mô hình Baseline không dò hết phần da trên mặt .
Kết quả của mô hình Markov ẩn gần hơn với các vùng da thực tế - bởi khả năng loang màu.
Trong một số trường hợp bị nhầm lẫn do sự giống nhau trong việc phân vùng màu da.
Hình 3.15. Phát hiện nhầm màu da
Như vậy trên đây tôi đã nghiên cứu cũng như cài đặt chương trình phát hiện chất liệu kính. Đồng thời, cũng trích chọn ra hai ứng dụng phát hiện chất liệu màu da tiêu biểu nhằm cho thấy rằng các kỹ thuật mạng nơron hay các
KẾT LUẬN
Thị giác máy là lĩnh vực quan trọng trong công nghệ thông tin vì hơn 80% thông tin con người thu nhận và xử lý hàng ngày là từ hình ảnh. Trong thị giác máy có nhiều cách tiếp cận để tiến tới mức cao nhất là hiểu được ảnh. Việc nhận ra chính xác đối tượng trong ảnh là việc làm cần thiết nhưng đôi khi chúng ta lại chỉ cần phát hiện ra đối tượng. Chẳng hạn, thay vì cần biết ai đột nhập thì ta chỉ cần biết có người đột nhập, thay vì ta cần biết có ai trong ảnh thì nhiều khi ta chỉ cần trả lời có người trong bức ảnh này không v.v..
Một trong những cách phát hiện ra đối tượng hiệu quả đã và đang được nhiều nhóm nghiên cứu chú ý đến là dựa vào chất liệu có trong đối tượng. Để phát hiện có người trong ảnh hay không người ta sẽ đi tìm xem trong ảnh có mặt người không? Để xem có mặt người trong ảnh không người ta lại dựa vào mô hình màu da hay nói cách khác là phát hiện mặt người dựa trên chất liệu da mặt. Xuất phát từ thực tế đó Luận văn nhằm tìm hiểu tổng quan về phát hiện chất liệu, các phương pháp phát hiện chất liệu và ứng dụng của chúng. Cụ thể luận văn đã đạt được các kết quả chính sau:
Trình bày tổng quan về phát hiện chất liệu trong ảnh
Hệ thống hóa các cách tiếp cận trong phát hiện chất liệu
Trình bày một số ứng dụng của việc phát hiện chất liệu theo cả 2 hướng dựa vào các đặc trưng cơ bản của chất liệu lẫn các cơ chế học để thích nghi, có khả năng tổng quát hóa.
Hướng nghiên cứu tiếp theo:
Vận dụng bài toán phát hiện chất liệu để giải quyết bài toán phát hiện đối tượng chuyển động trong vấn đề giám sát giao thông. Đây là vấn đề hết sức cấp bách cho mỗi quốc gia, đặc biệt là trong điều kiện Việt Nam khi mà tai nạn giao thông ngày một gia tăng.
TÀI LIỆU THAM KHẢO
[1] Nguyễn Thanh Thủy, “Nhập môn xử lý ảnh số”, Trường Đại học Bách khoa Hà Nội.
[2] Arnold W. . Smeulders, Senior Member, IEEE, Marcel Worring, Simone Santini, Member, IEEE, Amarnath Grupta, Member, IEEE, and Ramaesh Jain, Fellow, IEEE, “Content –based Image Retrieval at the End of the Early Years”, IEEE Transaction on Pattern analysis and Machine Intelligence, vol 22. No. 12, December 2000.
[3] C. Faloutsos, W. Equitz, M. Flickner, W. Nibliack, D. Petkovic, and R. Barber, (1994), “ Efficient and effective qurerying by image content”, In Journal of Intelligent Information Systems, pages 231-262.
[4] Dr. Fuhui Long, Dr. Hongjiang and Prof. David Dagan Feng, “
Fundamentals of content – based Image Retrieval”.
[5] Dejan Depalov, Thrasyvoulos Pappas , Dongge Li, Bhavan Gandhi, “Perceptually Based Techniquis for Semantic Image Classification and Retrieval”, Elecrical and Computer Engineering, Northwestern University.
[6] Eva M. Van Rikxoort, (2005), “Content-based Image Retrieval Utilizing Color, Texture, and Shape”, Master’s thesis in AI Radbound University Nijmegen The Netherlands.
[7] Jamie Slater, “Content Based Retrieval of Image”, Department of Electronics and computer Science, University of Southampton, southaampton SO 17 1BJ, UK.
[8] J.Y. Hardeberg. (1999) “Color management: Principles and solutions”. NORSIGnalet, Norwegian Sign Proceesing Society, (3). [9] J. Laurie Snell, R. Kinderman. Markov Random Fields and Their
Applications.
[10] Huicheng Zheng, Mohamed Daoudi, Bruno Jedynak. “Statictical Models for Skin Detection ”, University of Lille 1 or www.poesia- filter.org
[11] K. Shih, Y. Huang, C. Hung, C. Hokao (2000), “An Intelligence Content-based Image Retrieval System based on color, shape and spatial relation”.
[12] Michael J.Jones and James M.Rehg. “Staticstical Color Models with Applications to Skin Detection”, Cambridge Research Laboratory. Trang 1-33.
[12] Linda Shapiro-The University of Washington & George Stockman,
“Computer Vision”, Department of Computer Science-Michigan State University, Mar 2000.
[13] Mario A. Nascimento & Vishal Chitkara, (2002), “ Color – Based Image Retrieval Using Binary Signatures”, ACM, Dept. of Computing Science, Univ. of Alberta, Canada,
[14] Martin T. Hagan-Oklahoma State University & Howard B. Demuth,
Neural Network Design, University of Idaho, PWS Publishing Company.
[15] M. Partio, B. Cramariuc, M. Gabbouj, and A. Visa (2002), “Rock Texture Retrieval using Gray Level Co-occurrence Matrix”, NORSIG-
2002, 5th Nordic Signal processing Symposium, On Board Hurtigruten M/S Trollfjord, Norway.
[16] Peter Peer & Franc Solina, “Human Skin Colour Clustering for Face Detection”, University of Ljubljana, Faculty of Computer and Information Sciences.
[17] Palaniraja Sivakumar (2004), “Image Similarity Based on Color and Texture”, Report for CIS751 MS Project.
[18] Shengjui Wang, “A Robust CBIR Approach Using Local Color Histogram”, University of Alberta, Technical Report TR 01-03, October 2001.
[19] Richard O. Duda, Peter E. Hard, David G. Stork, “Pattern Classification”, Secod Edition.
[10] Rowe D. B. Multivariate Bayesian Statistics, (2003)“ Models for Soures Separating and Signal Unmixing”, Chapman & Hall/CRC, London.
[21] Vladimir Vezhnevets, Vassili Sazonov, Alla Andreeve, “A Survey on Pixel –Based Skin Color Detection Techniques”, Graphic and Media
Laboratory , Faculty of Computational Mathematics and
Cybernetic,Moscow State University, Moscow, Russia.
[22] Y. Wu, S. Zhu, and X. Liu. (2000), “Equivalence of julesz ensemble and frame models”, International Journal of Computer Vision: 247-265.
[23] Z. Partio, B. Cramarius, M. Gabbouj, (2004), “Texture Retrieval Using Ordinal Co-occurence Features”, Tampere University of Technology Institute of Signal Processing, Tampere, Finland.