Nghiên cứu giải thuật chromakey

Lời cảm ơn Tôi xin chân thành gửi lời cảm ơn sâu sắc với PGS – TS Lê Tiến Thường, người tận tình hướng dẫn, bảo giúp đỡ tơi suốt q trình thực luận văn Xin chân thành cảm ơn tất ñồng nghiệp tận tình giúp đỡ, hỗ trợ tơi trình thu thập kiến thức kinh nghiệm cần thiết để hồn thành tốt luận văn Và nhân tơi xin gửi lời cảm ơn gia đình tất bạn bè thân thuộc hết lịng cổ vũ, động viên tinh thần tơi suốt q trình thực luận văn Tóm tắt Trong lĩnh vực truyền hình ngày nay, kỹ thuật Chromakey số kỹ thuật then chốt giữ vai trò quan trọng quy trình sản xuất chương trình truyền hình Nắm bắt hiểu rõ kỹ thuật giúp ta tận dụng phát huy tối đa tính thiết bị để ln đảm bảo chất lượng chương trình hồn hảo ðồng thời ñây sở tảng ñể cải tiến giải thuật có phát triển giải thuật Hiện nay, có nhiều giải thuật Chromakey ñược phát triển như: giải thuật Vlahos, giải thuật Smith Blinn, giải thuật Knockout, giải thuật Ruzon Tomasi, … gần ñây giải thuật Bayesian Nhưng thân giải thuật tồn ưu khuyết điểm Do phạm vi luận văn này, mục tiêu tìm hiểu, mơ q trình thực kỹ thuật Chromakey dựa sở việc áp dụng giải thuật Knockout ñề số cải tiến dựa giải thuật Knockout ñể ñạt ñược u cầu: đảm bảo tốc độ tính tốn cải thiện chất lượng đường biên Phần thực nghiệm mơ thuật tốn thực ngơn ngữ Matlab thử nghiệm máy tính Abstract In television technology nowaday, chromakey is one of the key techniques playing an important roll in the process of producing program Understanding and mastering this technique helps us take full advantages of device’s properties in order to maintain the best quality of programs Besides, this is the foundation to improve the existing algorithms and to invent new algorithms There are many chromakey algorithms such as: Vlahos, Smith and Blinn, Knockout, Ruzon and Tomasi, … and the latest Bayesian But every algorithm exist its advantages as well as disadvantages So, this thesis is mainly concentrated on mastering, simulating the chromakey process based on the Knockout algorithm, and finally proposed some algorithm promotions in order to satisfy demands such as: computation speed, improving the quality of the edges The algorithm’s simulation program will be written in Matlab and testing on computer Mục lục Phần I : Giới thiệu chung Phần II : Cơ sở lý thuyết Không gian màu 1.1 Giới thiệu chung 1.2 Các mơ hình khơng gian màu 10 1.2.1 Không gian màu RGB 12 1.2.2 Không gian màu HSI 13 1.2.3 Không gian màu XYZ 14 1.2.4 Không gian màu CIELAB 15 1.2.5 Không gian màu CIELUV 16 1.2.6 Không gian rgb 17 1.2.7 Không gian màu l1l2l3 17 1.2.8 Không gian màu h1h2h3 18 ðo ñộ tương quan màu 19 2.1 Giới thiệu chung 19 2.2 Ví dụ mẫu 19 2.3 Khoảng cách Euclide 20 2.4 Góc vector 22 2.5 Kết hợp phương pháp ño khoảng cách 24 2.5.1 Kết hợp dựa độ chói 24 2.5.2 Kết hợp dựa độ bão hồ 25 2.6 Kết luận 25 Nhận dạng biên ảnh màu 26 3.1 Giới thiệu chung 26 3.2 Kỹ thuật nhận dạng dựa mức xám 26 3.3 Nhận dạng ảnh dựa màu sắc - Lý thuyết tổng quát 28 3.4 Giải thuật nhận dạng biên dựa màu sắc 29 3.4.1 Bộ nhận dạng biên Roberts bổ sung 29 3.4.2 Bộ nhận dạng biên Sobel 30 3.4.3 Bộ nhận dạng cạnh biên dựa ñộ dốc vector 30 3.4.4 Bộ nhận dạng biên dựa vector chênh lệch 3x3 31 3.5 Mức ngưỡng cạnh biên 32 3.6 Kết luận 32 Kỹ thuật ChromaKey 33 4.1 Giới thiệu chung 33 4.2 Mơ hình toán lồng ảnh 33 4.3 Giải thuật Smith Blinn 37 4.4 Giải thuật Knockout 43 4.5 Giải thuật Ruzon - Tomasi 43 4.6 Giải thuật Hillman 45 Phần III: Nội dung thực kết 46 Giới thiệu chung quy trình thực kỹ thuật Chromakey 46 Nội dung thực mô 47 Giải thuật cải tiến 53 3.1 Nhận xét giải thuật Knockout 53 3.2 Giải thuật cải tiến 54 ðánh giá tỉ số tín hiệu nhiễu (SNR) 60 4.1 ðánh giá tỷ số SNR với giải thuật Knockout 60 4.2 ðánh giá tỷ số SNR giải thuật cải tiến 61 Kết mô 63 Nhận xét kết mô 67 Phần IV: Kết luận phương hướng phát triển 70 Kết luận 70 Phương hướng phát triển 70 Phần V: Tài liệu tham khảo 73 Phần VI: Lý lịch trích ngang 75 Phần VII: Phụ lục 76 Nghiên cứu kỹ thuật Chromakey GVHD: PGS-TS Lê Tiến Thường Phần I : GIỚI THIỆU CHUNG Cùng với phát triển vượt bậc khoa học kỹ thuật ñại ngày nay, ngành truyền hình có nhiều thay đổi Nhiều cơng nghệ truyền hình phát minh đem lại cho thành bất ngờ Một số cơng nghệ tiên tiến góp phần lớn thay ñổi mặt ngành truyền hình cơng nghệ phim trường ảo Trong công nghệ này, diễn viên diễn xuất trước camera phim trường đặc biệt phủ tồn lớp mang màu ñơn sắc Lớp màu ñược chọn thường màu xanh dương xanh Sau cảnh đơn sắc ñược tách thay cảnh khác tùy theo yêu cầu kịch Sự ñời công nghệ ñã làm thay ñổi sâu sắc đến phương thức thể ngành truyền hình Nó góp phần làm phong phú khả thể hiện, giảm thiểu thời gian chi phí thực chương trình, quan trọng mang lại hiệu thể xuất sắc cho khán cảnh bay lượn ngoạn mục diễn viên không gian, hay tin dự báo thời tiết với biểu ñồ minh hoạ linh hoạt … Trong cơng nghệ này, kỹ thuật thực gọi kỹ thuật Chromakey Kỹ thuật có nhiệm vụ lọc bỏ lớp ñơn sắc phim trường, giữ lại ñối tượng tiền cảnh diễn viên, ñạo cụ … sau ñó lồng ñối tượng tiền cảnh vào phông mà ta mong muốn Hiện có nhiều giải thuật thực kỹ thuật Chromakey ñã ñược phát triển Một số giải thuật ñã ñược phát triển ñược ứng dụng rộng rãi giải thuật Knockout hãng Ultimatte phát minh Trong giải thuật này, ảnh ñược phân làm ba vùng : vùng nền, vùng tiền cảnh, vùng không xác ñịnh vùng giáp ranh vùng vùng tiền cảnh Sau pixel vùng khơng xác định tính tốn để xác định giá trị alpha điểm Trong luận văn này, ta khảo sát bước quy trình thực kỹ thuật chromakey yếu tố ảnh hưởng đến quy trình này, sau ta rút số HVTH: Lê Hồng Phúc -7- Nghiên cứu kỹ thuật Chromakey GVHD: PGS-TS Lê Tiến Thường quy tắc để tối ưu hố quy trình Cuối ta ñề xuất số biện pháp cải tiến giải thuật Knockout HVTH: Lê Hồng Phúc -8- Nghiên cứu kỹ thuật Chromakey GVHD: PGS-TS Lê Tiến Thường Phần II : CƠ SỞ LÝ THUYẾT KHÔNG GIAN MÀU 1.1 Giới thiệu chung Theo [1] [2], mắt người nhận dạng màu sắc kết việc phản chiếu ánh sáng vùng nhìn thấy quang phổ ( có bước sóng từ 400 – 700 nm) lên võng mạc người Do màu sắc phản ánh não người kích thích thị giác Võng mạc mắt người có ba loại tế bào hình chóp, loại đáp ứng với vùng phổ ánh sáng có tần số khác dải tần số quang phổ Ba vùng phổ tương ứng với ba màu ñỏ, xanh xanh dương ánh sáng thấy Tử ngoại Tím 380 Lam 435 Lơ 485 495 Lục Vàng 560 585 Cam 610 ðỏ Hồng ngoại 780 λ,nm Hình 1: Bước sóng màu phổ màu Theo [2] với màu bất kỳ, tính chất màu cảm thụ màu mắt người, ñược ñịnh mức ñộ kích thích tế bào hình chóp Giá trị tổng lượng kích thích cho ba tế bào cho ta cảm giác ñộ sáng, tỉ lệ chúng tạo cảm giác tính màu Do đó, với màu bất kỳ, thơng số đặc trưng cho màu sắc là: độ chói (luminance), sắc màu (chrominance) độ bão hồ màu (saturation) ðộ chói (luminance): đại lượng mức độ sáng màu sắc Khi ta thay ñổi cường ñộ nguồn chiếu sáng độ chói màu thay đổi Sắc màu (chrominance): đại lượng tính chất màu sắc Sắc màu phụ thuộc vào bước sóng trội phổ phân bố lượng xạ ánh sáng HVTH: Lê Hồng Phúc -9- Nghiên cứu kỹ thuật Chromakey GVHD: PGS-TS Lê Tiến Thường ðộ bão hồ màu (saturation): đại lượng mức độ đậm nhạt màu sắc Màu chứa nhiều ánh sáng trắng, độ bão hồ màu thấp Màu quang phổ có độ bão hồ màu lớn nhất, cịn màu trung hồ (xám, trắng) có độ bão hồ màu nhỏ Một không gian màu phương pháp mô tả giúp ta hình dung, định vị tái tạo màu thực tế Với người, màu sắc biểu diễn qua thuộc tính: độ chói, sắc màu, độ tinh khiết màu Với máy tính, màu thường mơ tả thơng qua hàm lượng màu bản: ñỏ, xanh lá, xanh dương Do đó, màu thường mơ tả khơng gian ba chiều thông số màu giúp xác định vị trí màu khơng gian màu mà ta sử dụng 1.2 Các mơ hình khơng gian màu Theo [1] màu sắc tượng nhận thức, khơng phải đối tượng thành phần đặc tính vật chất Màu sắc khía cạnh thị giác; ñáp ứng hỗn hợp tâm lý vật lý, bao gồm ñáp ứng vật lý mắt ñáp ứng diễn giải tự ñộng não người đặc tính bước sóng ánh sáng ánh sáng vượt q ngưỡng mức độ chói Ở ngưỡng mức độ chói thấp hơn, mắt nhạy cảm với thay ñổi cường ñộ ánh sáng khơng thể phân biệt thay đổi màu sắc Có nhiều cách để thể màu sắc Cách thơng dụng đồ hoạ máy tính sử dụng gồm ba giá trị có tính chất biểu thị độ tập trung Bất kỳ tổ hợp cùa ba cho màu phân biệt Một không gian ba chiều biểu diễn phân bố vật lý màu sắc ñược gọi không gian màu Các vector màu không gian khác Sự khác có nghĩa hai màu khác khơng gian biểu diễn khoảng cách khơng gian biểu diễn khoảng cách khác không gian khác Một màu ñược biểu diễn không gian ñược biểu diễn cách khác không gian khác thông qua phép biến đổi tuyến tính HVTH: Lê Hồng Phúc - 10 - Nghiên cứu kỹ thuật Chromakey GVHD: PGS-TS Lê Tiến Thường maxR=0;maxG=0;maxB=0; minR=255;minG=255;minB=255; Update_Background(); global Halpha Hregion alpha_matrix region figure(Halpha); imshow(alpha_matrix,[0 255], 'InitialMagnification', 'fit'); title('Alpha Channel'); impixelinfo; figure(Hregion); imshow(region,[0 255], 'InitialMagnification', 'fit'); title('Region Partition'); impixelinfo; % end of BgIsub_Callback end function Update_Background() global max maxE minE Hstatus % xuat ket qua status global height width rgb_matrix alpha_matrix region Hfigure Hedit global maxR maxG maxB minR minG minB HVTH: Lê Hồng Phúc - 116 - Nghiên cứu kỹ thuật Chromakey GVHD: PGS-TS Lê Tiến Thường pixel = zeros(1,3); % khoi dong mang chua pixel for i=1:height for j=1:width % chuyen tu RGB -> HSI pixel(1)= rgb_matrix(i,j,1); pixel(2)= rgb_matrix(i,j,2); pixel(3)= rgb_matrix(i,j,3); Int = round((pixel(1)+pixel(2)+pixel(3))/3); % if ((Int