Luận văn thạc sĩ Kỹ thuật điện tử: Thiết kế hệ thống Chroma-key sử dụng phương pháp Robust Matting

Từ những ly do thực tế đó, trong thời gian khóa học Thạc sĩ Kỹ thuật điện tửtôi đã quyết định chọn thực hiện dé tài: “Thiết kế hệ thong Chroma-key sử dụngphương pháp ROBUST MATTING?” nhằ

Chuyên ngành: Kỹ Thuật Điện TửMã số: 60 52 70

i rẬN VAN THẠC SI

(Ghi rõ ho, tên, học hàm, học vi và chữ ký)Cán bộ cham nhận xét 1: PGS.TS Dang Thanh Tín

(Ghi rõ ho, tên, học hàm, học vi và chữ ký)

Cán bộ cham nhận xét 2: TS Đỗ Hồng Tuấn

(Ghi rõ ho, tên, học hàm, học vi và chữ ký)

Luận văn thạc sĩ được bảo vệ tại Trường Dai học Bách Khoa, DHQGTp.HCM ngày 30 thang 12 năm 2013

Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm:(Ghi rõ ho, tên, học hàm, học vi của Hội đồng cham bảo vệ luận văn thạc sĩ)1 Chủ tịch hội đồng: TS Hà Hoang Kha

2 Thu ký hội đồng: TS.Vũ Phan Tú3 Ủy viên phản biện 1: PGS.TS Dang Thanh Tín4 Ủy viên phản biện 2: TS Đỗ Hồng Tuan5 Ủy viên hội đồng: TS Trương Quang VinhXác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyênngành sau khi luận văn đã được sửa chữa.

`eÚ Tre eÔlIĐỎ TRUONG KHOA DIE DIE U

e E sUirẬN VĂN THẠ' SĨHọ tên học viên: NGUYÊN NGỌC TÀI MSHV: 12140039Ngày, tháng, năm sinh: 20/08/1989 Nơi sinh: Bình ĐịnhChuyên ngành: Kỹ Thuật Điện Tử Mã số : 60 52 70I TÊN DE e E hEeE eO `eo hbv pU aUPHUONG PHAP ROBUST MATTING

Ke E sUs QA ecccccsccscsscssesscssesseescssesscssessessessessessessessessececseesecaeens

Kv e Es U (Ghitheo trong QD giao dé tài) sk ve e e se Ệ sU (Ghi theo trong QD giao dé tài) .sK OHUO aA (Ghi rõ học hàm, học vị, họ, tên) - s55:

Tp HCM, ngay tháng năm 2013OHUO a `eÚ e E OQOMONDAOTA(Ho tên va chữ ky) (Họ tên va chữ ky)

>

TRUONG KHOA ĐIỆN DIE =U

(Họ tên va chữ ky)

iO ` AMON

Sau một thoi gian thực hiện, luận văn “T HIET KE HE THONG KEY SỬ DUNG PHƯƠNG PHAP ROBUST MATTING” đã được hoàn thành.Ngoài sự cô gắng của bản thân, tôi đã nhận được sự động viên rất lớn từ gia đình,

CHROMA-thây cô và bạn bè.Trước hết con xin cảm ơn ba mẹ vì đã tạo điều kiện và động viên con rất lớnđề hoàn thành luận văn tốt nghiệp này

Tôi xin bay tỏ lòng biết ơn sâu sắc đến quỷ thay cô trường Dai Học BáchKhoa TP Hồ Chi Minh, những người đã truyền dat cho tôi những kiến thức quỷ bautrong suốt khóa học cao học tai truong

Xin gửi lời cam on chân thành nhất đến Tién sĩ Trương Quang Vinh, người đãtận tình diu dat và giúp dé em trong quá trình làm luận văn tốt nghiệp Em xin chânthành cảm ơn những kiến thức, những ý kiến, những lời góp ý sâu sắc của thay đãdành cho em.

Tôi cũng chán thành cảm ơn các bạn học viên, sinh viên làm việc tại phòngLab IC Design 116/B1 đã nhiệt tình giúp đỡ tôi trong suốt quá trình thực hiện luậnvan.

Xin cám ơn tat ca những ban bè đã và dang động viên, giúp đỡ tôi trong quảtrình học tap và hoàn thành luận văn nay.

TP Hồ Chí Minh, 24/11/2013

Học viên

é 0 a

A

Chroma-key là một kỹ thuật xử ly anh mạnh và quan trọng đang được sử dungrộng rãi trong các lĩnh vực giải trí như sản xuất phim ảnh, bìa tạp chí, công nghiệpgame hay các chương trình truyền hình Détais # € ệ 6 ` h

ir ung phương pháp robust matting” được đặt ra nhằm thiết kế một hệ thốngChroma-Key đáp ứng các yêu câu của các lĩnh vực trên Luận văn này tìm hiểu vềkỹ thuật Chroma-key, các van dé liên quan, cải tiến các thuật toán đang có và thiếtkế một lõi IP cho Chroma-key trong thời gian thực Đầu tiên, một vài phương phápphố biến thực thi hiệu ứng Chroma-key đã được khảo sát và phân tích một cách chỉtiết Dựa trên kết quả này, luận văn trình bay dé xuất giải thuật kết hợp và cải tiễncác giải thuật cho phù hợp với thiết kế phần cứng thời gian thực Từ những giảithuật cải tiến này, luận văn thiết kế một lõi IP cho Chroma-key, sử dụng phươngpháp “K-Means kết hợp Robust matting” để đạt được độ chính xác cao trong quátrình tách đối tượng Cấu trúc phần cứng của lõi IP sử dụng chuẩn giao tiếp Avalon-ST và cấu trúc đường ống (pipeline) dé xử lý thời gian thực Thiết kế đã được thửnghiệm trên kit Bitec Cyclone III Kết quả thực nghiệm cho thay thiết kế có thé thựcthi hiệu ứng Chroma-key tương đối tốt trong thời gian thực

p oOChroma-key is a robust and important technique for processing image or videothat is widely used in cinema films, magazine covers, video game industries as wellas television programs such as weather forecast, live talk show, ect This thesispresents study of Chroma-key method and FPGA implementation of an IP Core forChroma-key effect in real-time Some common and popular Chroma-key methodsare surveyed and analyzed Based on those surveys and analysises, we propose analgorithm which is suitable for hardware design The thesis designs a Chroma _ KeyIP Core using K-Means and Robust matting which can achieve high accuracy inclustering The architecture of the IP core use Avalon-ST standard and full pipelinestructure for realtime processing This design demonstrates the Chroma-key effectin real-time on the Bitec Cyclone III board Experimental results show that theproposed design can perform Chroma-key effect with pleasing quality in real-time.

uU iv

CHUONG I: TONG QUAN VE DE TAL viceccccccccscccccscssssssescsssscssssscsesescscscssesesssnssscsssesensssseseansaes 131.1 GiGi thi@u G6 tai eee eesseesseesneeseesseesueesnesseesseesuesnsesusecseessesusesueeseesueesuessnetueesneanecneenstenees 13

1.2 Tinh hình nghiÊn CỨU - E5 E311 SH HH nh 14

1.3 Tính cấp thiết của để tài : tà 2x3 2911121112111 1171111111111 141.4 Mục tiêu và giới hạn để tài ¿6 St 2v RE E211 2111171111111111 1.1.1 151.5 BG cục luận văn - -c-cck tt S K1 TS Ex K1 S HH T11 11 11111111 11111111 11111111111 TH TH ru 15CHƯƠNG II: CƠ SỞ LÝ THUYÊT 5+ tt kh HH ru 162.1 Các khái niệm về Chrorma-K y -¿- 5S S223 S*2xE SE EEEE 2391112111111 xrrkg 16

2.2 Các bước cài đặt cho hiệu ứng Chromac-key - - 5 6< c1 11111111 1v vn ve 172.3 Các khái niệm sử dụng trong giải thuật Chroma-EK©y - c1 18

2.3.1 Mặt na (Mask), tiền cảnh (object) và hậu cảnh (background) của khung anh gốc

2.4.4 Phương pháp Chroma-key dựa trên K-means kết hợp với robust matting [13] 28CHUONG III: THIẾT KE GIẢI THUẬT CHROMACKEY c5 c5cccccsrcrrrrrrrsrrerrree 31

3.1 Hệ màu sử dụng trong giải tUẬT - - 5c c1 1111 111v HH HH ng 31

3.2 Cau trúc của giải thuật ¿- 6: 5655522 +ExExEEEEEEEEEEEEEE21111711T111.111111.11 1x1 32

3.2.1 Khởi tạo các giá tri tin cậy của background và foreground - « «+ «<< «x52 32

3.2.2 Sử dụng K-Means và các hệ số tin cậy để tạo trimap ¿-¿- - ¿5+ 5s cs+csrzrzxzed 34

3.2.3 Phân biệt các background va foreground pixel thuộc vùng unknown - 38

CHƯƠNG IV: THIẾT KE VA TONG HOP LOI IP CHROMA-KEY .-cccccscccscseei 404.1 Chuẩn giao tiếp AValon-ST c.c.ccscscsscscssssessssescesssesssssscesssessessssessssseessssssesssessesssessssseessssessssaess 404.2 Thiết kế lõi IP Chroma-Key sử dụng chuẩn giao tiếp Avalon-STT . ¿-scscscssec: 444.2.1 Thiết kế khối Chroma COTe +5 ¿56 E+S£SE+E£E£E+EEEEEEEEEEEEESEEEErEerxrrrrerkrsrrrrrrree 464.2.2 Thiết kế khối Chroma Blending ¿52555 S22E+EEEE+EvEEEEEEEEErxeEerrkrrerkrsrrrrxrree 51CHƯƠNG V: KET QUA THUC HIEN - 5-5: 5S SE ESE‡E‡EEEEEEEEEEEEEEEEEk xxx rườt 535.1 Kết quả thực hiện giải thuật Chroma-Key - ¿6-5252 S++x‡EvEE‡EEzxeEerxrrrrrxrsrrrrxrree 535.2 Kết quả tổng hợp lõi IP Chroma Key ¿- 55s E‡x#EEEEEEEErkererrrkrrrrkrrrrrrkrree 575.2.1 Kết quả mô phỏng sử dụng Modelsim - 6-5: 55 5£ S*+S‡E‡E+EExrveErrxrrrrersrrrrrrrd 57

5.2.2 Kết qua tổng hop IP Chroma Key ccccccssssssssscssssesesssssscssseesssssssssseesssssesssssseessssssessseeeess 595.3 Kết quả nghiên cứu khoa hOC c.cscssssesssssssssesessssssessssesscsssessssesvesssesssssssescsssesssssssssssesssesseescaes 61CHUONG VI: KẾT LUẬN VA HƯỚNG PHAT TRIẾN c-cccccsrerrirriirrirrrirrriree 62W8‹{5):-:.VCađaẳầđađa 626.2 Hướng phát triển của để tài - 5+ + s1 E551215151111111111 12121 1E TH HH HH ng ng 62

a ep eeeeoedAe

Hình 1.1: Ung dụng của hiệu ứng Chroma-key trong một chương trình TÍvi s55: 13

Hình 2.1: Minh họa hiệu ứng Chroma Key L2 1 122201111 112211 1111811111181 1111551 ke 16

Hình 2.2: Các bước cài dat cho một hệ thống Chroma-Key -.- C22 221212222 111122111 xey 17Hình 2.3: Ví dụ cài dat cho một hệ thống Chroma-K€y 2.00122221111112 1 111152 1111k rey 18Hình 2.4: Kết quả thực hiện phương pháp Chroma-key của Thilina 0.00.c.cccccceecsceeseeeeeeeeseeeeees 21Hình 2.5: Lưu dé thực hiện phương pháp Chroma-key sử dung giải thuật K-means 23Hình 2.6: Kết quả thực hiện phương pháp Chroma-key dùng giải thuật K-means 25Hình 2.7: Luu đồ phương pháp Chroma-key dựa trên K-means của Kardi Teknomo 26Hình 2.8: Kết quả hiện thực phương pháp Chroma-key dựa trên K-means của Kardi Teknomo 28Hình 2.9: Lưu dé giải thuật Robust Matfing - S11 112212111 1E 12H nga nA 29Hình 2.10: Kết quả thực nghiệm phương pháp Chroma-key dé nghị bởi Zhenyi Luo 30Hình 3.1: Ví dụ về hình gốc cần xử lý của Chroma-Key is 22s ct 3312181212122 EEE.Errte 32Hình 3.2: Tương quan màu sắc và giá tri Cr, CD + s2 2121111 181211222 12111 te 33Hình 3.3: Ví dụ về trimap s1 12111 1251211121511 1111 122 E HH H HH t gu tru no 34Hình 3.4: Kết quả sau khi tính trimap - - + 1c St 12EE2111E1112121111 1221122112 t ra 37Hình 4.1: Giao tiếp Avalon-ST s11 15121111211112122 11 11112111 ng nga 40Hình 4.2: Tín hiệu sử dụng trong giao tiếp Avalon-ST ss s22 tre 43Hình 4.3: Sơ đô khối tổng quát của IP Chroma-Key + s S221 1E2EEE1211121512E2E.EEEEEt.rrtre 44Hình 4.4: Các khói chính của bộ Chroma Key_ĨP Sc s2 SE1E1212E251112151 1E tre 46Hình 4.5: Cau trúc của khối Chroma Core c.ccccccccccsccsssescsscsvsesvsesevsvsveeevevsvsvsisecevevevstssevevsvseeevens 46Hình 4.6: Cau trúc của khối Chroma ProcessSing is: 2s St 3E 5E1112151251112151 1212 re 47Hình 4.7: Cau trúc của khối Key Selection cccccccccccsescsecessvsesesesesvscsesevsvsvssececevsvsnssevevsvseseeees 48Hình 4.8: Cau trúc của khối Segmentation 2-2111 11215111111221111 11522 .trrrrrrrrte 49Hình 4.9: Cấu trúc của khối Unknown Processing c.cccccccsscscsesessesesvsesecsesvesecevevevstsseveveveeseeens 50Hình 4.10: Cấu trúc của khối Chroma Blending + 22111 1EEE5E111212E251112151 1 1E reo 51Hình 4.11: Cấu trúc của khối Chroma Blending Processing 0.0.ccccccccccsscsssssesessesvstsesseevsveteeees 51Hình 5.1: Kết quả thực hiện giải thuật Chroma-Key 1-52 1t E2 2112111121121 1 re 55Hình 5.2: Giá trị tín hiệu vào và ra dau tiên của khối (mask(1,1)=0) oe ceeececceeseeeseeseeeeeeeeeeees 57Hình 5.3: Khởi tao giá trị F11 và B11 của khối 5s s2 122111 181211222 1211 rrrrue 58

Hình 5.4: Các tín hiệu WR_F, WR_B, và WR_A của trimap - 2 c1 222222 1222221111 key 58

Hình 5.5: Pixel dang xét ở ngõ ra là pixel thuộc vùng tiền cảnh (mask =]) -s-cccccczcse2 59Hình 5.6: Kết quả tổng hop IP Chroma Key ccccccccccssssscsscsvsvsveesevsvsvessecevsvsvseecevevsvsnssevevsveeseeees 59Hình 5.7: Tần số hoạt động của hệ thống ¬ 60

a epee aA

BANG I PHAN BIET BACKGROUND BLUE VA GREEN 2 2n 1 121 1212111111511 xe 33BANG II SO SANH CÁC GIA TRI KHOANG CÁCH 1 2212121 1E221112151 2E tre 35BANG III TÍNH TOÁN 5 MUC CUA GIA TRI GAMMA 5 22c 2222212121222 treo 37BANG IV TÍNH TOÁN GIA TRI F VÀ B TRONG MA TRAN Š5X5 2 2n S22 1 1222 s 38BANG V SO SANH 2 KHOẢNG CÁCH TỪ UNKNOWN PIXEL DEN FOREGROUND VA

BACKGROUND 2S 1n 2E HH HH Hà HH HH HH HH HH HH HH tru no 39

BANG VI TÍN HIEU KHOI CHROMA KEY IP - c1 SE 1E1112115221112151 2E rrrrrtre 44BANG VII ĐÁNH GIA CHAT LƯỢNG VIDEO THEO TRỰC QUAN -.S SE sec: 56BANG VIII BANG TONG HỢP CAC THONG SO CUA HE THONG VA SO SÁNH VỚI [19]

¬ 59

a e© U ` ` U UskE

m` Intellectual Property Core

= Thông tin và Truyền thông= Background

CHƯƠNGI:TỎ nr sEDE

NN #á #udé aNgày nay, khoa học, kỹ thuật cũng như nghệ thuật thường kết hop với nhau dégiúp cho các sản phẩm nghệ thuật tốt hơn, nhưng giảm được giá thành sản xuất.Trong ngành công nghiệp điện ảnh, nhiều kỹ thuật được ứng dụng để tạo ra các hiệuứng đẹp mắt và tiết kiệm đáng ké chi phí sản xuất

Kĩ thuật Chroma-key là kĩ thuật hữu dụng và được dùng phô bién trong nhiềustudio hiện đại, cũng như trong các hệ thống ti VI

Hình 1.1: Ung dụng của hiệu ứng Chroma-key trong một chương trình Tivi.Kỹ thuật Chroma-key là một công cụ mạnh và quan trọng trong lĩnh vực phimảnh, tạp chí, công nghiệp game Ngày nay, các phần mềm hoặc thiết bị Chroma-keyđược phát triển và dùng rộng rãi ở nhiều đài truyền hình lớn như CNN, NHK,Bloomberg, cũng như trung tâm điện ảnh Hollywood.

Tại Việt Nam, nhiều đài truyền hình đã dùng thiết bị Chroma-key để sản xuấtcác chương trình của mình như bản tin, dự báo thời tiết, talkshow, phim ảnh Tuynhiên, giá thành của các thiết bị Chroma-key này rất đắt tiền.Vì thế, luận văn nàymuốn thiết kế một lõi IP Chroma-key có thể được ứng dụng cho các hệ thống truyền

Từ những ly do thực tế đó, trong thời gian khóa học Thạc sĩ Kỹ thuật điện tửtôi đã quyết định chọn thực hiện dé tài: “Thiết kế hệ thong Chroma-key sử dụngphương pháp ROBUST MATTING?” nhằm góp phan vào việc nghiên cứu trong lĩnhvực này tại Việt Nam.

Mục tiêu khi thực hiện dé tài này là thiết kế thành công một lõi [P Chroma-keycó thể ứng dụng trong các hệ thống tỉ vi, trong lĩnh vực phim ảnh và trong cácstudio chuyên nghiệp Kết qua sẽ được kiểm nghiệm trên KIT Cyclone II củaAltera.

NO a ow

Hiện nay, các nghiên cứu trong nước về giải thuật chroma-key còn rat han chế,chỉ ở dạng giới thiệu công nghệ Vào năm 1995, tác giả Trần Đình Khôi đã giớithiệu “Kỹ thuật mới trong xử lý hình anh picture in picture” trong tap chí Điện Tửva Tin Học [1] Năm 2006, tác gia Truong Thi Thủy đã giới thiệu “Công nghệStudio ảo” trong tạp chí Khoa học Kỹ thuật truyền hình [2] Những bai báo nay chigiới thiệu sơ lược về kỹ thuật Chroma-key mà không có nghiên cứu về thực hiệngiải thuật.

Các công trình nghiên cứu của nước ngoài liên quan đến đề tài như: phươngpháp của Thilina, phương pháp Chroma-key su dụng giải thuật K-means, phươngpháp Chroma-key dựa trên K-means của Kardi Teknomo, Phương pháp Chroma-key dựa trên K-means kết hợp với robust matting Tuy nhiên các phương pháp nàychỉ giới hạn thực hiện như một ứng dụng xử lý hiệu ứng Chroma-Key trên máy tính,chưa thé đáp ứng yêu cau xử lý thời gian thực

NP 4 # ủadề 4

Theo Bộ Thông tin và Truyền thông (TT-TT) [3], cả nước hiện nay có 67 đàiphát thanh và truyền hình, trong đó tổng số lượng kênh chương trình truyền hình lêntới gần 200 kênh Riêng tại đài truyền hình Tp Hồ Chí Minh (HTV), số lượng kênhđược sản xuất đã lên đến 7 kênh, bao gồm HTVI, HTV2, HTV3, HTV4, HTVC,HTV7, HTV9 [4] Với số lượng kênh chương trình ngày càng tăng, nhu câu về thiếtbị phim trường càng tăng cao.

Để tạo ra các bản tin thời tiết, thời su, phỏng van, các phim trường cần thiết bịkey để tạo ra các hiệu ứng như ghép phông nên, tạo lớp chữ thông báo, tạo biểutượng của dai Các thiết bị key mà các đài truyền hình đang sử dụng hiện nay hoantoàn nhập khẩu từ nước ngoài Các sản phẩm về thiết bị video key tiêu biểu nhưSony, Panasonic, TV One, Kayak (Glass Valley) được mô tả trong bảng 1 Các thiếtbị ngoại nhập có chất lượng tốt, tuy nhiên giá thành rất cao.

NO u á đá andé aMục tiêu thực hiện dé tai là thiết kế thành công một lõi IP Chroma-key có théứng dụng trong các hệ thống ti vi, trong lĩnh vực phim ảnh và trong các studiochuyên nghiệp Lõi IP sẽ được kiểm nghiệm trên KIT Cyclone III của Altera [5]

Hệ thống Chroma-key được thiết kế và hiện thực trong phạm vi các nội dunggiới hạn sau:

* Tach được các tién cảnh (foreground) khỏi hậu cảnh (background

Chương I: Giới thiệu tong quan về dé tài, tình hình nghiên cứu, mục tiêu vàgiới hạn đề tài

Chương II: Cơ sở lý thuyết.Chương III: Thiết kế giải thuật Chroma-Key.Chương IV: Thiết kế và tong hợp lõi IP Chroma-Key.Chương V: Kết quả thực hiện

CHUONG II: COSOi = =ervE

ae 4g È hChroma-key là kỹ thuật, trong đó đối tượng tiền cảnh (foreground) được tríchtừ khung ảnh hoặc video (foreground frame) sẽ kết hợp với một khung ảnh hoặcvideo khác (background frame) để tao ra một khung ảnh mới dùng cho một hiệuứng đặc biệt [6] Khung anh foreground có hai phan là đối tượng foreground và đốitượng background, trong đó đối tượng background thường có một màu đồng nhất làxanh da trời (blue) hoặc xanh lá cây (green).

(a) Foreground frame, (b) background frame, (c) kết quaHình 2.1 là một vi dụ về kỹ thuật Chroma-Key Sau khi sử dụng hiệu ứngChroma-Key, nên xanh lá cây được thay thé bang một khung cảnh mới [7-8] Kỹthuật này có nhiều tên gọi khác nhau như Chroma-key compositing, Chromakeying, color keying, color-separation overlay, hay green-screen (blue-screen).Trong luận van này thuật ngữ Chroma-Key sẽ được sử dung thay cho tat cả các tênđó Hiệu ứng Chroma-Key có thé được thực hiện trên máy tính như một phần mềmhoặc sử dụng như một ứng dụng trong hệ thống xử lý thời gian thực

Một giải thuật Chroma-Key được sử dụng trên máy tính có ưu điểm như chấtlượng ảnh được xử lý tốt, tách được những chi tiết nhỏ, khó xử ly[9-10-11] Bêncạnh đó các các giải thuật này cũng có khuyết điểm như: thời gian tính toán lâu (dodùng những công thức phức tạp), không thể đáp ứng các ứng dụng đòi hỏi xử lýthời gian thực như các bản tin dự báo thời tiết, các buổi nói chuyện được truyềnhình trực tiếp

Một giải thuật Chroma-Key dùng dé xử lý thời gian thực sẽ đáp ứng được cácyêu cầu về thời gian xử lý, đáp ứng được các chương trình truyền hình trực tiếp [12-13] Nhưng những giải thuật Chroma-Key này thường là những tính toán đơn giản,khó có thé tách các hình ảnh và video một cách tốt như sử dụng phần mềm.

Trong luận văn này, hệ thống Chroma-Key xử lý thời gian thực sẽ được tậptrung xử lý và cải tiễn những khuyết điểm về chất lượng ảnh và video xử lý

- Đầu tiên, phải xác định được màu sắc và kích thước của phông nên cần caiđặt Màu sắc ở đây có thể là màu xanh dương hoặc xanh lá cây và kích thước phảiđảm bảo đủ lớn để không quay được nền màu khác Ngoài ra chất liệu của phôngnền cũng rat da dạng như các tông, g6 sơn mau, hoặc xốp, vải

- Tiếp theo, phải cài đặt hệ thống chiếu sáng cho hệ thống Hệ thống chiếu

chiêu lên hậu cảnh Hình 2.3 là một vi du của việc cài dat khung nên va anh sángcho hệ thống Chroma-Key.

Hình 2.3: Vi dụ cài đặt cho một hệ thông Chroma-Key- Sau khi cài đặt phông nền và ánh sáng cho hệ thống, camera sẽ được lắp đặt.Camera phải đảm bảo quay được tiền cảnh và hậu cảnh mà không có vật thể khácchen vào Camera sẽ cung cấp khung foreground cho hệ thống Chroma-Key

- Sau khi cài đặt camera, hình ảnh thu được sẽ được đưa vào ngõ vào củaModule Chroma-Key Ngõ vào còn lại sẽ chứa phông nên ma ta muôn chèn vao.

- Cuối cùng, kết quả tổng hop của hệ thống sẽ được thu ở ngõ ra moduleChroma-key.

die * á 8 wi iu má Ạ ` h

CfÑ 4 aE l#2 a Ea aa E úa 0 E

Kỹ thuật Chroma-Key cần sử dung hai khung hình cho quá trình xử lý Mộtlà ảnh gốc (foreground frame) chứ phông nền xanh lá cây hoặc xanh dương(background) và tiền cảnh (object) Khung hình còn lại chứa phông nền mới mà tamuôn chèn vào (background frame).

Dé phân biệt object va background ta sử dụng một mặt nạ (mask) Nếu là tiềncảnh giá tri của mặt nạ ứng với vi trí đó sẽ mang giá tri 1, nêu là phông nên giá tri

của mặt na ứng với vi trí đó sé mang giá tri 0 Nếu hiển thị bang hinh anh, mask sémang hai màu sắc: mau trang cho các tiền cảnh và mau đen cho phông nền cân tách.

Hai phông nên cần tách (xanh dương và xanh lá cây) có giá trị lần lượt là(0,0,255) và (0,255,0) trong hệ mau RGB 8-bits Đánh giá được giá tri màu vượttrội của 2 phông nên sẽ giúp ta dễ dàng xử lý hình ảnh Trong thực tế các giá trịmàu của phông nên khó đạt được giá trị đúng như trên do nhiều nguyên nhân nhưnhiễu, vật liệu, chất lượng và màu sắc phông nên thực tế, ánh sáng Do đó xử lýphông nên thực tế sẽ rất khó khăn

dQ 66 á ứ è` hGQN Phương pháp củ aa NQPhương pháp Thilina (lấy theo tên người phát triển phương pháp nay) dựa trênso sánh ngưỡng của giá trị màu để phát hiện ra vùng hậu cảnh Bằng cách quan sátgiá tri màu đỏ, xanh lá, xanh dương (R, G, B) Với cách chon màu xanh dương chohậu cảnh, việc tách hậu cảnh ra khỏi tiền cảnh có thể thực hiện dễ dàng với việcphân tích giá trị màu RGB Lúc này, trong vùng hậu cảnh, giá trị màu sẽ là có thànhphân R và G rất nhỏ (giá trị lý tưởng là 0), trong khi đó thành phân B rất lớn (giá trịlý tưởng là 255).

Trong hầu hết các khung hình sử dụng Chroma-key, điểm ảnh đầu tiên bao giờcũng thuộc vùng hậu cảnh Do đó, việc chọn giá trị RGB cho vùng tiền cảnh sẽ dựatrên công thức sau:

R=imFg (1,1,1) + temp;

G =imkg (1,1,2) + temp;

B =imFg (1, 1,3) - temp;

where 0<temp<255.

Giá tri temp trong công thức dùng để hiệu chỉnh sự chênh lệch trong hậu cảnh.

Về mặt lý thuyết, giá tri của temp có thé vượt 255, nhung néu giá tri nay qua lớn,

đối tượng trong tiền cảnh có thể bị lọc mất.Sau đây là một số kết quả thực hiện

Foreground image background image

+ temp = 100

mask After Chroma-key

Foreground frame Background frame

Hình 2.4: Kết quả thực hiện phương pháp Chroma-key của ThilinaNhận xét: Phương pháp cua Thilina có mức độ tính toán đơn giản, nhưng chokết quả chưa tốt ở đường biên phân tách Việc chọn giá trị temp sẽ ảnh hưởng trựctiếp đến kết quả giải thuật, nhưng rất khó để chọn được giá trị temp đúng trong cácđiêu kiện hình ngõ vào khác nhau.

Œ2 Phuong pháp Chroma wou ma ah

K-means, được phat triển bởi MacQueen vào năm 1967, là một giải thuật dùngdé tách vùng với mục đích phân tach n mẫu quan sát vào k vùng bang cách tối thiểuhóa tong bình phương khoảng cách (hay còn gọi là khoảng cách Euclidean)[15]

k

;

2

arg min À ` » |x; — Mall”

Giải thuật K-means được thực hiện lặp trong 2 bước:

Bước gan: gan mỗi mâu quan sát vào một vùng với khoảng cach gân nhât theocông thức sau:

¬(£) (€) ()

-9%; = {Zp: ||#p — mị ` || |lap — m; || V 1 < j < k}

Bước cập nhật: Tính toán khoảng cách mới theo công thức

Áp dụng giải thuật K-means vào phương pháp Chroma-keyTrong Chroma-key, số vùng cần phân tách chỉ là 2, khoảng cách Euclidean sẽđược tính dựa trên giá trị màu của điểm ảnh Phương pháp Chroma-key dựa trêngiải thuật K-means được cho trong hình sau.

Change RGB to L*a*b* color space

Ỳ

Use the Matlab’s kmeans functions(used num_clustering=2 andsquared Euclidean distances)

yGet mask of foreground image

ỲPerform Chroma-key for

foreground, background image and

Foreground frame Background frame

Mask

Foreground frame Background frame

Mask Composite frame

Foreground frame

Hình 2.6: Kết quả thực hiện phương pháp Chroma-key dùng giải thuật K-meansNhận xét: phương pháp K-means cho kết quả tốt hơn phương pháp Thilina.Tuy nhiên mức độ tính toán của phương pháp K-means phức tạp hơn, đòi hỏi cácbước trong vòng lặp, sẽ gây khó khăn cho việc xử lý trong thời gian thực.

iQ3 Phuong ph ` ự h uh a

Phương pháp này cũng dựa trên K-means nhưng có một số cải tiến về phươngpháp tính điểm trung tâm và phương sai Giải thuật của phương pháp này được chotrong sơ đồ sau.

Ỳ- Use i variable to scan the heightdimension of frame

- Use j variable to scan the widthdimension of frame

Read Foreground(FG) andBackground(BG) frame

- Divide the frame into 3equal regions - Calculate square of distance from apixel to centroid

square_dist = (pixel(i,j) — centroid)^2

ÀNaive algorithm

Variance of an entire

population of size n: : Calleulen® `E1I6TNS9 sĩ Seesregion by Naive algorithm.

||||||||

a |

n ¬ ¬

\ g(i,j) = 0 g(i,j) = 1

- Find Centroid and Variance of frame (background) (foreground)

from value of the 3 selected regions | |

centroid = min (mean1 mean2 mean3) >> ———-=-=—==—=

variance = max(vari1 vari2 vari3) Ỷ

Create the Mask for Foreground

VvPerform Chroma-key for FG and BGwith Mask

imCk = imFg.*imFm + imBg.*(~imFm)

co

Hình 2.7: Luu đồ phương pháp Chroma-key dựa trên K-means của Kardi TeknomoKết quả mô phỏng được cho ở hình sau

Foreground frame Background frame

Mask Composite frame

Foreground frame Background frame

Mask Composite frame

Foreground frame Background frame

Background image

e ŒU Két qua hiện thực phương pháp Chroma-key dựa trên K-means của

Kardi TeknomoNhận xét: phương pháp Chroma-key dựa trên K-means cua Kardi Teknomocho kết quả khá tốt, đường biên ít bị lỗi, khắc phục được nhược điểm về vòng lặpcủa phương pháp K-means truyền thống

œ4 Phương pháp Chroma ự h oaa NI

(> 2

Phuong pháp này được phát triển bởi tác giả Zhenyi Luo trong dé tài luận vănthạc sĩ tại trường dai học Ottawa, Canada, 2011 Phương pháp Chroma-key đượcthực hiện nhờ thuật toán K-means dé phân tách 2 vùng riêng biệt tiền cảnh và hậucảnh Tuy nhiên một số vùng không thể phân tách bằng thuật toán K-mean đượcxem là vùng “chưa biết” (unknown) Tác giả đã đề nghị thêm một phương pháp gọilà Robust Matting dé phân tách vùng “chưa biết” này Sơ đồ giải thuật RobustMatting được cho trong hình sau:

(Optimized Color Sampling f(t) )

Nhận xét: Phuong pháp Chroma-key đề nghị bởi Zhenyi Luo cho kết quả rấttốt ở đường biên nhờ có giải thuật Robust Matting phân tách được vùng “chưa biết”ma giải thuật K-means không thé phân tách được Tuy nhiên giải thuật RobustMatting dùng phép lặp dé tối ưu đường phân tách nên có thời gian tính toán khá lâu,làm cho giải thuật chạy chậm, khó hiện thực cho hệ thống thời gian thực.

CHUONG III: e E hE A _ erA ‘eo h bv

Pie ệ Ứ ụ HATất ca các hình ảnh va video hệ thống đều đọc trước tiên là ở không gian mauRGB Nhưng không gian mau RGB gặp nhiều hạn chế khi sử dụng vào giải thuậtChroma-Key Các giải thuật đã nghiên cứu ở trên sử dụng hệ màu L*a*b* (trừ giảithuật Thilina) và chạy trên phần mém Matlab dé cho ra các kết qua Giá trị a* sửdụng cho màu xanh lá cây va giá trị b* sử dụng cho màu xanh dương của phông nềncần xét Hệ màu L*a*b* rất hữu dung trong hiệu ứng Chroma-Key, nhưng lại khôngđược hỗ trợ khi xử lý thời gian thực Do đó hệ thống Chroma-Key được trình bàytrong luận văn này sử dụng hệ màu YCbCr, một hệ màu hữu dụng trong hiệu ứngChroma-Key và được phần cứng hỗ trợ

Hệ màu YCbCr được chuyền từ hệ màu RGB từ công thức:

Y =(0.257* R)+(0.504*G)+(0.098* B) +16Cr = (0.439* R)~ (0.368% G) —(0.071* B)+128 (3.1)Cb = —(0.148* R)—(0.291* G) + (0.439* B) +128

Từ công thức (3.1) ta có nhận xét:

* Voi background green sẽ có giá tri G lớn và các giá tri R,B nhỏ trong hệmau RGB (background green lý tưởng có G=255 và R=B=0) Do đó khi chuyểnsang hệ màu YCbCr sẽ có giá tri Cr nhỏ, với những màu không phải green thì giá triCr sẽ lớn Giá trị Cr sẽ được dùng để phân biệt các pixel thuộc background greenhay không khi áp dụng phương pháp K-Means.

* Với background blue sé có giá trị B lớn và các giá trị R,G nhỏ trong hệ mauRGB (background green lý tưởng có B=255 và R=G=0) Do đó khi chuyền sang hệmàu YCbCr sẽ có giá trị Cb lớn, với những màu không phải blue thì giá trị Cb sẽnhỏ Trong hiệu ứng Chroma-Key ta sẽ xử lý giá trị 255-Cb dé có giá trị (255-Cb)nhỏ với background blue và giá tri (255-Cb) lớn với các pixel không phải blue Giatrị (255-Cb) sẽ được dùng để phân biệt các pixel thuộc background blue hay không

PIO’ ấ ủ đá 4Phương pháp chung của các hệ thống Chroma-Key đều là tìm một mặt nạ(mask) cho khung hình gốc (foreground frame) Trong đó những pixel thuộc tiềncảnh (object) có giá trị mặt nạ tương ứng là 1, những pixel thuộc phông nền(background) có giá tri mặt nạ tương ứng là 0 Khi đưa về hệ màu 8bit mặt nạ sẽ có2 màu đen và trắng: màu đen tương ứng với các giá trị 0 và màu đen tương ứng vớicác giá tri 1 Sau khi xác định được mask, hiệu ứng Chroma-Key được áp dụng lên2 ngõ vào sử dụng công thức:

C = Fg.* mask + Bg.* (~ mask) (3.2)Trong đó C là kết quả sau khi thực hiện hiệu ứng Chroma-Key, Fg là khunghình gốc cần xử lý (Foreground frame), Bg là hình nền mới cần chèn vao(Background frame), mask là mặt nạ phân biệt foreground và background.

Giải thuật được thực hiện gồm 3 phần chínhe Đầu tiên hệ thống phân biệt background là xanh dương hay xanh lá cây và

tính toán 2 giá tri tin cậy cua foreground va background.e Sau đó, giải thuật K-Means sử dung các giá tri ngưỡng tin cậy được su

dụng dé tạo ra trimap gồm 3 vùng: foreground, background va unknown.e Cuối cùng các giá trị ving unknown được tinh toán dựa trên đánh giá tỉ lệ

của các pixel có độ tin cậy cao nhất (highest confident coefficient) để xácđịnh pixel unknown là pixel thuộc background hay foreground.

PINh GA a 4 ia a4 a K

Hình 3.1: Vi du về hình gốc cân xử lý của Chroma-Key

Hình 3.1 là một ví dụ minh họa về hình anh cần xử ly trong giải thuật Key Trong hình, tiền cảnh (object) thường nam tại vị trí giữa của hình, ở các gócthường là các khu vực chứa phông nên Từ đó giải thuật giả thiết rang pixel (1,1)(góc trên cùng tay trái) là pixel mà chắc chan thuộc phông nên cần loại bỏ Do đó tađã có được | giá tri thuộc background làm giá tri tin cậy đầu tiên Vẫn đề đặt ra làlàm sao hệ thống có thé tự nhận biết được background là xanh dương hay xanh lácây từ pixel đó Dé xác định loại background ta dựa vao hình 3.2.

Chroma-Hình 3.2: Tương quan màu sắc và giá trị Cr, CbHình 3.2 cho thấy sự liên quan giữa màu sắc va sự tăng giảm các giá trị Cb,Cr Với background green thì các giá trị Cr va Cb nhỏ, dao động từ 0-128 trong hệmau 8-bits (giá tri lớn nhất là 255) Với background blue thi giá tri Cr nhỏ, daođộng từ 0-128, nhưng giá trị Cb lớn, dao động từ 129-255 Do đó ta có thể phân biệtbackground là blue hay green từ giá trị Cb theo bảng sau:

BANG I PHAN BIỆT BACKGROUND BLUE VÀ GREEN

Gia tri Cb (1,1) Loai Background

> 128 Blue<128 GreenTheo bang L, nếu giá tri Cb của pixel đầu tiên vào lớn hơn 128 thì ảnh ngõ vào

Dé xác định giá trị tin cậy của tiền cảnh (foreground) ta dựa trên giá trị củapixel background (B11) đầu tiên mà ta đã xác định được Giá trị tin cậy củaforeground được qui định là giá trị chắc chan năm ngoài day giá trị của background.Do đó ta có thé xác định giá trị tin cậy đầu tiên của foreground (F11) sử dụng côngthức (3.3):

F1lI=Bll+aew (3.3)

Trong đó dev là độ sai lệch giữa background và foreground.Sau khi xác định được loại background và khởi tao 2 giá tri tin cậy đầu tiêncủa background và foreground, giải thuật K-Means được áp dụng để tạo trimap chohình ảnh.

PlIdOpr uo h ệ 6a fydéa a K

Trimap là một khái niệm dùng để chi 3 vùng của bức anh trong giải thuậtChroma-Key Vùng đầu tiên là vùng chứa các pixel hoàn toàn thuộc background,vùng thứ 2 là vùng chứa các pixel hoàn toàn thuộc foreground, va vùng thứ 3 làvùng chứa các pixel trộn lan giữa foreground va background.

Hình 3.3 minh họa ví dụ về một trimap Trimap giúp hệ thống có thể phân biệtnhững vùng đơn giản và những vùng phức tạp (ví dụ vùng biên giữa các chỉ tiết), từ

đó áp dụng những thuật toán phù hop cho các vùng nay để tối ưu quá trình xử lý màvan có thé đảm bảo được kết quả.

Ở bước xử lý này thuật toán K-Means được áp dụng để tính toán khoảng cách(centroid) giữa pixel đến các vùng thuộc foreground và background sử dụng côngthức:

2Dyce =|/F = C|

2 (3.4)

Dy =|C ~3|

Trong đó Dfc và Deb lần lượt là khoảng cách từ pixel đang xét đến foregroundva background, F là giá tri cua foreground, B là giá tri của background, C là giá tripixel đang xét.

Sau khi tính toán 2 khoảng cách ta tiễn hành sử dụng bảng II để xác định xempixel đang xét thuộc vùng nào của trimap

BANGIIL SO SÁNH CÁC GIÁ TRI KHOẢNG CÁCH

Trimap region Compare the distanceof pixel

Background Dre — Deg <U

Foreground Deg — Dre <U

Unknown OtherTheo bang II ta so sánh hiệu số các khoảng cách với giá tri U dé quyết địnhpIxel đó thuộc vùng nào của trimap Giá trị U phụ thuộc vào tương quan giữa hiệusố các giá trị F và B theo công thức:

U=ơ*(F— B) (3.5)

Trong đó U là giá tri so sánh khoảng cách theo bảng II, F là giá tri tin cậy

Nhận xét: trong khung hình gốc cần xử ly (foreground frame) có sự thay đổigiữa các vùng background khác nhau (do nhiễu, ánh sáng, chất lượngbackground ) Bên cạnh đó foreground rất đa dạng, gồm nhiều chỉ tiết khác nhau ởmỗi vùng như tóc, da, quan, áo nên cũng có sự thay đôi đáng kế về giá trị dé xét.Do đó lay mẫu các giá trị F và B để tính toán chính xác là một yêu cau quan trọngcủa bước này.

Trong hệ thống ta sử dụng các giá trị F và B được cập nhật liên tục từ nhữnggiá trị đã xét trước nó Sau khi khởi tạo các giá trị đầu tiên (F11, B11), các giá trinày được dùng để tính toán các pixel tiếp theo, đồng thời bộ cập nhật giá trị cho Fvà B cũng bắt đầu hoạt động Thông thường việc cập nhật các giá trị sẽ sử dụngcông thức tính trung bình các mẫu F và B:

.->X

Tuy nhiên với sự thay đổi liên tục các giá tri của F và B, công thức (3.6) cóthể tính toán cả những gia tri có độ tin cậy thấp hoặc sai vào, làm độ sai lệch cuaquá trình cập nhật giá trị F và B tăng lên Do đó, hệ thống đề xuất phương pháp cậpnhật giá trị F và B dựa trên các hệ số tỉ lệ tin cậy, theo công thức: