Cơ sở xử lý ảnh số Chương 2 cải thiện ảnh

Nâng cao chất lượng ảnh với ví dụ thực tế và các kỹ thuật cơ bản ĐHBKHN

Chơng 2: cảI thiện ảnh Chơng cải thiện ảnh v Mở đầu Cải thiện ảnh l trình xử lý để cải thiện thể ảnh cho ngời xem, để cải thiện hệ xử lý ảnh khác phơng pháp v mục tiêu thay đổi tuỳ theo ứng dụng Khi ảnh đợc cải thiện cho ngời xem nh truyền hình, mục đích l cải thiện cảm thụ: chất lợng ảnh, độ dễ hiểu thể thị giác Trong ứng dụng khác nh dùng máy nhận dạng đối tợng, ảnh đợc tiền xử lý để hỗ trợ cho máy Vì mục tiêu cải thiện ảnh phụ thuộc v o bối cảnh ứn g dụng, v tiêu chí cải thiện thờng l chủ quan phức tạp khó đổi th nh phép đo khách quan hữu dụng Algorit cải thiện ảnh có xu hớng đơn giản, định lợng v không theo thể thức (ad hoc) Ngo i ra, mét øng dơng ® c ho algorit xử lý tốt cho loại ảnh n y không thiết tốt cho loại ảnh khác Cải thiện ảnh liên quan mật thiết tới phục hồi ảnh, điều đợc thảo luận chơng Khi ảnh bị xuống cấp, cải thiện ảnh thờng đem lại kết l phục hồi ảnh gốc Tuy nhiên vÉn cã mét v i sù kh¸c quan träng phục hồi ảnh v cải thiện ảnh Trong phục hồi ảnh, ảnh lý tởng bị xuống cấp mục tiêu l l m cho ảnh qua xử lý c ng gièng ¶nh gèc c ng tèt Trong cải thiện ảnh, mục tiêu l l m cho ảnh đợc xử lý tốt ảnh cha xử lý theo nghĩa n o Trong trờng hợp n y, ¶nh lý t−ëng phơ thc v o bèi c¶nh cđa vấn đề v thờng không đợc định nghĩa rõ r ng Để minh hoạ khác n y, lu ý ảnh gốc không xuống cấp không để phục hồi nữa, nhng đem cải thiện để tăng độ nét cách cho qua lọc thông cao Trong số bối cảnh cải thiện ảnh l điều mong muốn Trong lớp vấn đề quan trọng, ảnh đợc cải thiện cách thay đổi độ tơng phản dải động Chẳng hạn, ảnh điển hình không xuống cấp tốt đờng 39 Chơng 2: cảI thiện ảnh biên ảnh đợc l m sắc nét Tơng tự, ảnh có dải động lớn đợc ghi v o môi trờng với dải động hẹp nh phim giấy độ tơng phản v chi tiết ảnh bị giảm, đặc biệt vùng tối v sáng ảnh chụp từ máy bay bị giảm độ tơng phản cảnh bị mây sơng mù bao phủ Khi đó, l m tăng mức tơng phản cục v l m giảm dải động to n có ý nghĩa đáng kể cải thiện ảnh Một vấn đề khác cải thiện ảnh, l ảnh bị xuống cấp đợc cải thiện cách l m giảm xuống cấp Các vi dụ xuống cấp ảnh l mờ, nhiễu ngẫu nhiên lớn, nhiễu lốm đốm v nhiễu lợng tử.Trong lĩnh vực n y c¶i thiƯn trïng víi phơc håi ¶nh Mét algorit đơn giản v phi thể thức (ad hoc), không khai thác đặc tính tín hiệu v xuống cấp, thờng đợc coi l algorit cải thiện ảnh Một có algorit tính toán học cao v phức tạp hơn, có khai thác đặc tính t Ýn hiƯu v sù xng cÊp, cã tiªu chÝ sai số rõ r ng để so sánh ảnh đợc xử lý với ảnh gốc cha xuống cấp, thờng đợc coi l mét algorit phơc håi Sù ph©n biƯt n y mơ hồ v tuỳ ý Nhng cần phải đa số định tuỳ ý để phân chia v i đề mụ c chơng n y với chơng sau (chơng Phục hồi ảnh) Ta biết đờng biên l đối tợng chứa nhiều thông tin quan trọng, dùng ứng dụng lý giải ảnh Bớc ứng dụng ®ã l tiỊn xư lý mét ¶nh th nh mét đồ đờ ng biên Vì phát đờng biên ảnh xác cải thiện chất lợng hệ lý giải ảnh khai thác thông tin đó, việc đổi ảnh th nh đồ đờng biên xem nh trình cải thiện ảnh Một lớp quan trọng khác cải thiện ảnh l hiển thị liệu hai chiều (2 -D), liệu n y đại biểu cho cờng cờng độ ảnh, không Một ảnh có độ phân giải thấp 128 x 128 pixel l m vừa ý thị giác ngời xem cách đem nội suy để tạo ảnh lớn hơn, ví dụ 256 x 256 pixel.Trong phép ớc lợng phổ 2-D, giá trị ớc lợng phổ thờng đợc hiển thị th nh đồ đờng biên Mặc dù liệu (2 -D) nh l ảnh theo nghĩa thờng hiểu, nhng vÉn cã thĨ biĨu diƠn chóng nh− ¶nh Cã thĨ hiển thị chúng nh ảnh trắng -đen, có cải thiện thêm mầu, cốt thể tốt v thông tin mang theo đợc diễn đạt rõ r ng Trong ứng dụng khác, nh ảnh radar hồng ngoại, có thông tin cự ly nh cờng độ ảnh Đem th ể thông tin cự ly mầu nêu bật cự ly tơng đối đối tợng ¶nh ThËm chÝ chÊt l−ỵng ¶nh tèt cịng cã thĨ đợc cải thiện cách cố tình gây số méo dạng Chẳng hạn, 40 Chơng 2: cảI thiện ảnh đối tợng ảnh đợc tô m u giả l m bật đối tợng ngời xem Trong chơng n y, ta nghiên cứu phơng pháp cải thiện ảnh đ thảo luận trên: tiết b n thay đổi độ tơng phản v dải động, tiết b n l m trơn nhiễu, tiết b n phát đờng biên ảnh Trong tiết thảo luận phơng pháp nội suy ảnh v ớc lợng chuyển động, sử dụng cho nội suy ảnh Tiết b n cải thiện ảnh phơng pháp giả mầu thay đổi độ tơng phản v dải động 1.1 thay đổi mức Xám Thay đổi mức xám l phơng pháp đơn g iản v có hiệu để thay đổi độ tơng phản dải động ảnh Trong phơng pháp n y, mức xám mức cờng độ ảnh đầu v o f(n 1,n2) đợc thay đổi theo phép biến đổi xác định Phép biến đổi g= T[f], l quan hệ cờng độ ảnh đầu v o f với cờng độ ảnh đầu g đợc biểu diễn hình vẽ bảng Ta h y xem minh hoạ đơn giản phơng pháp n y Hình 2.1(a) l ảnh ì4 pixel với pixel đợc biểu diễn b»ng bit, vËy l cã møc, gåm f = 0(møc tèi nhÊt),1,2,3 7(mø c s¸ng nhÊt) PhÐp biÕn đổi liên hệ cờng độ đầu v o với cờng độ đầu đợc biểu diễn đồ thị bảng số nh Hình 2.1(b) Với pixel ảnh đầu v o có pixel tơng ứng ảnh đầu ra, nhận đợc từ đồ thị bảng số Hình 2.1(b) Kết đợc biểu diễn Hình 2.1(c) Bằng cách chọn phép biến đổi phù hợp thay đổi đợc độ tơng phản dải ®éng PhÐp biÕn ®ỉi thĨ phơ thc v o øng dơng Trong mét sè øng dơng, viƯc lùa chän phép biến đổi v o tính chất v ật lý Chẳng hạn hiển thị có đặc tính phi tuyến mục đích biến đổi l bù phi tuyến Trong trờng hợp đó, phép biến đổi phù hợp đợc xác định từ đặc tính phi tuyến hiển thị 41 Chơng 2: cảI thiện ảnh 3 4 5 (a) Cờng độ đầu g - f C−êng ®é ®Çu v o 0 2 2 4 4 (b) 6 (c) Hình 2.1: Ví dụ thay đổi mức xám (a) ảnh ì pixel, pixel đ −ỵc biĨu diƠn b»ng bit; (b) H m biÕn đổi mức xám; (c) Kết thay đổi ảnh hình (a) sử dụng h m biế n đổi mức xám hình (b) 42 Chơng 2: cảI thiện ảnh Trong ứng dụng thờng gặp, nhận đợc phép biến đổi tốt cách tính tổ chức đồ (histogram) ảnh đầu v o v nghiên cứu đặc tính Tổ chức đồ ảnh, ký hiệu l p(f), đại biểu cho số pixel có cờ ng độ định f, l h m f Chẳng hạn, ảnh ì4 pixel Hình 2.1(a) có tổ chức đồ l Hình 2.2(a) Tổ chức đồ hiển thị v i đặc tính quan trọng ảnh giúp ta xác định đợc phép biến đổi mức xám mong muốn Trên Hình 2.2(a) cờng độ ảnh đ ợc tụm lại vùng nhỏ dải động không đợc sử dụng tốt Trong trờng hợp đó, dùng phép biến đổi Hình 2.1(b) l m tăng dải động to n v ảnh sau biến đổi có độ tơng phản cao Hình 2.2(b), l tổ chức đồ ảnh đ xử lý Hình 2.1(c), đ chứng tỏ điều p(g) p(f) 1 f Cờng độ đầu v o (a) - g Cờng độ đầu (b) Hình 2.2: Tổ chức đồ ảnh ì pixel: (a) ảnh Hình 2.1(a); (b) ảnh Hình 2.1(c) 43 Chơng 2: cảI thiện ảnh Vì việc tính tổ chức đồ ảnh v thay đổi mức xám bằ ng phép biến đổi mức xám đ cho không cần phải tính toán nhiều, thực tế phép biến đổi møc x¸m mong mn cã thĨ mét kü tht viên có kinh nghiệm xác định thời gian thực Trên sở việc tính toán tổ chức đồ ban đầu, kỹ thuật viên chọn phép biến đổi mức xám để tạo ảnh đợc xử lý Bằng cách nhìn v o ảnh đợc xử lý v tổ chức đồ ảnh, kỹ thuật viên chọn phép biến đổi mức xám khác v nhận đợc ảnh ® xư lý míi, cø thÕ tiÕp tơc cho ®Õn nhận đợc ảnh đầu vừa ý Khi xét thấy kỹ thuật viên phải xử lý nhiều ảnh, cần tự động hoá việc chọn phép biến đổi mức xám Trong trờng hợp n y phơng pháp gọi l thay đổi tổ chức đồ có lợi Với phơng pháp n y, ngời ta chọn phép biến ®ỉi møc x¸m cã tỉ chøc ®å mong mn cho ảnh Tổ chức đồ mong muốn ảnh đầu ra, ký hiệu l pd(g), có ích cho ảnh thờng gặp loại ảnh có giá trị cực đại vùng dải động v giảm chậm cờng độ tăng giảm Với ảnh đ cho, ta muốn xác định h m biến đổi cho ảnh ®Çu cã tỉ chøc ®å gièng nh− p d(g) VÊn ®Ị n y cã thĨ xem nh− mét b i toán sơ đẳng lý thuyết xác suất Thông th−êng tỉ chøc ®å p(f ) v pd(g) theo thø tự coi nh h m mật độ xác st theo mét thang tû lƯ n o ®ã cđa biến ngẫu nhiên f v g Chẳng hạn p(3)/16 Hình 2.2(a) l xác suất để pixel đợc chọn ngẫu nhiên ảnh ì4 pixel Hình 2.1(a) có mức cờng độ l Ta muốn tìm mét biÕn ®ỉi g=T [f] víi ®iỊu kiƯn r ng buộc l T [f] phải l h m đơn điệu không giảm củ a f, cho p(g) pd(g) Một cách tiếp cận để giải b i toán xác suất n y l nhận đợc h m phân bố xác suất P(f) v P d(g) cách lấy tích phân h m mật độ xác suÊt p(f) v p d(g) v sau ®ã chän h m biÕn ®ỉi cho P(f) ≈ Pd(g) ë g = T[f] Đặt điều kiện r ng buộc T [f] phải l h m đơn điệu không giảm l ®Ĩ ®¶m b¶o r»ng, mét pixel víi c−êng ®é cao pixel khác ảnh đầu không trở th nh pixel có cờng độ thấp 44 Chơng 2: cảI thiện ảnh p(t) 10 - - - - - f 10 11 12 13 14 15 Cờng độ đầu v o (a) pd(g) 10 - - - - - g 10 11 12 13 14 15 C−êng độ đầu (b) Hình 2.3: Tổ chức đồ v tỉ chøc ®å tÝch lu ü (a) Tỉ chøc ®å ¶nh x pixel; (b) Tỉ chøc ®å mong mn; (c) Tỉ chøc ®å tÝch l suy diƠn tõ hình (a); (d) Tổ chức đồ tích luỹ suy diễn từ hình (b) 45 Chơng 2: cảI thiện ảnh P(f) (64) (64) (64) 64 60 58 56 52 48 44 40 36 32 28 24 20 16 12 (63) (60) (61) (58) (56) (52) (48) (43) (37) (29) (20) - (10) -(4) 10 11 f 12 13 14 15 Hình 2.3(c) Cờng độ đầu v o Pd(g) 64 60 58 56 52 48 44 40 36 32 28 24 20 16 12 (64) (62) (59) (56) (52) (48) (43) (38) (32) (26) (21) (16) (12) (8) - (5) (2) 10 11 g 12 13 14 15 Hình 2.3(d) Cờng độ đầu 46 Chơng 2: cảI thiƯn ¶nh g 14 13 12 11 10 - C−êng ®é ®Çu 15 f 10 11 12 13 14 15 Cờng độ đầu v o (a) p(g) 12 10 16 14 g 10 11 12 13 14 15 Cờng độ đầu (b) Hình 2.4: (a) H m biến đổi mức xám biến đổi gần tổ chức đồ Hình 2.3(a) th nh tổ chức ®å mong mn H×nh 2.3(b); (b) Tỉ chøc ®å ảnh biến đổi mức xám nhận đợc cách áp dụng h m biến đổi hình (a) cho ảnh có tổ chức đồ nh Hình 2.3(a) 47 Chơng 2: cảI thiện ảnh áp dụng cách tiếp cận n y cho b i toán thay đổi tổ chức đồ bao gồm biến f v g rời rạc, tiên ta tính tổ chức đồ luỹ tÝch P(f) v P d(g) tõ p(f) v p d(g) b»ng: f P(f) = ∑ p( k ) = P(f-1) + p(f) (2.1a) k =o f P d(g) = ∑p d ( k ) = Pd(g-1) +pd(g) (2.1b) k =o H×nh 2.3 biĨu diƠn mét vÝ dơ vỊ tỉ chøc ®å l tÝch H×nh 2.3(a) v (b) cho vÝ dơ cđa p(f) v p d(g), H×nh 2.3(c) v (d) ch o P(f) v P d(g) nhận đợc cách sử dơng (2.1) Tõ P(f) v P d(g), cã thĨ nhËn đợc h m biến đổi mức xám g = T [f] cách chọn g cho giá trị f cho P d(g) ≈ P(f) H m biÕn ®ỉi mức xám nhận đợc từ Hình 2.3 đợc biểu diễn Hình 2.4(a), tổ chức đồ ảnh nhận đợc từ phép biến đổi đợc biểu diễn Hình 2.4(b) Nếu giữ nguyên tổ chức đồ mong muốn p d(g) phù hợp cho nhiều ảnh đầu v o khác cần từ p d(g) tính P d(g) lần m Trong ví dụ ta xét trên, lu ý tổ chức đồ ảnh đ xử lý không giống tổ chức đồ mong muốn Đó l trờng hợp chung f v g l hai biến rời rạc v ta yêu cầu tất pixel có cờng độ đầu v o nh đợc ánh xạ v o cờng độ đầu nh− Cịng l−u ý r»ng tỉ chøc ®å lu ü tÝch mong muèn P d(g) gÇn nh− mét đờng thẳng Một phép thay đổi tổ chức đồ đặc biệt đợc gọi l san (equalisation) tổ chức đồ, tổ chức đồ nhận đợc l số Khi ®ã tæ chøc ®å luü tÝch sÏ l mét ®−êng thẳng ảnh xử lý quân tổ chức đ có độ tơng phản cao ảnh cha xử lý, nhng trông không tự nhiên Tuy phép thay đổi mức xám khái niệm nh tính to án l đơn giản nhất, đem lại cho ngời xem kết khả quan cải thiện chất lợng ảnh độ dễ hiểu, nhờ thờng đợc sử dụng nhiều ứng dụng xử lý ảnh Điều n y đợc minh hoạ hai ví dụ Hình 2.5(a) biểu diễn ảnh gốc 512 ì512 pixel, với pixel đợc biểu diễn bít Hình 2.5(b) biểu thị tổ chức đồ ảnh Hình 2.5(a) Tổ chức đồ cho thấy rõ l số lợng lớn pixel ảnh đợc tập trung mức cờng độ thấp dải động, nghĩa l vùng tối ảnh thể tối v suy giảm độ tơng phản Bằng cách tăng độ tơng phản vùng tối l m cho chi tiết ảnh rõ Điều n y đợc thực cách sử dụng h m biến đổi biểu diễn Hình 2.5(c) ảnh đợc xử lý h m Hình 2.5(c) 48 Chơng 2: c¶I thiƯn ¶nh ˆ ˆ dy ( k + 1) = dy( k )+ uy( k ) (2.38b) ux(k) , uy(k) l số hạng cập nhật số hạng hiệu chỉnh Các số hạng cập nhật thay đổi theo phơng pháp giảm đợc sử dụng Chẳng hạn, ta dùng phơng pháp giảm nhanh , th× (2.38) trë th nh : ∂Error( d x , d y ) ˆ ˆ d x( k + ) = d x ( k ) − ε ∂d x ∂Error( d x , d y ) ˆ ˆ d y( k + ) = d y ( k ) − ε ∂d y ˆ ˆ d x = d x ( k ),d y = d y ( k ) ˆ ˆ d x = d x ( k ),d y = d y ( k ) (2.39a) (2.39b) ®ã ε l kÝch cì mét b−íc, điều chỉnh đợc, v Error(d x, dy) l Error c«ng thøc (2.35), h m cđa d x v dy với giá trị đ cho R Các phơng pháp đệ quy thờng liên quan tớ i đạo h m riêng v có khuynh hớng l nhậy cảm với tồn nhiễu chi tiết ảnh tinh vi L m trơn ảnh trớc ớc lợng chuyển động thờng cải thiện hiệu phơng pháp đệ quy Trong phơng pháp đệ quy, (d x, dy) không bị giới hạn giá trị nguyên v đợc ớc lợng xác điền ảnh (subpixel) Các số hạng cập nhật thờng liên quan đến định giá đạo h m riêng Error(d x, dy), gồm việc định giá f(x, y, t-1) v đạo h m riêng điểm tuỳ ý tr ong không gian Trong thực tế f(x, y, t -1) đợc biết x = n 1T1 v y = n 2T2 Để định giá đại lợng cần thiết điểm kh«ng gian t ý (x, y), ta cã thĨ sư dụng kỹ thuật nội suy không gian đợc thảo luận tiÕt 1.4.1 n1-8 n1-7 n1-6 n1-5 n1-4 n2+8 n2+7 n2+6 n2+5 n2+4 n2+3 n2+2 n2+1 n 1-3 n1-2 n 1-1 n1+dx n n1+1 n 1+2 n 1+3 n 1+4 n 1+5 n 1+6 n1+7 n1+8 Chơng 2: cảI thiƯn ¶nh 3 3 2 3 2 3 2 1 2 Chơng 2: cảI thiện ảnh Trong phơng pháp đệ quy, (d x, dy) thờng đợc ớc lợng pixel Khi sử dụng phép đệ quy liên quan tới công thøc (2.38) ( d x (0 ), d y (0 ) ) thờng nhận đợc ớc lợng pixel kề cïng mét ®−êng quÐt ngang, ®−êng quÐt ngang kề theo khung kề theo Các phơng pháp n y đợc gọi l ớc lợng đệ quy pel phân tử ảnh (picture element), theo thứ tự l đệ quy ngang, däc v ®Ư quy thêi gian Khi ˆ ˆ cho ( d x (k ),d y (k ) ) , ta chØ cã thĨ sư dơng phÐp ®Ư quy liên quan công thức (2.38 ) lần cho pixel chuyển động tới pixel Hoặc l , ta cịng cã thĨ sư dơng phÐp ®Ư quy nhiều lần để ớc lợng (d x,dy) xác trớc chuyển động sang pixel 96 Chơng 2: cảI thiện ảnh Mặc dù ta phân loại phơng pháp thích ứng vùng th nh phơng pháp thích ứng khối v phơng pháp đệ quy nh thờng l m báo chí khoa học, nhng đờng ranh giới hai loại l ranh giới mờ Bằng cách chọn lới (grid) định giá biểu thức sai số d y hơn, ta định giá (d x, dy) subpixel với phơng pháp thích ứng khối Ngo i thủ tục tìm kiếm ba bớc đợc xem nh phơng pháp đệ quy ớc lợng đợc cải thiện phép lặp Nhợc điểm phơng pháp thích ứng vùng l yêu cầu khối lợng tính toán lớn Tuy phải ớc lợng hai tham số d x v dy , việc giải b i toán phi tuyến pixel ảnh đòi hỏi chi phí tính toán lớn 4.2.2 phơng pháp r ng buộc không - thời gian Các algorit loại n y đợc dựa phơng trình r ng buộc không - thời gian (2.34), xem nh phơng trình tuyến tính cho hai sè ch−a biÕt v x v vy d−íi gi¶ thiÕt l ∂f(x, y, t)/∂x, ∂f(x, y, t)/∂y v ∂f(x, y, t)/t đ biết Bằng cách ớc lợng f(x, y, t)/∂x, ∂f(x, y, t)/∂y v ∂f(x, y, t)/∂t ë nhiÒu ®iĨm (x i, yi, ti) víi 1≤ i ≤N, ë v x v vy đợc giả định l số, ta nhận đợc tập hợp phơng trình tuyến tính xác định (overdetermined): vx f ( x, y ,t ) ∂x ( x i , y i ,t i ) + vy ∂f ( x, y ,t ) ∂y ( x i , y i ,t i ) + ∂f ( x, y ,t ) ∂t ( x i , y i ,t i ) ≈ 0, 1iN (2.40) ớc lợng chuyển động nhận đợc cách lấy cực tiểu: N Error = ∑ [ v x i=1 ∂f ( x, y ,t ) ∂x ( xi ,yi ,t i ) + vy ∂f ( x, y ,t ) ∂y ( xi ,yi ,t i ) + ∂f ( x, y ,t ) ∂t ( xi ,yi ,t i ) ]2 (2.41) v× biĨu thøc sai sè (2.41) l d¹ng to n ph−¬ng cđa hai sè ch−a biÕt v x v vy, phải giải hai phơng trình tuyến tính để có đáp số Tổng quát hơn, thờng giả thiết (2.34) l vïng kh«ng - thêi gian cơc bé ký hiƯu l Để ớc lợng v x v vy ta lấy cực tiểu: 97 Chơng 2: cảI thiện ảnh Error = ∫∫∫ ( v ( x , y ,t )∈ψ ∈ x ∂f ( x, y ,t ) ∂f ( x, y ,t ) ∂f ( x, y ,t ) + vy + ∂x ∂y ∂t )2 dx dy dt (2.42) Các tích phân (2.42) đợc thay thÕ b»ng c¸c tỉng (2.41) l mét vÝ dơ nh Lấy vi phân Error (2.42) v x v vy v cho kết không dÉn ®Õn: Wv = γ (2.43a) ®ã ∫∫∫ ( ( x , y ,t )∈ψ ∈ ∂f ( x, y ,t ) ∂x )2 dx dy dt ∂f ( x, y ,t ) ∂f ( x, y ,t ) dx dy dt ∂x ∂y ( x , y ,t )∈ψ ∈ ∫∫∫ W= (2.43b) ∂f ( x, y ,t ) ∂f ( x, y ,t ) dx dy dt ∂x ∂y ( x , y ,t )∈ψ ∈ ∫∫∫ ∫∫∫ ( ( x , y ,t )∈ψ ∈ ∂f ( x, y ,t ) ∂y v = [v x, vy]T )2 dx dy dt (2.43c) ∂f ( x, y ,t ) ∂f ( x, y ,t ) dx dy dt ∂x ∂t ( x , y ,t )∈ψ ∈ ∫∫∫ γ=− (2.43d) ∂f ( x, y ,t ) ∂f ( x, y ,t ) dx dy dt ∂y ∂t ( x , y ,t ) Hai phơng trình tuyến tính (2.43) cã thĨ cã nhiỊu lêi gi¶i gi¶ sư f(x, y, t) l h»ng sè vïng kh«ng gian thêi gian ψ, th× ∂f(x, y, t)/∂x, ∂f(x, y, t)/∂y v f(x, y, t)/t tất không v phÇn tư W v γ (2.43) cịng b»ng không, nhờ (v x, vy) n o thoả m n (2.43a) Mọi tốc độ chuyển ®éng vïng ®é c−êng ®é ®ång ®Ịu sÏ kh«ng ảnh hởng đến f(x, y, t), từ f(x, y, t) ớc lợng đợc tốc độ chuyển ®éng thùc tÕ Gi¶ sư f(x, y, t) l mét mÐp bËc thang lý t−ëng Tèc ®é chun ®éng theo hớng song song với mép bậc thang không ảnh hởng đến f(x, y, t) v ớc lợng đợc Những b i toán n y đ đợc 98 Chơng 2: cảI thiện ảnh nghiên cứu v đ khai triển đợc nghiêm [Martinez] Gọi v l giá trị riêng W v gọi v l vectơ riêng trực chuẩn tơng ứng Một nghiệm hợp lý phơng trình (2.43) l : Tr−êng hỵp Tr−êng hỵp v= λ ,λ < ng−ìng v = 0, [ α T1 γ ]α λ1 Tr−êng hỵp v = W -1γ , (2.44a) λ >> λ (2.44b) , với giá trị khác (otherwise) (2.44c) Trờng hợp bao gồm vùng cờn g độ đều, đặt tốc độ không Trờng hợp bao gồm vùng mép biên lý tởng v ớc lợng tốc độ (2.44b) theo hớng vuông góc với mép biên Việc giải phơng trình tuyến tính (2.43) yêu cầu định gi¸ ∂f(x, y, t)/∂x, ∂f(x, y, t)/∂y v ∂f(x, y, t)/t vị trí không - thời gian tuỳ ý Điều đợc ho n th nh cách mở rộng phơng pháp nội suy đa thức không gian -D, có u điểm so víi c¸c c¸ch tiÕp cËn kh¸c l tÝnh to¸n đơn giản v không nhậy cảm với tạp âm Trong phÐp néi suy ®a thøc 3-D, h m néi suy ˆ ( x, y ,t ) l : f N ˆ ( x, y ,t ) = f ∑ S i φ i ( x, y ,t ) (2.45) i=1 mét vÝ dơ vỊ φ i ( x, y ,t ) N = l φ i ( x, y ,t ) = 1, x, y ,t , x , y , xy , xt , yt (2.46) Hệ số S i đợc xác định cách lấy cực tiểu: N Error = ∑ ∑ ∑  f ( x, y ,t ) − ∑ S i φ i ( x, y ,t )  i=1 ( n1 ,n ,n )∈ψ  ∈  x = n 1T1 , y = n2 T2 ,t = n3 T3 (2.47) Mét lùa chän hỵp lý l vïng ψ chøa ®ùng 50 pixels: cho n 1, cho n v cho t §Ĩ lÊy cùc tiĨu sai sè (2.47) víi S i ph¶i gi¶i mét hƯ phơng trình tuyến tính, Lu ý đạo h m riªng ∂f(x, y, t)/∂x, ∂f(x, y, t)/∂y v ∂f(x, y, t)/t dùng (2.43) đợc tính trớc th nh h m số hạng S i Các algorit ớc lợng chuyển động đợc thảo luận yêu cầu xác định vùng không - thời gian ký hiệu l giả thiết l chuyển động Vì 99 Chơng 2: cảI thiện ¶nh vïng kh«ng gian cơc bé mét khung v o cỡ x pixel, để xác định hợp lý cần có ớc lợng chuyển động ban đầu chênh lệch v i pixel so với dịch chuyển thực Trong thực tế, chuyển động hai khung kề thờng không 10 pixels Một cách tiếp cận để nhận đợc chuyển động (hay tốc độ) ban đầu l dùng tốc độ lân cận đ tính trớc xác định vùng thích hợp nh Hình 2.45 Một cách tiếp cận khác l dùng phơng pháp cấp bậc (hierarchical) phơng pháp nhiều lới (multigrid) Phơng pháp nhiều lới bất đầu với chuyển động đợc ớc lợng lới thô Lới thô nhận đợc từ khung gốc lọc thông thấp v lÊy mÉu down -sampling PhÐp lÊy mÉu down -sampling l m cho chuyển động (hoặc tốc độ) co lại Tốc độ chuyển động lớn khung gốc bị giảm xuèng theo mét hÖ sè tØ lÖ b»ng hÖ sè down-sampling Tốc độ chuyển động khung down -sampling ớc lợng cách sử dụng phơng pháp r ng buộc không - thời gian với giả thiết tốc độ ban đầu không Các tốc độ ớc lợng đợc lới thô đem nội suy để sinh tốc độ ban đầu lớ i tinh h¬n Cã thĨ sư dơng phÐp néi suy song tuyến tính để nội suy tốc độ Phơng pháp nhiỊu l−íi cã thĨ xem nh− mét vÝ dơ vỊ xử lý hình chóp (pyramid processing), khai thác cấu trúc liệu gọi l hình chóp Một hình chóp liên tiếp cung cấp thô ng tin cô đọng ảnh Một ví dụ hình chóp l ảnh phân giải cao v ảnh độ phân giải thấp Xử lý hình chóp có lợi c¸c øng dơng kh¸c bao gåm kü tht m hoá ảnh đợc thảo luận chơng Một u điểm p hơng pháp r ng buộc không - thời gian so với phơng pháp thích ứng vùng l tính toán đơn giản Ngo i ra, nghiên cứu sơ dựa v o liệu tổng hợp v thực tế phơng pháp r ng buộc không - thời gian víi phÐp néi suy ®a thøc cho f(x, y, t) cho kết không phơng pháp thích ứng vùng khung ảnh có nhiễu v không nhiễu Cả phơng pháp thích ứng vùng v phơng pháp r ng buộc không - thời gian, đa sai số đáng kể ớc lợng chuyển động v i vùng , có thĨ l tÝn hiƯu f(x, y, t) kh«ng thĨ mô hình hoá chuyển động l algorit ớc lợng chuyển động không ho n hảo có nhiễu Một phơng tiện để phát sai số lớn l đem so sánh biểu thức sai số cho phơng pháp thích ứ ng vùng (2.35), biểu thức sai số cho phơng pháp r ng bc kh«ng - thêi gian (2.42) víi mét ng−ìng n o Các vùng sai số vợt ngỡng đợc tuyên bố l 100 Chơng 2: cảI thiện ảnh vùng ớc lợng chuyển động vùng n y phải huỷ bỏ không đáng tin v phép xử lý bù chuyển động y y ã(x,y) (x-1,y-1) dy ˆ dx t-1 x t t0 x H×nh 2.45: Vïng dùng (2,42) để ớc lợng (d x, dy) vị trí không gian (x 0, y0) v thời điểm t Giá trị ớc lợng ( d x , d y ) đại diện cho dịch chuyển tính trớc vị trí l©n cËn 4.3 PhÐp néi suy thêi gian cã bï chuyển động Gỉa sử ta có hai khung liên tiếp ƒ( n1 , n ,t − ) v ƒ( n , n ,t ) nh− Hình 2.46 Ta muốn tạo khung ƒ( n1 , n ,t ) ®ã t − < t < t Mét c¸ch tiếp cận đơn giản l chọn khung gốc gần kỊ vỊ thêi gian víi khung mong mn Mét vÊn ®Ị víi c¸ch tiÕp cËn n y l , nÕu dẫy khung có chuyển động tổng lớn có tợng giật giật Một cách khác l sử dụng phép nội suy bù chuyển động , algorit ớc lợng đ thảo luận tiết trớc Trong phép néi suy thêi gian cã bï chun ®éng , ta giả thiết 101 Chơng 2: cảI thiện ảnh l chuyển động tịnh tiến vùng không - thời gian Tõ ƒ( n1 , n ,t − ) v ƒ( n , n ,t ) ta tính tốc độ f ( n1 ,n2 ,t ) Sau ta chiếu tốc độ đến khung t t0 mặt thời gian gần với thời điểm mong muốn t, nh Hình 2.46 Vì điểm chiếu không gian thờng không nằm lới lấy m ẫu gốc, nên cần phải nội suy không gian để nhận đợc khung nội suy Nếu tốc độ đợc ớc lợng pixel ®Ỉc biƯt ƒ( n1 , n ,t − ) không đợc coi l đủ độ xác, giả thiết l tốc độ Trong trờng hợp n y, giá trị pixel đợc nội suy có trÞ sè gièng nh− ë pixel cïng vÞ trÝ ƒ( n1 , n ,t − ) hc ƒ( n , n ,t ) tuú theo khung n o vỊ thêi gian gÇn víi thêi điểm mong muốn t Không thể dùng ảnh tĩnh để minh ho đặc trng chuyển động phép nội suy khung có bù chuyển động.Tuy nhiên có khái niệm thô cách xem khung tĩnh đợc tạo từ khung ảnh phơng pháp n y.Hình 2.47 trình b y khung: khung gốc Hình 47(a), 1.47(d) v khung đợc nội suy Hình 2.47(b) v 1.47( c) Khung đợc nội suy (b) l cã bï chun ®éng Khung (c) nhËn đợc cách lấy trung bình khung gốc Khung n y cho thấy lợng chuyển động xuất khung gốc khung có độ phân giải không gian l 512 x 512 pixel Khung đợc nội suy ứng với thời điểm khung gèc Chó ý r»ng vÝ dơ n y sử dụng bù chuyển động chất lợng ¶nh néi suy vỊ c¬ b¶n gièng nh− khung gốc Phơng pháp c lợng chuyển động dùng l phơng pháp r ng buộc không - thời gian với phép nội suy đa thức đ thảo luận phần 2.4.2 khung khung khứ nội suy khung đơng thời ã ã ã ã ã ° • t-1 ° • ° • ° • ° t ã t0 102 Chơng 2: cảI thiện ảnh Hình 2.46: T¹o f ( n1 ,n2 ,t ) b»ng c¸ch néi suy ƒ( n1 , n ,t − ) v ƒ( n , n ,t ) Trong vÝ dơ n y dÞch chun (d x, dy) nhận đợc từ ( n1 , n ,t − ) v ƒ( n , n ,t ) ë tõng pixel (n1, n2) t¹i thời điểm t Mỗi pixel thời điểm t đợc chiếu v o vị trí không gian tơng ứng thời điểm t-1 (trong ví dụ n y t gần t -1 t0 ) v cờng độ pixel xác ®Þnh theo ƒ( n1 , n ,t − ) vị trí pixel đợc chiếu đến Lu ý để thực thi thuật toán n y thờng cần ®Õn néi suy kh«ng gian cđa ƒ( n1 , n ,t − ) H×nh 2.47: VÝ dơ vỊ néi suy khung theo thêi gian (a) Khung gèc 1; (a) (b) (c) (d) (b) Khung néi suy b»ng bï chuyển động; (c) Khung nội suy lấy trung bình gi÷a hai khung; (d) Khung gèc PhÐp néi suy có bù chuyển động đ đợc sử dụng việc thay đổi nhịp khung (frame rate).Sự thay đổi nhịp khung phối hợp với thay đổi thang thời gian âm [Lim] để thay đổi độ d i ảnh động chơng trìnhTV Kinh nghiệm với cảnh điển hình (typical scene) cho thấy thay đổi nhịp khung video qua phép nội suy bù chuyển động tạo tín hiệu video với chất lợng so sánh đợc với tín hiệu gốc, ngoại trừ nhịp chuyển động không tự nhiên ®èi víi mét sè ®éng t¸c nh− ®i bé v nói, - xuất hệ số thay đổi nhịp đủ cao [Martinez] 103 Chơng 2: cảI thiện ảnh 4.4 ứng dụng phơng pháp ớc lợng chuyển động v o phÐp néi suy kh«ng gian ý t−ëng chung nội suy bù chuyển động đợc sử dụng để phát triển algorit cho nội suy không gian Để thử algorit mới, ta xét b i toán nội suy không gian cụ thể Nh đ thảo luận tiết 1.4 hệ thống truyền hình NTSC sử dụng format 2:1 ken dòng, nhịp quét 30 khung /giây Một khung bao gồm 525 dòng quét ngang v đợc chia th nh trờng, trờng lẻ bao gồm số dòng lẻ v trờng chẵn chứa dòng chẵn Tạo khung thời điểm t từ trờng thời điểm t thông qua phép nội suy kh«ng gian cã thĨ cã Ých mét sè ứng dụng, bao gồm truyền hình 60 khung/giây m không tăng độ rộng băng tần v cải thiện độ phân giải theo phơng thẳng đứng khung cố định Kỹ thuật nội suy không gian đ thảo luận chơng 1.4.1 đợc sử dụng để tạo khung tõ tr−êng, nh−ng gép thªm mét v i hiĨu biÕt vỊ ¶nh cã thĨ c¶i thiƯn hiệu algorit nội suy không gian Nhiều phần tử giới thị giác nh đờng biên v vết xớc có tính liên tục không gian Thông tin n y đợc khai thác ®Ĩ t¹o khung tõ tr−êng, Gäi f ( x, y − ) v f ( x, y ) l cờng độ ảnh dòng qt ngang kỊ mét tr−êng Ta mn t¹o dòng quét f ( x, y − ) v f ( x, y ) Một mô hình có xét đến tính liên tục không gian phần tử nh đờng biên v vÕt x−íc l : f ( x, y ) = f ( x − d x , y − ) (2.48) ®ã d x l chun động theo phơng ngang y v y Phơng trình (2.48) đợc xem nh l trờng hợp đặc biệt mô hình tịnh tiến với tốc độ công thức (2.29) Biến không gian y (2.48) có chức tơng tự víi biÕn thêi gian t (2.29), v chØ cã mét biÕn kh«ng gian x (2.48) cã ®Õn biÕn kh«ng gian x, y (2.29) Nh− vậy, điều đ thảo luận t rong tiết 1.4.2 áp dụng đợc cho b i toán ớc lợng d x (2.48) Ví dụ, giả thiết chuyển động có tốc độ đều, (2.48) đợc biểu diễn nh sau: (x, y)=(x - v x (y - y − ), y − ) , y − ≤ y ≤ y (2.49) Điều kiện ban đầu l 104 Chơng 2: cảI thiƯn ¶nh vx ∂f ( x, y ) ∂f ( x, y ) + =0 ∂x ∂y (2.50) H×nh 2.48: T¹o mét khung tõ mét tr−êng b»ng phÐp néi suy không gian (a) ảnh 256 x 256 pixel nhận đợc từ (a) (b) ảnh 256 x 128 pixel b»ng néi suy bËc -kh«ng (b) Cịng nh− (a) nh−ng dïng néi suy song tuyÕn tÝnh (c) Còng nh− (a) nhng áp dụng algorit ớc lợng chuyển động (c) Phơng trình (2.48) dùng để phát triển phơng pháp thích ứng vùng v (2.50) dùng để phát triển phơng pháp r ng buộc không - thời gian cho việc ớc lợng d x v x Một chuyển động theo phơng ngang (hoặc tốc độ) đ đợc ớc lợng, đem v o sư dơng néi suy kh«ng gian theo kiểu tơng tự nh phép nội suy thời gian đ thảo luận tiết 2.4.3 Hình 2.48 minh hoạ hiệu algorit nội suy không gian dựa tr ên (2.50) H×nh 2.48(a) biĨu diƠn khung 256 x 256 pixels nhận đợc lặp lại dòng theo phơng ngang ảnh 256 x 128 pixels Hình 2.48(b) l khung nhận đợc phép nội suy không gian song tuyến tính,Hình 2.48(c) l khung nhận đợc ớc lợng chuyển động theo phơng ngang dựa (2.50) v tiếp dùng ớc lợng cho phép nội suy không gian ảnh Hình 2.48(c) bảo tồn tính liên tục không gian đờng cong v vòng đờng biên tốt ảnh Hình 2.48(a) v (b) 105 Chơng 2: cảI thiện ảnh giả mầu v mầu Tô Ta biết thị giác ngời nhậy cảm với mầu Chẳng hạn, số lợng cờng độ phân biệt nhỏ nhiều so với số lợng mầu phân biệt v cờng độ Ngo i ảnh mầu đẹp mắt ngời xem ảnh trắng ®en TÝnh thÈm mü cđa mÇu cã thĨ sư dơng cho c¶i thiƯn ¶nh Trong mét v i øng dơng nh truyền hình thơng mại, sử dụng giả mầu l m bật đối tợng đặc biệt ảnh Ví dụ, chuối mầu đỏ đặt hoa khác có mầu tự nhiên nhận đợc ý ng ời nhiều Trong ứng dụng khác, liệu không đại biểu cho ảnh biểu diễn dới dạng ảnh mầu Trong trờng hợp n y, mầu đợc dùng gọi l mầu tô Ví dụ, phổ tiếng nói biểu diễn lợng tiếng nói theo h m thêi gian v tÇn sè cã thĨ biĨu dới dạng ảnh mầu, với đoạn lặng, đoạn thoại, đoạn phi thoại đợc phân biệt mầu khác v lợng mạnh yếu thể cờng độ mầu Việc dùng mầu để cải thiện ảnh l theo trí tởng tợng nghệ thuật, tuyệt đối nguyên tắc đạo luật lệ n o phải theo Do tiết n y ta tập trung v o ba ví dụ để minh hoạ loại hình dùng mầu cải thiện ảnh Trong ví dụ ta biến đổi ảnh trắng -đen th nh ảnh mầu quy trình đơn giản Để nhận đợc ảnh mầu từ ảnh trắng -đen, trớc hết cho ảnh trắng đen qua lọc thông thấp, lọc thông dải v lọc thông cao Kết nhận đợc sau qua lọc thông thấp đợc coi nh l th nh phần mầu xanh lam ảnh đ qua lọc thông dải coi nh l th nh phần mầu xanh cây, ảnh đ qua bé läc th«ng cao coi nh− l th nh phần mầu đỏ Ba th nh phần đỏ -xanh cây-xanh lam đợc kết hợp th nh ảnh mầu Hình 2.49(a) l ảnh nguồn trắng đen 512x512 pixels, Hình 2.49(b) l ảnh mầu nhận đợc quy trình n y(xem phụ mầu) Mầu dễ coi, nhng quy trình n y tạo ảnh mầu giống với tự nhiên đợc Đem phim trắng -đen chuyển th nh phim mầu nh l Casablanca Its a wonderful life cần đến phép xử lý tinh xảo v nhiỊu pha can thiƯp cđa ng−êi 106 Ch−¬ng 2: cảI thiện ảnh (a) (b) Hình 2.49: Tạo ảnh mầu từ ảnh trắng đen cách ánh xạ kết lọc thông thấp ảnh trắng đen v o th nh phần mầu xanh, ánh xạ kết lọc thông dải ảnh trắng đen v o th nh phần mầu xanh cây, v ánh xạ kết lọc thông thấ p ảnh trắng đen v o th nh phần mầu đỏ Trong ví dụ thứ hai, ta xét hiển thị ớc lợng P x(1, 2) phổ không gian 2-D m n hình ống tia điện tö (CRT) P x(ω1, ω2), - tÝnh b»ng dB, th−êng đợc hiển thị đờng bao Một ví dụ ớc lợng phổ hợp lẽ tối đa cho liệu hai tín hiệu hình sin tạp âm trắng đợc biểu diễn Hình 2.50(a) Cực đại ứng với dB, đờng bao l mức giảm dần 0.5dB so với điểm cực đại Nh đ thảo luận trớc đây, ứng dụng nh phát máy bay tầm thấp d y cảm biến microphone, ta muốn xác định số lợng tín hiệu hình sin diện v tần số chúng Một cách khác để biểu diễn ớc lợng phổ l tô mầu Hình 2.50(b) cho ví dụ, biên độ khác P x(1, 2)đợc ánh xạ v o mầu khác So sánh hai hình thấy Hình 2.50(b) hai đỉnh v vị trí chúng ớc lợng phổ bật Ví dụ thứ ba l sử dụng mầu để hiển thị cự ly Trong ứng dụng nh radar hồng ngoại, cã th«ng tin vỊ cù ly v v c−ên g độ sáng Hình 2.51(a) (xem phụ mầu) l cờng độ ảnh nhiều to nh cách trạm radar tõ tíi km, th«ng tin vỊ cù ly bị che lấp Hình 2.51(b) l ảnh sử dụng mầu để hiển thị cự ly Giá trị cự ly xác định mầu sắc (hue), cờng độ định mức s¸ng cđa m u TÝnh −u viƯt cđa kü tht đợc chứng minh ta nhìn thấy Hình 2.51(b) đờng nằm ngang cự ly gần (ảnh đờng dây điện thoại), Hình 2.51(a) ho n to n không nhìn thấy đợc 107 Chơng 2: cảI thiện ảnh Hình 2.50: Hiển thị đánh giá phổ tô m u (a) Đánh giá hợp lý tối đa phổ -D đợc biểu diễn đồ đờng bao (b) Đánh giá phổ hình (b) đợc biểu diễn m u (xem ảnh m u kèm theo) (a) (b) Hình 151: Hiển thị thông tin cự ly mầu sắc (a) Cờng độ ảnh m ột ảnh radar hồng ngoại với thông tin cự ly bị loại bỏ; (b) ảnh hình (a) với thông tin cự ly đợc hiển thị mầu sắc 108 ... 52 48 44 40 36 32 28 24 20 16 12 (64) ( 62) (59) (56) ( 52) (48) (43) (38) ( 32) (26 ) (21 ) (16) ( 12) (8) - (5) (2) 10 11 g 12 13 14 15 Hình 2. 3(d) Cờng độ đầu 46 Chơng 2: c¶I thiƯn ¶nh g 14 13 12. .. (c) Hình 2. 32: Các ví dụ h(n 1,n2) sư dơng viƯc lÊy xÊp xØ ∇²f(x,y) b»ng f(n1, n2)h(n1,n2) 77 Chơng 2: cảI thiện ảnh từ (2. 12) v (2. 13) ∂ f ( x, y ) →fxx(n1 ,n2 ) = f(n1 +1,n2) - 2f(n 1,n 2) + f(n... dùng cho cải thiện ảnh 51 Chơng 2: cảI thiện ảnh Hình 2. 9 minh hoạ tính lọc thông cao, Hình 2. 9(a) l ảnh gèc 25 6 × 25 6 pixel v H×nh 2. 9(b) l kÕt sử dụng lọc thông cao Hình 2. 9(a) Mặc dù ảnh gốc