(a) Hình ảnh gốc.
(b) Phép gần đúng của hình ảnh thu đƣợc bằng cách chỉ giữ 10% hệ số wavelet lớn nhất
Hình 2.4 cho thấy một ví dụ về một hình ảnh và giá tri gần đúng. Đây là mấu chốt của phép tính gần đúng phi tuyến vì chọn hệ số để giữ giá trị gần đúng phụ thuộc vào chính tín hiệu đó. Tƣơng tự nhƣ vậy, tín hiệu đã biết chỉ ra hình ảnh tự nhiên có khoảng biến đổi wavelet rời rạc, quá trình cùng ngƣỡng này có vai trò nhƣ là phƣơng pháp khử tiếng ồn (nhiễu) phổ biến, những loại thƣờng ko có trong biến đổi wavelet rải rác.
2.4.1.2. Dạng hình học của tín hiệu rời rạc
Rải rác hóa là một mô hình rất phi tuyến, từ việc lựa chọn các yếu tố thƣ viện cơ sở đƣợc sử dụng có thể thay đổi từ tín hiệu đến tín hiệu. Điều này có thể đƣợc thấy
GVHD:PGS.TS Nguyễn Thúy Anh SVTH:Đoàn Khánh Linh16
bằng cách quan sát đƣợc một cặp tín hiệu thƣa thớt, một tổ hợp tuyến tính của hai tín hiệu không còn thƣa thớt, từ dẫn chứng đó có thể tín hiệu không trùng khớp. Đó là, cho bất kỳ , z k, chúng ta không nhất thiết phải có x + z k (mặc dù chúng ta là có x + z 2k). Điều này đƣợc minh họa trong hình 2.5, trong đó cho thấy 2 đƣợc ẩn trong 3,, tức là tập tất cả các tín hiệu hai giá trị thƣa thớt trong 3,.
Hình 2.5: tập hợp không gian con được tạo bởi 2 3
, tức là tập tất cả các tín hiệu haigiá trị thưa thớt trong 3,…,tập tất cả hai tín hiệu rải rác trong 3
Tập tín hiệu rải rác k không tạo thành một không gian tuyến tính. Thay vào đó nó bao gồm tập tất cả các không gian con chính tắc ( ). Trong hình 2.5 chúng ta chỉ có( ) = 3 không gian con có đƣợc, nhƣng đối với giá trị lớn hơn của và chúng ta phải xem xét một số tiềm năng rất lớn của không gian con. Điều này sẽ có những kết quả đầy ý nghĩa trong sự phát triển của các thuật toán gần đúng thƣa thớt và phục hồi tín hiệu thƣa thớt.
2.4.2. Tín hiệu thƣa thớt và có thể nén
Tín hiệu thưa thớt
Cho một tín hiệu rời rạc chiều dài hữu hạn, có thể biểu diễn nhƣ một vector cột trong RN với các thành phần x[n], n=1,2…N. Bất kỳ tín hiệu trong RN nào
GVHD:PGS.TS Nguyễn Thúy Anh SVTH:Đoàn Khánh Linh17
đều có thể biểu diễn thông qua một vector cơ sở trực chuẩn : { i} .Sử dụng ma trận cơ sở : =[ 1 2.... N], với các vectơ { i} là các vectơ cột, thì một tín hiệu x có thể biểu diễn nhƣ sau :
x = ∑
hoặc x = .s
Ở đây s là một vectơ cột của các trọng số Si x, x và .T là kí hiệu ma trận chuyển vị. Nói cách khác thì và là sự biểu diễn của cùng một tín hiệu, trong miền thời gian (hoặc không gian), trong miền .
Tín hiệu chiều dài đƣợc gọi là thƣa thớt nếu là một sự kết hợp tuyến tính của duy nhất vectơ cơ sở, do đó chỉ duy nhất trọng số si là khác 0 và ( ) trọng số là bằng 0. Trong trƣờng hợp mà thì tín hiệu gọi là thƣa thớt và có thể nén, tức là nó có thể đƣợc biểu diễn chỉ với trọng số lớn và nhiều trọng số nhỏ.
Tín hiệu nén
Một điểm quan trọng trong thực tế là có rất ít tín hiệu thực tế thực sự thƣa thớt; thay vào đó họ nén lại, có nghĩa là chúng có thể đƣợc coi xấp xỉ bằng một tín hiệu thƣa thớt. Tín hiệu nhƣ vậy đƣợc gọi là tín hiệu nén,với khoảng cách rải rác, hoặc tƣơng đối rải rác trong những bối cảnh khác nhau. Tín hiệu nén cũng đƣợc coi là gần đúng với các tín hiệu thƣa thớt trong cùng một chiều mà các tín hiệu lân cận nhau trong một không gian con đƣợc coi là xấp xỉ bởi vài thành phần chính đầu tiên. Trong thực tế, chúng ta có thể xác định số lƣợng mẫu nén bằng cách tính toán lỗi phát sinh bởi một tín hiệu gần đúng x bằng một số ̂ k :
k(x)p = ̂ ∑ ‖ ̂‖p (2.2)
Nếu x k, thì rõ ràng k(x)p = 0 với p bất kỳ. Hơn nữa, ta có thể dễ dàng thấy rằng ngƣỡng đƣợc cho sẵn mô tả ở trên (chỉ giữ lại hệ số k lớn nhất). Kết quả tối ƣu trong phép tính gần đúng đƣợc đo bằng công thức (2.2) cho tất cả chuẩn p.
GVHD:PGS.TS Nguyễn Thúy Anh SVTH:Đoàn Khánh Linh18
Một cách khác để hiểu về tín hiệu nén là quan tâm đến hệ số suy hao của tín hiệu. Cho nhiều phần quan trọng của tín hiệu tồn tại các cơ số mà hệ số tuân theo một định luật hàm mũ suy hao, trong trƣờng hợp các tín hiệu đƣợc nén ở mức độ cao. Đặc biệt, nếu và chúng ta sắp xếp các hệ số ci nhƣ vậy sao cho |c1| |c2| … |cn|, sau đó chúng ta nói rằng hệ số đó tuân theo một định luật hàm mũ suy hao nếu có tồn tại các hằng số C1, , sao cho:
|ci| C1i-q
càng lớn thì mức độ suy hao càng nhanh, và tín hiệu nén càng nhiều. Vì hệ số suy hao rất nhanh nên tín hiệu nén có thể đƣợc biểu diễn chính xác bởi hệ số . Đặc biệt, với tín hiệu đã cho tồn tại hằng số C2, r 0 chỉ phụ thuộc vào C1 và q sao cho:
k(x)2 C2k-r
Trong thực tế ta có thể thấy rằng k(x)2 sẽ suy hao nhƣ k-r khi và chỉ khi hệ số suy hao ci bằng i-r+1/2
2.4.3 Tập hợp hữu hạn các không gian con
Trong một ứng dụng, tín hiệu có cấu trúc ko thể thể hiện một cách hoàn toàn khi sử dụng sparsity alone. Ví dụ, khi chỉ có một số mô hình hỗ trợ thƣa đƣợc cho phép trong tín hiệu, nó có thể tận dụng những hạn chế nhƣ vậy để xây dựng mô hình tín hiệu ngắn gọn hơn. Chúng tôi đƣa ra một vài ví dụ tiêu biểu dƣới đây:
Cho tín hiệu và hình ảnh piecewise-smooth, các hệ số chi phối trong biến đổi wavelet có xu hƣớng nhóm lại thành một nhánh nghiệm đã kết nối bên trong cây nhị phân cha -con wavelet.
Trong các ứng dụng nhƣ giám sát hoặc ghi âm, các hệ số có thể xuất hiện theo từng nhóm với nhau hoặc từng phần cách nhau riêng biệt. Khi nhiều tín hiệu thƣa thớt đƣợc ghi đồng thời, những hỗ trợ của chúng có thể liên quan theo các tính chất của môi trƣờng cảm biến. Một cấu trúc có thể dẫn đến việc đo lƣờng nhiều vấn đề về vector. Trong một số trƣờng hợp một số lƣợng nhỏ các tín hiệu thƣa thớt tƣơng ứng không tới các vector (cột của một ma trận ), nhƣng thay vì đó lại đến các điểm đã biết nằm
GVHD:PGS.TS Nguyễn Thúy Anh SVTH:Đoàn Khánh Linh19
trong các không gian con riêng. Nếu chúng ta xây dựng một khung bằng cách ghép các chuẩn cho các không gian con thì các hệ số non - zero của tín hiệu đại diện hình thành các cấu trúc khối tại các điểm đã biết.
Ví dụ nhƣ cơ cấu bổ sung có thể đƣợc chụp trong điều kiện hạn chế tín hiệu khả thi hỗ trợ cho một tập hợp nhỏ các lựa chọn ( ) khả thi của các hệ số khác không cho một tín hiệu thƣa thớt. Các mô hình này thƣờng đƣợc gọi là mô hình cấu trúc thƣa thớt. Trong trƣờng hợp các hệ số khác không xuất hiện thành nhóm. Các cấu trúc có thể đƣợc diễn tả thỏa mãn điều kiện của một tập hợp các không gian con thƣa thớt. Cấu trúc thƣa thớt và tập hợp các mô hình không gian con mở rộng khái niệm thƣa thớt tới nhiều lớp rộng hơn của tín hiệu và có thể kết hợp cả hai đại diện chiều hữu hạn và chiều vô hạn.
Để xác định các mô hình này, nhớ lại các tín hiệu thƣa thớt kiểu mẫu, tập hợp Σk
bao gồm các không gian con mẫu Ui đƣợc liên kết vs bên ngoài hệ trục tọa độ n của Rn . Xem hình 2.5, với = 3 và = 2. Cho phép nhiều sự lựa chọn chung cho Ui dẫn đến sự biểu diễn mạnh hơn phù hợp với rất nhiều tín hiệu thú vị ban đầu. Đặc biệt, biết rằng x nằm trong một trong M không gian con khả thi U1, U2, … UM , ta có nằm trong tập hợp M không gian con
⋃
Lƣu ý rằng, nhƣ trong cấu hình thƣa thớt chung, tập hợp các mô hình là phi tuyến: tổng hai tín hiệu từ một tập hợp không còn thuộc . Thành phần phi tuyến này của tín hiệu làm cho bất kỳ một quá trình nào có lợi cho các mô hình này đều phức tạp hơn. Vì vậy, thay vì cố gắng xử lý tất cả các tập hợp theo một cách thống nhất, ta tập trung vào một số các trƣờng hợp đặc biệt của tập hợp các mô hình theo độ phức tạp.
Lớp đơn giản nhất của các tập hợp phát sinh khi một số các không gian con bao gồm các tập hợp là hữu hạn và mỗi không gian con đều có kích thƣớc hữu hạn. Ta gọi
GVHD:PGS.TS Nguyễn Thúy Anh SVTH:Đoàn Khánh Linh20
đó là thiết lập một tập hợp mô hình không gian con hữu hạn. Trong kết cấu hữu hạn chiều, ta xem lại hai loại mô hình đã mô tả ở trên:
Cấu trúc hỗ trợ rải rác: lớp này bao gồm các vector rải rác đáp ứng hạn chế bổ sung cho sự hỗ trợ (i.e.. tập hợp các chỉ số cho các phần khác không của vector). Điều này tƣơng ứng với việc chỉ một không gian con đƣợc ra khỏi các không gian con ( ) hiện diện trong Σkđƣợc cho phép.
Tập hợp các không gian con rải rác: tại đó mỗi không gian con bao gồm tập hợp các tổng trực tiếp của các không gian con k ít chiều.
Ở đây Ai là một tập hợp các không gian con với kích thƣớc dim(Ai) = di và
chọn của các không gian con. Nhƣ vậy, mỗi không gian con tƣơng ứng với một sự lựa chọn khác nhau của bên ngoài M không gian con Ai bao gồm cả tổng. Cấu trúc này có thể mô hình sự rải rác tiêu chuẩn bằng cách để Ạ trở thành vùng không gian con một chiều với vector mẫu jth .Điều đó chỉ ra rằng mô hình này dẫn tới việc ngặn cản sự rải rác trong đó các khối xác định bên trong vector bằng không, và các phần còn lại khác không.
Có hai trƣờng hợp có thể kết hợp để cho phép một tổng nhất định của không gian con là một phần của tập hợp U. Cả hai mô hình trên đều có thể đƣợc tận dụng để làm giảm hơn nữa tỉ lệ lấy mẫu và cho phép lấy mẫu nén của một lớp rộng hơn của tín hiệu.
2.4.4. Tập hợp các không gian con cho các mô hình tín hiệu tƣơng tự
Một trong những động lực chính cho lấy mẫu nén là thiết kế các hệ thống cảm biến mới để có đƣợc thời gian liên tục, tín hiệu hoặc các hình ảnh tƣơng tự. Ngƣợc lại, mô hình rời rạc hữu hạn chiều mô tả ở trên vốn giả thiết rằng các tín hiệu x là rời rạc. Đôi khi có thể mở rộng mô hình này với các tín hiệu thời gian liên tục sử dụng một đại
GVHD:PGS.TS Nguyễn Thúy Anh SVTH:Đoàn Khánh Linh21
diện rời rạc trung gian. Ví dụ, trong một băng tần hạn chế, một tín hiệu tuần hoàn có thể đƣợc biểu diễn bởi một vector chiều dài hữu hạn bao gồm tỷ lệ các mẫu Nyquist của nó. Tuy nhiên, nó thƣờng sẽ có ích hơn để mở rộng các khái niệm về sự rời rạc để cung cấp tập hợp các không gian con cho các mô hình tín hiệu tƣơng tự. Hai trong số các khuôn khổ rộng lớn hơn của nghiên cứu lấy mẫu tín hiệu tƣơng tự phụ Nyquist là Sampling và tốc độ hữu hạn của sự đổi mới.
Khi nghiên cứu tập hợp không gian con cho tín hiệu tƣơng tự có ba trƣờng hợp chính để xem xét:
Tập hợp hữu hạn của không gian vô hạn chiều. Tập hơp vô hạn của không gian hữu hạn chiều. Tập hơp vô hạn của không gian vô hạn chiều.
Trong mỗi trƣờng hợp ở trên có một yếu tố mà có thể mất trong giá trị vô hạn, nó là kết quả thực tế của việc xem xét các tín hiệu analog hoặc các không gian con cơ bản là vô hạn chiều, hoặc số lƣợng không gian con là vô hạn.
Có nhiều ví dụ điển hình của tín hiệu tƣơng tự có thể đƣợc diễn tả nhƣ một sự kết hợp của không gian con. Ví dụ, một nhóm tín hiệu quan trọng tƣơng ứng với tập hợp hữu hạn của không gian vô hạn chiều là mô hình nhiều băng.Trong mô hình này, các tín hiệu tƣơng tự bao gồm một tổng hữu hạn của tín hiệu băng tần hạn chế, nơi mà các thành phần tín hiệu thƣờng có băng thông tƣơng đối nhỏ nhƣng đƣợc phân phối trên một dải tần số tƣơng đối lớn.
Một ví dụ khác của một lớp tín hiệu thƣờng có thể đƣợc diễn tả nhƣ tập hợp của không gian con là lớp của tín hiệu có tốc độ hữu hạn của sự đổi mới. Tùy thuộc vào cấu trúc cụ thể, mô hình này tƣơng ứng với một tập hợp vô hạn hay hữu hạn của không gian con hữu hạn chiều, và mô tả nhiều tín hiệu phổ biến có một số ít các bậc tự do. Trong trƣờng hợp này, mỗi không gian con tƣơng ứng với một sự lựa chọn nhất định của giá trị tham số, với các thiết lập của giá trị có thể là vô hạn chiều, và do đó số
GVHD:PGS.TS Nguyễn Thúy Anh SVTH:Đoàn Khánh Linh22
lƣợng không gian con mở rộng của mô hình là vô hạn. Mục tiêu cuối cùng là để khai thác các cấu trúc có sẵn để giảm tốc độ lấy mẫu. Bằng cách dựa vào sự kết hợp tƣơng tự của mô hình không gian con chúng ta có thể thiết kế phần cứng hiệu quả mà tín hiệu mẫu tƣơng tự ở mức phụ Nyquist, do đó đƣa các lý thuyết analog lấy mẫu nén từ lý thuyết vào thực tế.
2.4.5. Mô hình ma trận bậc thấp
Một mô hình liên quan chặt chẽ đến sự rời rạc là tập hợp các ma trận bậc thấp:
{ }
Thiết lập gồm cócác ma trận M sao cho
∑
Khi là các giá trị đơn lẻ khác 0, và ,
là các vector đơn lẻ tƣơng ứng. Thay vì hạn chế số lƣợng các yếu tố đƣợc sử dụng để xây dựng các tín hiệu, chúng tôi hạn chế số lƣợng các giá trị đơn lẻ khác không.
Ta có thể dễ dàng quan sát rằng các thiết lập có bậc tự do bằng cách đếm số lƣợng các tham số tự do trong quá trình phân tích giá trị đơn. Đối với nhỏ, số bậc này thấp hơn đáng kể so với số bậc trong ma trận . Ma trận bậc thấp phát sinh trong một loạt các thiết lập thực tế. Ví dụ, ma trận bậc thấp Hankel tƣơng ứng tuyến tính bậc thấp, hệ thống thời gian bất biến. Trong nhiều vấn đề dữ liệu nhúng, chẳng hạn nhƣ cảm biến định vị, ma trận khoảng cách theo cặp thƣờng sẽ có bậc hai hoặc ba. Cuối cùng, gần nhƣ ma trận bậc thấp phát sinh một các tự nhiên trong điều kiện các hệ thống lọc cộng tác nhƣ hệ thống Netflix đề xuất và cácvấn đề liên quan hoàn thành ma trận, nơi mà một ma trận thứ hạng thấp đƣợc phục hồi từ một mẫu nhỏ của bản thân nó. Mặc dù chúng tôi không hoàn toàn tập trung chuyên sâu về ma trận hoặc các vấn đề tổng quát hơn về phục hồi ma trận bậc thấp, chúng tôi lƣu ý rằng nhiều
GVHD:PGS.TS Nguyễn Thúy Anh SVTH:Đoàn Khánh Linh23
khái niệm và các công cụ xử lý trong cuốn sách này là rất phù hợp với lĩnh vực mới nổi này, cả hai đều từ một lý thuyết và thuật toán quan điểm.
2.4.6.Các mô hình tham số và đa tạp (manifold)
Mô hình tham số và đa tạp hình thành theo cách khác, nhiều lớp chung của các mô hình tín hiệu ít chiều hơn. Những mô hình này phát sinh khi một tham số liên tục có giá trị -chiều có thể đƣợc xác định rằng các sóng mang có chứa tín hiệu và tín hiệu f(ɵ) ϵ Rn thay đổi nhƣ là một chức năng liên tục (thƣờng là phi tuyến) của những tham số này. Ví dụ điển hình là một tín hiệu một chiều đã dịch chuyển bởi một khoảng thời