Tín hiệu thường được lấy gần đúng như một tổ hợp tuyến tính của một vài yếu tố từ một thành phần cơ bản đã biết hoặc trong thư viện. Khi phép biểu diễn này chính xác chúng ta nói rằng tín hiệu rải rác. Mô hình tín hiệu thưa cung cấp một khuôn khổ toán học để chụp hình thực trong nhiều trường hợp các tín hiệu đa chiều chứa tương đối ít thông tin so với kích thước môi trường xung quanh nó. Rải rác hóa tín hiệu có thể được coi là một sự thay thế Occam's razor - khi phải đối mặt với nhiều phương thức để đại diện cho một tín hiệu, sự lựa chọn đơn giản nhất là tốt nhất.
GVHD: PGS.TS Nguyễn Hữu Trung Học viên: Hoàng Minh Giang – CB141009 Page | 45
2.4.1.1 Phép lấy mẫu thƣa và gần đúng phi tuyến
Trong toán học, chúng ta nói rằng một tín hiệu x có giá trị thưa khi nó có ở hầu hết các điểm khác 0, nghĩa là: ||x||0 cho phép
k ={ x : ||x||0 }
biểu diễn tập hợp tất cả các tín hiệu - rải rác. Thông thường chúng ta phải làm việc với những tín hiệu liên tục. Nhưng nó nhận một giá trị rải rác trong một vài ϕ
cơ sở. Trong trường hợp này chúng ta vẫn coi x tương đương với mẫu rải rác, có thể biểu diễn x như sau: x= ϕ c với ||c||0
Phép lấy mẫu rải rác từ lâu đã được khai thác trong xử lý tín hiệu và lý thuyết xấp xỉ cho các nhiệm vụ như nén và giảm nhiễu, và trong số liệu thuyết thống kê và học tập như một phương pháp để tránh overfitting. Lấy mẫu rời rạc cũng mô tả tính nổi bật trong lý thuyết xác suất thống kê và mô hình chọn lọc, trong việc nghiên cứu hệ thống thị giác của con người, và đã được khai thác rất nhiều trong công việc xử lý hình ảnh, kể từ khi chuyển đổi wavelet multiscale cung cấp phép biểu diễn gần như rời rạc cho hình ảnh tự nhiên. Một ví dụ được hiển thị trong hình 2.3.
Giống như ứng dụng truyền thống của mô hình lấy mẫu thưa, chúng ta quan tâm đến các vấn đề nén hình ảnh và giảm nhiễu hình ảnh. Hầu hết các hình ảnh tự nhiên được đặc trưng bởi mặt phẳng lớn hoặc kết cấu lớn và tương đối ít các cạnh sắc nét. Những tín hiệu với dạng cấu trúc này được biết đến là rất gần thưa khi được biểu diễn bằng cách sử dụng biến đổi wavelet multiscale. Phép biến đổi wavelet bao gồm phân chia hình ảnh đệ quy thành các thành phần tần số thấp và tần số cao. Các thành phần tần số thấp nhất cung cấp hình ảnh thô gần đúng, trong khi các thành phần tần số cao hơn thêm vào các chi tiết và độ phân giải sắc nét.
Những gì chúng ta thấy khi ta tính toán một biến đổi wavelet của một hình ảnh tự nhiên điển hình, như hình 2.3 hầu hết các hệ số đều rất nhỏ. Do đó, chúng ta có thể có được một phép đo gần đúng của tín hiệu bằng cách thiết lập hệ số nhỏ xấp xỉ không, hoặc hệ số ngưỡng để biểu diễn được giá trị rời rạc. Khi phép tính gần
GVHD: PGS.TS Nguyễn Hữu Trung Học viên: Hoàng Minh Giang – CB141009 Page | 46
đúng lỗi thì sử dụng một chuẩn p, phương pháp này đạt hiệu quả gần đúng tốt nhất giới hạn so với tín hiệu ban đầu, tức là phép tính gần đúng tốt nhất của tín hiệu sử dụng thành phần cơ bản.
Hình 2.4 lấy mẫu rải rác gần đúng của một hình ảnh tự nhiên.
(a) Hình ảnh gốc.
(b) Phép gần đúng của hình ảnh thu được bằng cách chỉ giữ 10% hệ số wavelet lớn nhất
Hình 2.4 cho thấy một ví dụ về một hình ảnh và giá tri gần đúng. Đây là mấu chốt của phép tính gần đúng phi tuyến vì chọn hệ số để giữ giá trị gần đúng phụ thuộc vào chính tín hiệu đó. Tương tự như vậy, tín hiệu đã biết chỉ ra hình ảnh tự nhiên có khoảng biến đổi wavelet rời rạc, quá trình cùng ngưỡng này có vai trò như là phương pháp khử tiếng ồn (nhiễu) phổ biến, những loại thường ko có trong biến đổi wavelet rải rác.
GVHD: PGS.TS Nguyễn Hữu Trung Học viên: Hoàng Minh Giang – CB141009 Page | 47
2.4.1.2 Dạng hình học của tín hiệu rời rạc
Rải rác hóa là một mô hình rất phi tuyến, từ việc lựa chọn các yếu tố thư viện cơ sở được sử dụng có thể thay đổi từ tín hiệu đến tín hiệu. Điều này có thể được thấy bằng cách quan sát được một cặp tín hiệu thưa, một tổ hợp tuyến tính của hai tín hiệu không còn thưa, từ dẫn chứng đó có thể tín hiệu không trùng khớp. Đó là, cho bất kỳ , z k, chúng ta không nhất thiết phải có x + z k (mặc dù chúng ta là có x + z 2k). Điều này được minh họa trong hình 2.5, trong đó cho thấy 2
được ẩn trong 3
,, tức là tập tất cả các tín hiệu hai giá trị thưa trong 3,.
Hình 2.5 tập hợp không gian con đƣợc tạo bởi 2 3
Tức là tập tất cả các tín hiệu hai giá trị thưa trong 3,…,tập tất cả hai tín hiệu rải rác trong 3
Tập tín hiệu rải rác k không tạo thành một không gian tuyến tính. Thay vào đó nó bao gồm tập tất cả các không gian con chính tắc ( ). Trong hình 2.5 chúng ta chỉ có. / = 3 không gian con có được, nhưng đối với giá trị lớn hơn của và chúng ta phải xem xét một số tiềm năng rất lớn của không gian con. Điều này
GVHD: PGS.TS Nguyễn Hữu Trung Học viên: Hoàng Minh Giang – CB141009 Page | 48
sẽ có những kết quả đầy ý nghĩa trong sự phát triển của các thuật toán gần đúng thưa và phục hồi tín hiệu thưa.
2.4.2 Tín hiệu thƣa và có thể nén
2.4.2.1 Tín hiệu thƣa
Cho một tín hiệu rời rạc chiều dài hữu hạn, có thể biểu diễn như một vector cột trong RN với các thành phần x[n], n=1,2…N. Bất kỳ tín hiệu trong RN nào đều có thể biểu diễn thông qua một vector cơ sở trực chuẩn : { i} . Sử dụng ma trận cơ sở : =[ 1 2.... N], với các vectơ { i} là các vectơ cột, thì một tín hiệu x có thể biểu diễn như sau :
x = ∑
hoặc x = .s
Ở đây s là một vectơ cột của các trọng số Si x, x và .T là kí hiệu ma trận chuyển vị. Nói cách khác thì và là sự biểu diễn của cùng một tín hiệu, trong miền thời gian (hoặc không gian), trong miền .
Tín hiệu chiều dài được gọi là thưa nếu là một sự kết hợp tuyến tính của duy nhất vectơ cơ sở, do đó chỉ duy nhất trọng số si là khác 0 và ( ) trọng số là bằng 0. Trong trường hợp mà thì tín hiệu gọi là thưa và có thể nén, tức là nó có thể được biểu diễn chỉ với trọng số lớn và nhiều trọng số nhỏ.
2.4.2.2 Tín hiệu nén
Một điểm quan trọng trong thực tế là có rất ít tín hiệu thực tế thực sự thưa; thay vào đó họ nén lại, có nghĩa là chúng có thể được coi xấp xỉ bằng một tín hiệu thưa. Tín hiệu như vậy được gọi là tín hiệu nén, với khoảng cách rải rác, hoặc tương
GVHD: PGS.TS Nguyễn Hữu Trung Học viên: Hoàng Minh Giang – CB141009 Page | 49
đối rải rác trong những bối cảnh khác nhau. Tín hiệu nén cũng được coi là gần đúng với các tín hiệu thưa trong cùng một chiều mà các tín hiệu lân cận nhau trong một không gian con được coi là xấp xỉ bởi vài thành phần chính đầu tiên. Trong thực tế, chúng ta có thể xác định số lượng mẫu nén bằng cách tính toán lỗi phát sinh bởi một tín hiệu gần đúng x bằng một số ̂ k :
k(x)p = ̂ ∑ ‖ ̂‖p
(2.2)
Nếu x k, thì rõ ràng k(x)p = 0 với p bất kỳ. Hơn nữa, ta có thể dễ dàng thấy rằng ngưỡng được cho sẵn mô tả ở trên (chỉ giữ lại hệ số k lớn nhất). Kết quả tối ưu trong phép tính gần đúng được đo bằng công thức (2.2) cho tất cả chuẩn p.
Một cách khác để hiểu về tín hiệu nén là quan tâm đến hệ số suy hao của tín hiệu. Cho nhiều phần quan trọng của tín hiệu tồn tại các cơ số mà hệ số tuân theo một định luật hàm mũ suy hao, trong trường hợp các tín hiệu được nén ở mức độ cao. Đặc biệt, nếu và chúng ta sắp xếp các hệ số ci như vậy sao cho |c1| |c2| … |cn|, sau đó chúng ta nói rằng hệ số đó tuân theo một định luật hàm mũ suy hao nếu có tồn tại các hằng số C1, , sao cho:
|ci| C1i-q
càng lớn thì mức độ suy hao càng nhanh, và tín hiệu nén càng nhiều. Vì hệ số suy hao rất nhanh nên tín hiệu nén có thể được biểu diễn chính xác bởi hệ số . Đặc biệt, với tín hiệu đã cho tồn tại hằng số C2, r 0 chỉ phụ thuộc vào C1 và q sao cho:
k(x)2 C2k-r
Trong thực tế ta có thể thấy rằng k(x)2 sẽ suy hao như k-r khi và chỉ khi hệ số suy hao ci bằng i-r+1/2
GVHD: PGS.TS Nguyễn Hữu Trung Học viên: Hoàng Minh Giang – CB141009 Page | 50
2.4.3 Tập hợp hữu hạn các không gian con
Trong một ứng dụng, tín hiệu có cấu trúc ko thể thể hiện một cách hoàn toàn khi sử dụng thưa đơn nhất (sparsity alone). Ví dụ, khi chỉ có một số mô hình hỗ trợ thưa được cho phép trong tín hiệu, nó có thể tận dụng những hạn chế như vậy để xây dựng mô hình tín hiệu ngắn gọn hơn. Chúng tôi đưa ra một vài ví dụ tiêu biểu dưới đây:
Cho tín hiệu và hình ảnh piecewise-smooth, các hệ số chi phối trong biến đổi wavelet có xu hướng nhóm lại thành một nhánh nghiệm đã kết nối bên trong cây nhị phân cha -con wavelet. Trong các ứng dụng như giám sát hoặc ghi âm, các hệ số có thể xuất hiện theo từng nhóm với nhau hoặc từng phần cách nhau riêng biệt. Khi nhiều tín hiệu thưa được ghi đồng thời, những hỗ trợ của chúng có thể liên quan theo các tính chất của môi trường cảm biến. Một cấu trúc có thể dẫn đến việc đo lường nhiều vấn đề về vector.
Trong một số trường hợp một số lượng nhỏ các tín hiệu thưa tương ứng không tới các vector (cột của một ma trận ), nhưng thay vì đó lại đến các điểm đã biết nằm trong các không gian con riêng. Nếu chúng ta xây dựng một khung bằng cách ghép các chuẩn cho các không gian con thì các hệ số non - zero của tín hiệu đại diện hình thành các cấu trúc khối tại các điểm đã biết.
Ví dụ như cơ cấu bổ sung có thể được chụp trong điều kiện hạn chế tín hiệu khả thi hỗ trợ cho một tập hợp nhỏ các lựa chọn ( ) khả thi của các hệ số khác không cho một tín hiệu thưa. Các mô hình này thường được gọi là mô hình cấu trúc thưa. Trong trường hợp các hệ số khác không xuất hiện thành nhóm. Các cấu trúc có thể được diễn tả thỏa mãn điều kiện của một tập hợp các không gian con thưa. Cấu trúc thưa và tập hợp các mô hình không gian con mở rộng khái niệm thưa tới nhiều lớp rộng hơn của tín hiệu và có thể kết hợp cả hai đại diện chiều hữu hạn và chiều vô hạn.
GVHD: PGS.TS Nguyễn Hữu Trung Học viên: Hoàng Minh Giang – CB141009 Page | 51
Để xác định các mô hình này, nhớ lại các tín hiệu thưa kiểu mẫu, tập hợp Σk bao gồm các không gian con mẫu Ui được liên kết vs bên ngoài hệ trục tọa độ n của Rn . Xem hình 2.5, với = 3 và = 2. Cho phép nhiều sự lựa chọn chung cho Ui dẫn đến sự biểu diễn mạnh hơn phù hợp với rất nhiều tín hiệu thú vị ban đầu. Đặc biệt, biết rằng x nằm trong một trong M không gian con khả thi U1, U2, … UM , ta có nằm trong tập hợp M không gian con
⋃
Lưu ý rằng, như trong cấu hình thưa chung, tập hợp các mô hình là phi tuyến: tổng hai tín hiệu từ một tập hợp không còn thuộc . Thành phần phi tuyến này của tín hiệu làm cho bất kỳ một quá trình nào có lợi cho các mô hình này đều phức tạp hơn. Vì vậy, thay vì cố gắng xử lý tất cả các tập hợp theo một cách thống nhất, ta tập trung vào một số các trường hợp đặc biệt của tập hợp các mô hình theo độ phức tạp.
Lớp đơn giản nhất của các tập hợp phát sinh khi một số các không gian con bao gồm các tập hợp là hữu hạn và mỗi không gian con đều có kích thước hữu hạn. Ta gọi đó là thiết lập một tập hợp mô hình không gian con hữu hạn. Trong kết cấu hữu hạn chiều, ta xem lại hai loại mô hình đã mô tả ở trên:
Cấu trúc hỗ trợ rải rác: lớp này bao gồm các vector rải rác đáp ứng hạn chế bổ sung cho sự hỗ trợ (i.e.. tập hợp các chỉ số cho các phần khác không của vector). Điều này tương ứng với việc chỉ một không gian con được ra khỏi các không gian con ( ) hiện diện trong Σk được cho phép.
Tập hợp các không gian con rải rác: tại đó mỗi không gian con bao gồm tập hợp các tổng trực tiếp của các không gian con k ít chiều.
GVHD: PGS.TS Nguyễn Hữu Trung Học viên: Hoàng Minh Giang – CB141009 Page | 52
Ở đây Ai là một tập hợp các không gian con với kích thước dim(Ai) = di và
chọn của các không gian con. Như vậy, mỗi không gian con tương ứng với một sự lựa chọn khác nhau của bên ngoài M không gian con Ai bao gồm cả tổng. Cấu trúc này có thể mô hình sự rải rác tiêu chuẩn bằng cách để Ạ trở thành vùng không gian con một chiều với vector mẫu jth .Điều đó chỉ ra rằng mô hình này dẫn tới việc ngặn cản sự rải rác trong đó các khối xác định bên trong vector bằng không, và các phần còn lại khác không.
Có hai trường hợp có thể kết hợp để cho phép một tổng nhất định của không gian con là một phần của tập hợp U. Cả hai mô hình trên đều có thể được tận dụng để làm giảm hơn nữa tỉ lệ lấy mẫu và cho phép lấy mẫu nén của một lớp rộng hơn của tín hiệu.
2.4.4 Tập hợp các không gian con cho các mô hình tín hiệu tƣơng tự
Một trong những động lực chính cho lấy mẫu nén là thiết kế các hệ thống cảm biến mới để có được thời gian liên tục, tín hiệu hoặc các hình ảnh tương tự. Ngược lại, mô hình rời rạc hữu hạn chiều mô tả ở trên vốn giả thiết rằng các tín hiệu x là rời rạc. Đôi khi có thể mở rộng mô hình này với các tín hiệu thời gian liên tục sử dụng một đại diện rời rạc trung gian. Ví dụ, trong một băng tần hạn chế, một tín hiệu tuần hoàn có thể được biểu diễn bởi một vector chiều dài hữu hạn bao gồm tỷ lệ các mẫu Nyquist của nó. Tuy nhiên, nó thường sẽ có ích hơn để mở rộng các khái niệm về sự rời rạc để cung cấp tập hợp các không gian con cho các mô hình tín hiệu tương tự. Hai trong số các khuôn khổ rộng lớn hơn của nghiên cứu lấy mẫu tín hiệu tương tự phụ Nyquist là Sampling và tốc độ hữu hạn của sự đổi mới.
Khi nghiên cứu tập hợp không gian con cho tín hiệu tương tự có ba trường hợp chính để xem xét:
Tập hợp hữu hạn của không gian vô hạn chiều.
GVHD: PGS.TS Nguyễn Hữu Trung Học viên: Hoàng Minh Giang – CB141009 Page | 53
Tập hơp vô hạn của không gian vô hạn chiều.
Trong mỗi trường hợp ở trên có một yếu tố mà có thể mất trong giá trị vô hạn, nó là kết quả thực tế của việc xem xét các tín hiệu analog hoặc các không gian con cơ bản là vô hạn chiều, hoặc số lượng không gian con là vô hạn.
Có nhiều ví dụ điển hình của tín hiệu tương tự có thể được diễn tả như một