2.1 Giới thiệu chung về lấy mẫu nén
Chúng ta đang ở giữa một cuộc cách mạng kỹ thuật số đó là sự phát triển không ngừng của các loại kiểu lấy mẫu hệ thống với độ phân giải chính xác ngày càng tăng. Nền tảng lý thuyết của cuộc cách mạng này là công trình tiên phong của Kotelnikov, Nyquist, Shannon và Whittaker - lấy mẫu thời gian liên tục trên một băng tần cố định. Kết quả của họ đã chứng minh rằng tín hiệu, hình ảnh, video và các dữ liệu khác có thể được phục hồi chính xác từ một tập hợp các mẫu có tần số lấy mẫu tối thiểu bằng hai lần tần số lớn nhất gọi là tần số lấy mẫu Nyquist. Áp dụng phát hiện này, nhiều tín hiệu được điều chế chuyển từ tương tự (Analog) sang số (Digital). Số hóa cho phép lấy mẫu và xử lý tín hiệu dễ dàng hơn do đó tín hiệu số được sử dụng rộng rãi hơn so với tín hiệu tương tự.
Từ kết quả của thành công trên, số lượng dữ liệu được tạo ra bằng phương pháp lấy mẫu đã phát triển rất nhanh. Tuy vậy, trong nhiều ứng dụng quan trọng và mới nổi lên hiện nay, số lượng các mẫu lấy bằng định lý Nyquist còn khá cao, không như mong đợi của chúng ta, hoặc đơn giản là quá tốn kém. Như vậy, mặc dù tiến bộ vượt bậc trong khả năng tính toán, nhưng việc thu lại và xử lý tín hiệu trong lĩnh vực ứng dụng như hình ảnh, video, hình ảnh y tế, giám sát từ xa, quang phổ, và phân tích dữ liệu về gen… tiếp tục là một thách thức to lớn.
Để giải quyết các thách thức về các thuộc tính và tính toán liên quan đến xử lý với các dữ liệu đa chiều như vậy, chúng ta thường phụ thuộc vào nén. Mục tiêu hiện nay là việc tìm ra các chuẩn chính xác nhất để một tín hiệu có thể đạt được một mức độ nén cao nhất mà sự biến dạng hoặc lỗi có thể chấp nhận được. Một trong những kỹ thuật phổ biến nhất cho nén tín hiệu được gọi là mã hóa, và thường dựa vào việc tìm kiếm tín hiệu cơ sở hoặc khung. Chúng cung cấp tín hiệu rời rạc hoặc nén các tín hiệu thành một nhóm. Một mẫu tín hiệu rời rạc có nghĩa là cho một tín hiệu có độ dài N, chúng có thể đại diện cho nó với K hệ số khác không ( )
GVHD: PGS.TS Nguyễn Hữu Trung Học viên: Hoàng Minh Giang – CB141009 Page | 37
bởi một mẫu nén, có nghĩa là tín hiệu này tốt xấp xỉ bằng một tín hiệu với các hệ số khác không ít hơn. Cả hai tín hiệu rời rạc và nén có thể được biểu diễn với độ chính xác cao bằng cách giữ lại các giá trị và vị trí của các hệ số lớn nhất của tín hiệu. Quá trình này được gọi là xấp xỉ thưa (sparse - approximation), và hình thành nền tảng của chuyển đổi mã hóa phối hợp khai thác tín hiệu rời rạc và nén, bao gồm các tiêu chuẩn JPEG, JPEG2000, MPEG, và MP3.
Tận dụng các khái niệm về chuyển đổi mã hóa, lấy mẫu nén đã nổi lên như một khuôn khổ mới cho xử lý lại tín hiệu và thiết kế lấy mẫu. Lấy mẫu nén có khả năng cho phép giảm số lượng lớn các mẫu trong việc lấy mẫu và các chi phí tính toán lấy mẫu nén. Trong khi các định lý lấy mẫu Nyquist - Shannon đưa ra số lượng tối thiểu nhất định của mẫu được yêu cầu để hoàn toàn nắm bắt được một tín hiệu trong một dải tần hạn chế tùy ý. Khi tín hiệu là rời rạc trong một cơ sở được biết đến phần lớn chúng ta có thể giảm được kích thước lưu trữ. Do đó, khi cảm nhận được tín hiệu rời rạc, chúng ta có thể có thể làm tốt hơn so với kết quả cổ điển. Đây là ý tưởng triển vọng của lấy mẫu nén: thay vì đầu tiên lấy mẫu với tốc độ cao và sau đó nén dữ liệu lấy mẫu, chúng ta muốn thử cách để trực tiếp thử nghiệmdữ liệu dưới dạng nén - nghĩa là: với tốc độ lấy mẫu thấp hơn. Lấy mẫu nén phát triển từ công trình của Candes, Romberg, Tao và Donoho, những người cho thấy một tín hiệu hữu hạn chiều có một mẫu rời rạc hoặc nén có thể được phục hồi từ một tập nhỏ tuyến tính, phép đo không thích nghi. Thiết kế của các hệ thống đo lường và phần mở rộng của họ để mô hình dữ liệu thực tế và hệ thống thu thập những thách thức chính trong lĩnh vực lấy mẫu nén.
Vấn đề này mới đây đã thu hút đáng kể trong giới nghiên cứu xử lý tín hiệu, nhưng vào thế kỉ 18, đã có các ý tưởng về vấn đề này. Năm 1795, Prony đề xuất một thuật toán để tính các thông số liên quan đến một số lượng nhỏ các hàm mũ phức tạp được lấy mẫu khi có nhiễu. Những bước nhảy vọt về mặt lý thuyết tiếp theo đến vào đầu năm 1900, khi Carathéodory cho thấy một sự kết hợp tuyến tính với bất kì, tín hiệu hình sin được xác định duy nhất bởi giá trị của nó tại thời điểm
GVHD: PGS.TS Nguyễn Hữu Trung Học viên: Hoàng Minh Giang – CB141009 Page | 38
t= 0 và tại bất kỳ thời điểm 2 khác. Cách làm này cho mẫu rất ít so với số lượng mẫu Nyquist tỷ lệ khi là nhỏ và phạm vi tần số có thể là lớn. Vào những năm 1990, nghiên cứu này đã được tổng quát hóa bởi George, Gorodnitsky, và Rao, người nghiên cứu tín hiệu rời rạc trong hình ảnh từ sinh học và các lĩnh vực khác. Đồng thời, Bresler, Feng và Venkataramani đề xuất một phương pháp lấy mẫu để có được các mẫu nhất định của tín hiệu bao gồm các thành phần với băng thông khác không (nhưng trái ngược với tín hiệu hình Sin chuẩn) khắc phục hạn chế có thể về phổ, mặc dù việc phục hồi lại tín hiệu không đám bảo chính xác. Trong đầu những năm 2000, Blu, Marziliano, và Vetterli đã phát triển phương pháp lấy mẫu cho các lớp nhất định của tín hiệu, phương pháp lấy mẫu đó được điều chỉnh bởi chỉ số , cho thấy những tín hiệu có thể được lấy mẫu và thu hồi từ 2 mẫu.
Một vấn đề liên quan tập trung vào phục hồi một tín hiệu từ việc quan sát một phần của biến đổi Fourier. Beurling đề xuất một phương pháp ngoại suy các quan sát để xác định toàn bộ biến đổi Fourier. Người ta có thể thấy rằng nếu tín hiệu bao gồm một số đếm xung hữu hạn, sau đó tiếp cận của Beurling sẽ phục hồi chính xác toàn bộ biến đổi Fourier từ bất kỳ phần đủ lớn nào của biến đổi Fourier. Cách tiếp cận của Beurling - để tìm tín hiệu với mức ℓ1 nhỏ nhất trong số tất cả các tín hiệu thỏa mãn yêu cầu của cách biến đổi Fourier - mang một sự tương đồng đáng chú ý với một số các thuật toán sử dụng trong lấy mẫu nén.
Gần đây, Candes, Romberg, Tao, và Donoho cho thấy một tín hiệu có một mẫu rời rạc có thể được phục hồi chính xác từ một nhóm nhỏ các phép đo tuyến tính, không thích nghi. Kết quả này cho thấy rằng nó có thể thu được tín hiệu rời rạc bằng cách lấy mẫu rất ít, do đó có tên là lấy mẫu nén. Tuy nhiên, lấy mẫu nén khác lấy mẫu cổ điển trong ba khía cạnh quan trọng:
Đầu tiên, lý thuyết lấy mẫu thường xem xét trong chiều dài hữu hạn, tín hiệu thời gian liên tục. Ngược lại, lấy mẫu nén là một lý thuyết toán học tập trung trên vector hữu hạn chiều trong miền .
GVHD: PGS.TS Nguyễn Hữu Trung Học viên: Hoàng Minh Giang – CB141009 Page | 39
Thứ hai, không phải lấy mẫu tín hiệu tại các điểm đặc trưng trong miền thời gian, hệ thống lấy mẫu nén thường lấy mẫu trong các kết quả bên trong giữa các tín hiệu và nhiều chức năng kiểm tra tổng quát. Đây là thực tế theo phương pháp lấy mẫu hiện đại, tương tự như để có được tín hiệu bằng nhiều phép đo tuyến tính tổng quát. Chúng ta sẽ thấy sự ngẫu nhiên thường đóng một vai trò quan trọng trong việc thiết kế các chức năng kiểm tra.
Thứ ba, hai khuôn khổ khác nhau trong cách thức mà họ dùng để phục hồi tín hiệu, tức là vấn đề khôi phục tín hiệu ban đầu từ lấy mẫu nén. Trong cách lấy mẫu Nyquist - Shannon, tín hiệu được phục hồi thông qua nội suy sinc - một quá trình tuyến tính mà đòi hỏi ít phép tính và có một sự thể hiện đơn giản. Tuy nhiên, trong lấy mẫu nén, phục hồi tín hiệu thường đạt được bằng cách sử dụng phương pháp phi tuyến cao.
Lấy mẫu nén đã có tác động đáng kể trên nhiều ứng dụng. Một ví dụ là hình ảnh y tế, lấy mẫu nén đã kích hoạt sự tăng tốc theo hệ số bảy MRI trong khi vẫn giữ chất lượng chẩn đoán trong nhi khoa. Hơn nữa, ứng dụng rộng của phương pháp này đã được quan tâm nghiên cứu mở rộng khuôn khổ của lấy mẫu nén bằng việc triển khai thực tế cho nhiều ứng dụng, bao gồm cả hệ thống lấy mẫu phụ Nyquist, kiến trúc hình ảnh nén, và mạng lấy mẫu nén. Định lý lấy mẫu của Shannon - Nyquist nói rằng để không bị mất thông tin và khôi phục lại hoàn toàn tín hiệu thì phải lấy mẫu tín hiệu với tần số lấy mẫu cao hơn ít nhất hai lần băng tần của tín hiệu. Trong nhiều ứng dụng như ảnh số, camera số thì tốc độ lấy mẫu Nyquist thường cao và thu quá nhiều mẫu cần thiết, do đó việc nén tín hiệu là cần thiết cho việc lưu trữ hoặc truyền đi xa. Hay trong các ứng dụng như: hệ thống ảnh số với tốc độ cao, kỹ thuật siêu cao tần, thu thập tín hiệu từ rada… đòi hỏi lấy mẫu ở tần số rất cao nếu tuân theo định luật Nyquist, điều đó dẫn đến việc cần các bộ chuyển đổi ADC tốc độ cao sẽ gây ra nhiều khó khăn trong chế tạo và giá thành trở nên rất đắt.
Nghiên cứu này trình bày một phương pháp mới để thu các tín hiệu với tốc độ lấy mẫu nhỏ hơn tốc độ lấy mẫu Nyquist. Phương pháp này gọi là lấy mẫu nén
GVHD: PGS.TS Nguyễn Hữu Trung Học viên: Hoàng Minh Giang – CB141009 Page | 40
(Compress sensing), sử dụng các ánh xạ (Projection) tuyến tính không thích nghi lưu trữ cấu trúc của tín hiệu, tín hiệu sau đó được tái tạo lại sử dụng các phương pháp của lý thuyết tối ưu như ℓ1-minimization hoặc OMP.
2.2 Xét lại không gian vector
Trong phần lớn lịch sử của ngành xử lý tín hiệu đã tập trung vào các tín hiệu được tạo ra bởi bởi các hệ thống vật lý. Nhiều hệ thống tự nhiên và nhân tạo có thể được mô hình hóa một cách tuyến tính. Khái niệm này đã được đưa vào xử lý tín hiệu bằng cách mô hình hóa các tín hiệu như là vectơ trong một không gian vectơ thích hợp.
Hình 2.1 Đơn vị hình cầu trong với định mức và với không gian tựa chuẩn (quasinorm) với
Nắm bắt được cấu trúc tuyến tính mà chúng ta thường mong muốn, cụ thể là nếu chúng ta ghép hai tín hiệu với nhau, chúng ta sẽ có được một tín hiệu vật lý mới có ý nghĩa. Hơn nữa, không gian vectơ cho phép chúng ta áp dụng tính chất trực giao và các công cụ hình học từ , chẳng hạn như độ dài, khoảng cách và góc độ, để mô tả và so sánh các tín hiệu. Điều này rất hữu ích ngay cả khi tín hiệu của chúng ta ở trong không gian nhiều chiều (high - dimensional) hoặc trong vô hạn chiều (infinite - dimensional spaces).
GVHD: PGS.TS Nguyễn Hữu Trung Học viên: Hoàng Minh Giang – CB141009 Page | 41
2.3 Không gian vector chuẩn (Normed vector spaces)
Trong trường hợp của một miền vô hạn rời rạc, chúng ta có thể xem tín hiệu như là vectơ trong một không gian Elip chiều, ký hiệu là . Khi phân chia các vectơ trong , chúng ta sẽ thường xuyên sử dụng định mức của ℓp, được định nghĩa với = [1, ] thì:
‖ ‖ , (∑ | | , )
| |
(2.1)
Trong không gian Elip, chúng ta xét các tiêu chuẩn bên trong tiêu chuẩn trong mà:
〈 〉 ∑ i i
Điều này dẫn đến định mức ℓ2:‖ ‖2=√〈 〉.
Trong một số hoàn cảnh, nó rất hữu ích để mở rộng khái niệm định mức ℓp với trường hợp . Với trường hợp này, định mức được xác định trong công thức (2.1) không đáp ứng được bất đẳng thức tam giác, do đó, nó thực sự là một không gian tựa chuẩn. Chúng ta cũng sẽ sử dụng thường xuyên ký hiệu: ‖ ‖0:=| ( )|, với ( ) * + biểu thị sự hỗ trợ của x và | ( )| trong bản số của
( ).
Chú ý rằng ‖ ‖0 không phải là một không gian tựa chuẩn, nhưng người ta có thể dễ dàng thấy rằng: ‖ ‖ | ( )| giải thích cho sự chọn kí hiệu này. Chuẩn ℓp có đặc tính khác đáng chú ý với giá trị khác của . Để minh họa điều này, trong hình 2.1, chúng ta thấy trên vòng tròn đơn vị. Ví dụ.., { ‖ ‖ }, bao gồm mỗi chỉ tiêu trong .
Chúng ta thường sử dụng các chỉ tiêu như một thước đo cường độ của một tín hiệu, hoặc kích thước của một lỗi. Ví dụ, giả sử chúng ta đang đưa ra một tín
GVHD: PGS.TS Nguyễn Hữu Trung Học viên: Hoàng Minh Giang – CB141009 Page | 42
hiệu và mong muốn biểu diễn xấp tín hiệu đó sử dụng một điểm trong một không gian một chiều A. Nếu chúng ta đo lỗi xấp xỉ sử dụng định chuẩn ℓp, sau đó nhiệm vụ của chúng ta là tìm ̂ nhằm làm giảm ‖ ̂‖p.
Hình 2.2 giá trị gần đúng nhất của một điểm trong bởi một không gian con một chiều sử dụng định mức ℓp
với và không gian tựa chuẩn với
Sự lựa chọn của sẽ có một tác động đáng kể trên các thuộc tính các lỗi xấp xỉ kết quả. Một ví dụ được minh họa trong hình 2.2. Để tính toán điểm gần nhất trong A đến sử dụng mỗi định chuẩn ℓp, chúng ta có thể hình dung sự tăng lên của ℓp phụ thuộc vào . Đây sẽ là điểm ̂ đó là gần nhất với đồng vị định chuẩn ℓp. Ta nhận thấy rằng p càng lớn sẽ có xu hướng lây lan ra các lỗi đồng đều hơn giữa hai hệ số, trong khi nếu p nhỏ hơn, dẫn đến một lỗi được phân bố không đều và có xu hướng thưa. Cách nhìn tổng quát này để số chiều cao hơn, và đóng một vai trò quan trọng trong việc phát triển của lý thuyết lấy mẫu nén.
2.4 Mô hình tín hiệu thấp chiều
Về căn bản, xử lý tín hiệu liên quan đến các thuật toán với hiệu suất cao, xử lý và lấy mẫu thông tin từ các loại tín hiệu hoặc dữ liệu khác nhau. Để thiết kế các thuật toán như vậy đối với một vấn đề cụ thể, chúng ta phải có mô hình chính xác cho các tín hiệu quan trọng. Mô hình này có thể mang hình thức của mô hình phát,
GVHD: PGS.TS Nguyễn Hữu Trung Học viên: Hoàng Minh Giang – CB141009 Page | 43
các loại xác định, hoặc các mô hình xác suất Bayesian. Nói chung, các mô hình có ích cho việc phân loại tín hiệu cần quan tâm, chủ yếu với các tín hiệu không cần quan tâm, thiểu số là một trong những kiến thức tiên quyết. Điều này có thể giúp có hiệu suất cao và có được một cách chính xác, xử lý, nén, giao tiếp dữ liệu và thông tin.
Như đã đề cập trong phần giới thiệu, phần lớn xử lý tín hiệu cổ điển dựa trên quan điểm cho rằng tín hiệu có thể được mô hình hóa như là vectơ tồn tại trong một không gian vector thích hợp (hoặc không gian con). Đến một mức độ lớn, quan niệm cho rằng mỗi vector có thể là một tín hiệu hợp lệ đã thúc đẩy sự bùng nổ trong số chiều của dữ liệu chúng ta phải lấy mẫu và xử lý. Tuy nhiên, mô hình tuyến tính đơn giản thường không giữ được phần nhiều các cấu trúc trong các lớp tín hiệu phổ biến hiện nay - trong khi có thể mô hình hóa các tín hiệu tương đương vectơ, trong nhiều trường hợp không phải tất cả các vector đều thể hiện tín hiệu thực. Để đáp ứng với những yêu cầu này, đã dấy lên những ý kiến trái chiều trong những năm