Iot kết hợp compressive sensing ứng dụng cho hệ thống giám sát

JOURNAL OF SCIENCE JSLHU JOURNAL OF SCIENCE OF LAC HONG UNIVERSITY www jslhu edu vn Tạp chí Khoa học Lạc Hồng 2021, 13, x y IOT KẾT HỢP COMPRESSIVE SENSING ỨNG DỤNG CHO HỆ THỐNG GIÁM SÁT IoT incorpora[.]

JSLHU JOURNAL OF SCIENCE OF LAC HONG UNIVERSITY www.jslhu.edu.vn Tạp chí Khoa học Lạc Hồng 2021, 13, x-y IOT KẾT HỢP COMPRESSIVE SENSING ỨNG DỤNG CHO HỆ THỐNG GIÁM SÁT IoT incorporates Compressive sensing application for surveillance system Đào Phương Tùng1a , Võ Ngọc Vinh2b, Nguyễn Thanh Sơn* 1Khoa Công Nghệ, Trường Đại học Công nghệ Đồng Nai email: a daophuongtung@dntu.edu.vn, b vongocvinh@lhu.edu.vn, * nguyenthanhson@lhu.edu.vn 2b*Trường Đại học Lạc Hồng, Đồng Nai, Việt Nam (Received: March, 10th 2021; Accepted: May, 28th 2021) TÓM TẮT: Trong năm gần hệ thống camera giám sát ngày nhiều, liệu cần lưu trữ ngày lớn Chính việc tải sở liệu xảy ứng dụng lưu trữ Dữ liệu video giám sát công ty, bệnh viện, trường học xử lí trước lưu trữ tải lên đám mây tiết kiệm nhớ đáng kể Kỹ thuật Lấy mẫu nén‘Compressive sensing' bước đệm cho kỹ thuật tiền xử lý tín hiệu video, kỹ thuật cho phép cần mẫu đầu phát sử dụng thuật tốn nâng cao để khơi phục xác liệu máy thu TỪ KHĨA: IOT, Compressive sensing, Hệ thống giám sát ABSTRACT: In recent years, with more and more surveillance camera systems, the data that needs to be stored is getting larger and larger That's why database overload is happening on hosted applications Video surveillance data in companies, hospitals, schools, if processed before storing and uploading to the cloud, will save significant memory 'Compressive sensing' as a stepping stone to video signal preprocessing, which allows very few samples at the playhead and uses advanced algorithms for accurate data recovery at the receiver KEYWORDS: IOT, Compressive sensing, Monitoring system GIỚI THIỆU Trong năm gần đây, có nhiều nghiên cứu đa dạng thiết bị cảm biến kích thước liệu thu từ ứng dụng chụp ảnh y tế đến giám sát video… Vấn đề khó khăn chung tải liệu xảy ứng dụng Kỹ thuật ‘compressive sensing' (CS) Candès, Romberg, Tao [1], [2] and Donoho [3] tạo thành bước đệm cho kỹ thuật tiền xử lý sử dụng tín hiệu lấy mẫu thưa thớt hiệu nhiều so với lý thuyết lấy mẫu theo định lý Nyquist thiết lập [4] Lý thuyết lên gần Compressed Sensing (CS) [5], [6] coi giải pháp tốt để giải tắc nghẽn công nghệ chuyển đổi tương tự số, CS không làm giảm yêu cầu cho thiết bị tốc độ cao, mà tiết kiệm nhiều dung lượng lưu trữ, phá vỡ giới hạn định lý lấy mẫu Nyquist, tốc độ lấy mẫu thấp nhiều lý thuyết CS Việc lưu trữ xử lý liệu thiết bị IoT quan trọng Do thiết bị IoT bị cơng mạng (ví dụ, lấy cắp thiết bị liệu lưu trữ), hệ thống dựa vào chế lưu trữ phân tán bảo mật cao công nghệ sửa lỗi đại (mã hóa mạng) chia nhỏ mã hóa liệu trước lưu trữ thiết bị khác chí với 'bản mã hóa' bổ sung cho độ mạnh hệ thống Vì Vậy tín hiệu bảo mật lấy lại liệu Tương lai công nghệ truyền thông IoT hệ thống giám sát sử dụng CS trở thành công nghệ sớm ứng dụng vào thực tiễn Trong nghiên cứu này, nhóm tác giả đưa tảng lý thuyết xử lý hình ảnh video, mã hóa mạng bản, kết hợp với thuật toán Kết thu từ mơ hình mơ thực nghiệm cho thấy hệ thống hoạt động đạt kết mong muốn Hy vọng kết làm tảng cho nghiên cứu việc nâng cao, cải thiện khả ứng dụng công nghệ truyền thông IoT hệ thống giám sát ỨNG DỤNG COMPRESSIVE SENSING CHO XỬ LÍ ẢNH 2.1 Cơ sở lý thuyết Compressed sensing Lý thuyết CS giới thiệu [2], [5] rằng, tín hiệu đại diện thưa thớt số miền biến đổi, lấy mẫu với tốc độ thấp so với tốc độ Nyquist, khơi phục với kỹ thuật tối ưu hóa cao Miền biến đổi biểu diễn sở trực giao Để xem xét ý tưởng CS, chúng tơi xét giá trị thực, độ dài hữu hạn, tín hiệu rời rạc theo thời gian x  R N biểu thị bằng: N x =  ii = Ψθ (1) i=1 Để khơi phục lại tín hiệu x, chúng tơi khơng đo lường mã hóa θ cách trực tiếp Thay vào đó, chúng tơi đo lường mã hóa tập hợp tín hiệu yi =  x,Ti  theo hàm sở thứ  i i, i  {1, 2, , M} Trong Ti biểu thị chuyển vị  i  biểu thị phần tử bên (2) y = Φx = ΦΨθ or y = Θθ Θ = ΦΨ ma trận kết hợp Φ vectơ cột M × N Thay sử dụng M×1 mẫu để tìm hệ số trọng số, sử dụng vector đo mẫu y Vì số lượng phép đo M nhỏ nhiều so với kích thước tín hiệu N, phục hồi tín hiệu x từ phép đo y vấn đề chưa xác định Tuy nhiên, CS tín hiệu thưa thớt x khơi phục lại từ y thơng qua tối ưu hóa phi tuyến cách khai thác ưu tiên x hình thành thưa thớt số sở Ψ Một số thuật tốn khơi phục phát triển bao gồm kỹ thuật lập trình tuyến tính Basis Pursuit (BP) [6], [7] Greedy Algorithms Orthogonal Matching Pursuit (OMP) [2] Đào Phương Tùng, Võ Ngọc Vinh, Nguyễn Thanh Sơn 2.2 Compressed sensing ứng dụng cho xử lí ảnh Các ví dụ thực CS áp dụng cho liệu hình ảnh có sẵn trang web MathWorks [8] Compressed sensing ứng dụng cho xử lí ảnh đơn dề xuất Baraniuk [5] sau: Hình Mơ hình Compressive Sensing (a) Quy trình lấy mẫu nén tạo ma trận đo lường Gaussian ngẫu nhiên Փ ma trận biến đổi cosin rời rạc (DCT) Ψ Trên hình này, vector hệ số s thưa thớt với Ksparse = (b) Quy trình tạo ma trận Θ = Փ Ψ Bốn cột đánh dấu tương ứng với Θ vector Y kết hợp tuyến tính bốn cột Đầu tiên, ma trận đo lường Gauss ngẫu nhiên Փ khơng tạo cách thích nghi Điều có nghĩa ma trận M × N tạo không phụ thuộc vào đầu vào x ϵ RN Hình ảnh ban đầu X sau nén cách nhân với Փ Tín hiệu nén là: y = Փ X ϵ RM (3) Sau đó, kết ma trận Θ = Փ Ψ thiết kế, Ψ ma trận biến đổi cosin rời rạc (N × N) Y vector tổ hợp tuyến tính cột K số khơng vector hệ số thưa thớt s2 = Θ-1.y (4) Cuối cùng, thuật tốn khơi phục áp dụng để giải toán sai số nhỏ y = Θ.s liệu gốc nhiễu lỗi Nó thường thể thang đo decibel logarit, với công thức sau: PSNR = 20 Hoặc PSNR (5) 20.log10(𝑀𝐴𝑋𝑖) – 10.log10(𝑀𝑆𝐸) (6) Hình Ví dụ ảnh ứng dụng CS Bên hình ảnh gốc Đại Học Lạc Hồng (M = 40000 pixel) bên hình phục hồi từ M = 1000 phép đo ngẫu nhiên áp dụng CS MAXi giá trị pixel tối đa có hình ảnh, pixel biểu diễn với bit cho mẫu MSE – đại điện cho Lỗi bình phương trung bình, đo lường khác biệt hai hình ảnh, hình ảnh gốc 𝑥 (𝑏, 𝑐) hình ảnh nén (𝑎, 𝑏) MSE đại diện cho trung bình vng "lỗi" hình ảnh gốc hình ảnh nén Lỗi tổng số mà theo giá trị hình ảnh gốc khác với hình ảnh bị suy giảm MSE là: MSE = (7) M số hàng pixel hình ảnh i số hàng đó; N số cột pixel hình ảnh j số cột 2.4 Hạn chế PSNR VÀ thay SSIM Hình Ước tính sai số nhỏ y = Θ.s (a) Hiển thị giải pháp cho y = Θ.s Giải pháp theo đuổi tái tạo màu đỏ, giải pháp ước tính sai số nhỏ màu xanh lam (b) Phóng to hình ảnh sau xây dựng lại lập trình tuyến tính 2.3 Tính Tốn PSNR Chất lượng hình ảnh đánh giá dựa vào PSNR SSIM tỷ lệ công suất tối đa có tín hiệu độ lớn nhiễu gây ảnh hưởng đến độ trung thực ảnh Do đó, sử dụng để đo lường chất lượng tái tạo để nén ảnh Trong trường hợp này, tín hiệu Hạn chế số MSE / PSNR dựa hồn tồn vào so sánh số khơng xem xét đến yếu tố sinh học hệ thống thị giác người Tuy nhiên, đo lường số cấu trúc tương tự cục (SSIM) lại làm điều Như giải thích [9], [10], phương pháp “chính xác” để định lượng chất lượng hình ảnh trực quan cho ứng dụng mà hình ảnh cuối người đánh giá thông qua đánh giá chủ quan Nhưng trình thời gian tốn kém, nghiên cứu tiến hành để tìm phương pháp đánh giá chất lượng hình ảnh mục tiêu phát triển biện pháp định lượng tự động dự đốn chất lượng hình ảnh SSIM số sử dụng để đo lường tương đồng cấu trúc hai hình ảnh video kỹ thuật số Trái với kỹ thuật MSE PSNR, SSIM không ước tính sai số tuyệt đối đánh giá tác động trực quan độ sáng IoT kết hợp Compressive sensing ứng dụng cho hệ thống giám sát (phép chiếu sáng phản xạ), độ tương phản cấu trúc hình ảnh SSIM phát triển MSE để lỗi định lượng theo khả hiển thị chúng Cách tiếp cận nhạy cảm lỗi dựa số giả định khái quát, tóm tắt Wang cộng [9]: SSIM (8) xˆ = arg || x ||1 subject to y = Φx xR (13) N Khi l1 tiêu chuẩn lồi, (13) xem tiêu chuẩn lồi (12) Nhờ lồi lõm, thuật toán thực chương trình tuyến tính [2], làm cho đa thức tính tốn phức tạp chiều dài tín hiệu Tối ưu hóa (13) sửa đổi phép nhiễu phép đo y = Φx + n Thuật toán gọi denoising (BPDN) (14) xˆ = arg || x ||1 subject to ||y - Φx ||2   xR N Ở  ước lượng mức nhiễu liệu • Định nghĩa thuật tốn Ngun tắc BP tìm biểu diễn tín hiệu mà hệ số l1 có tiêu tối thiểu giải vấn đề || α ||1 Hình Các giá trị SSIM cho hình ảnh khác xây dựng lại với 100 đến 2500 phép đo 2.5 Thuật tốn khơi phục tín hiệu 2.5.1 Phát biên Trong hình ảnh, biên định nghĩa tập hợp điểm ảnh gần nhau, nơi có thay đổi đột ngột cường độ - màu xám màu sắc Khi CS lấy mẫu ngẫu nhiên, Phát biên áp dụng sau bước CS để đánh giá việc tái thiết Nó xác định CS phục hồi biên xác ngưỡng lấy mẫu thiết lập liên quan đến kết dị tìm biên [10] Có số thuật toán phát biên thường dùng như: Sobel, Prewitt, Canny, LoG lọc thường sử dụng hˆ = arg || y - Θh ||2 (9) h Ước lượng kênh cổ điển LS thu từ (8) hˆ LS = Θ+ y = Θ+ (Θh + v) = h + Θ+ v (10) Θ = (Θ Θ) Θ H -1 H Ở đây, x  R m , cT x hàm mục tiêu, Ax = b tập hợp ràng buộc bình đẳng, x  tập hợp giới hạn Các vấn đề theo đuổi (15) tái cấu trúc tương đương chương trình tuyến tính dạng tiêu chuẩn (16) cách thực dịch sau đây: m  2p ; x  (u,v) ; c  (1,1) ; A  (, −) ; b  s Do đó, giải pháp (15) thu cách giải chương trình tuyến tính tương đương [11] 2.5.3 Thuật toán Orthogonal Matching Pursuit (OMP) Thuật toán (OMP) phương pháp kỹ thuật để giải vấn đề xấp xỉ thưa thớt So sánh với sở Pursuit, lợi thuật tốn tốc độ dễ thực Do đó, thuật tốn OMP mơ tả bảng Bảng 1: Thuật toán OMP Input Output - Signal b - Approximation vector c matrix A and - Stopping criterion Ở + nghịch đảo  cho + subject to Φα = s (15) Trở thành vấn đề tối ưu hóa lồi, phi bậc hai cho dịch thành vấn đề lập trình tuyến tính thực hiện: T c x subject to Ax = b, x  (16) Step (11) Ở ( ) H ( )−1 biểu thị Hermitian nghịch đảo ma trận, tương ứng Step Step 2.5.2 Phương pháp khôi phục (BP) Khi xem xét tín hiệu thưa thớt, q trình phục hồi CS bao gồm tín hiệu thưa thớt x tạo phép đo cách xác định l0 "chuẩn" vectơ || x ||0 xˆ = arg || x ||0 subject to y = Φx xR Tuy nhiên, thuật tốn có độ phức tạp tính tốn tổ hợp, phải kiểm tra liệu vectơ đo y có thuộc khoảng cách tập hợp cột K hay Φ , K = 1,2, , N Ý tưởng Basis Pursuit thay vấn đề thưa thớt khó khăn vấn đề tối ưu hóa dễ dàng Một thay cho l0 "chuẩn" sử dụng (12) sử dụng l1 tiêu, định nghĩa Let vt = i, where give the solution of max < rt, ak > Where ak are the row vectors of A Update the set Vt with vt : Vt = Vt-1 vt  Solve the least-squares problem Step t || b −  c(v j )a v ||2 cC vt j=1 j Calculate the new residual using c (12) N Start by setting r0 = b, the time t = and V0 = Step t rt = rt -1 −  c(v j )a v j j=1 Step Step Set t  t +1 If the criterion has not been satisfied then return to step Đào Phương Tùng, Võ Ngọc Vinh, Nguyễn Thanh Sơn Mô Trong chương đưa ba mô để chứng minh tính hiệu Commpressive sensing xử lí video giám sát 3.1 Mơ thứ Trong trường hợp tái tạo hình ảnh từ camera giám sát hai trường hợp: Trường hợp thứ lấy mẫu theo phương pháp truyền thống Nyquist, trường hợp thứ hai lấy mẫu theo compressive sensing Trường hợp thứ ta tái tạo hình ảnh giảng viên khoa Cơ điện – Điện tử Trường Đại học Lạc Hồng lấy mẫu phương pháp Nyquist Hình Hình ảnh tái tạo M = 100000, SSIM=0.3072 Hình Lấy mẫu phương pháp compressive sensing Hình ảnh tái tạo M = 200, SSIM=0.6082 Hình 10 Lấy mẫu phương pháp compressive sensing Hình ảnh tái tạo M =400, SSIM=0.9842 Từ hai trường hợp ta thấy sử dụng phương pháp lấy mẫu CS số lượng mẫu rõ rệt so với Nyquit cụ thể số mẫu để khôi phục ảnh cần m = 400 khơi phục lại ảnh gốc Hình ảnh khôi phục đánh giá qua số SSIM=0.9842 3.2 Mơ thứ hai Hình Lấy mẫu phương pháp Nyquit Hình ảnh tái tạo M = 500000, SSIM=0.6656 Hình Lấy mẫu phương pháp Nyquit Hình ảnh tái tạo M = 900000, SSIM=0.9740 Trường hợp thứ hai ta tái tạo hình ảnh giảng viên khoa Cơ điện – Điện tử Trường Đại học Lạc Hồng lấy mẫu phương pháp Compressive sensing Trong mô thử nghiệm hai trường hợp, trường hợp thứ truyền hình ảnh ghép qua mạng lên vùng lưu trữ, trường hợp thứ hai nén hình ảnh ghép CS sau truyền hình ảnh qua mạng lên vùng lưu trữ Trường hợp thứ ta truyền hình ảnh ghép hai hình ảnh từ hai camera giám sát đặt hai vị trí khác Trong trường hợp dùng phương pháp Nyquist để lấy mẫu Hình 11 Lấy mẫu phương pháp Nyquist Ảnh ghép truyền qua mạng với số lượng mẫu M=10000.SSIM=0.3086 Hình Lấy mẫu phương pháp compressive sensing Hình ảnh tái tạo M = 100, SSIM=0.4033 Hình 12 Lấy mẫu phương pháp Nyquist Ảnh ghép truyền qua mạng với số lượng mẫu M=300000 SSIM=0.6086 IoT kết hợp Compressive sensing ứng dụng cho hệ thống giám sát Hình 13 Lấy mẫu phương pháp Nyquist Ảnh ghép truyền với số lượng mẫu M=600000, SSIM=0.9783 Trường hợp thứ hai ta thực lấy mẫu nén CS cho hình ảnh ghép hai ảnh từ hai camera giám sát đặt hai vị trí khác nhau, sau gửi hình ảnh qua mạng lên vùng lưu trữ Hình 14 Lấy mẫu phương pháp compressive sensing Ảnh ghép truyền với số lượng mẫu M=3000, SSIM=0.3756 Từ hai trường hợp ta thấy sử dụng CS nén liệu trước gửi chúng qua mạng làm giảm nhiều mẫu cụ thể hình 13 M = 600000 mẫu xuống cịn 50000 mẫu hình 16 Đánh giá chất lượng ảnh hình 13 SSIM=0.9783 thay đổi so với hình 16 SSIM=0.9855 3.3 Mô thứ ba Chúng lấy hình ảnh từ camera giám sát đặt vị trí khác ký túc xá, sau thực ghép hình ảnh lại thành ảnh tồn cảnh, sau ghép lại thành ảnh toàn cảnh thực gửi chúng qua mạng lên vùng lưu trữ theo hai hình thức khác nhau, gửi toàn liệu thu qua mạng lên vùng lưu trử theo chuẩn Nyquist, hai thực lấy mẫu nén compressive sensing trước gửi chúng Trường hợp thứ truyền hình ảnh qua mạng lấy mẫu theo phương pháp truyền thống Nyquist Hình 17 Lấy mẫu phương pháp Nyquist Ảnh ghép truyền với số lượng mẫu m=20000, SSIM=0.3640 Hình 18 Lấy mẫu phương pháp Nyquist, Ảnh ghép truyền với số lượng mẫu m=300000, SSIM=0.6720 Hình 15 Lấy mẫu phương pháp compressive sensing Ảnh ghép truyền với số lượng mẫu m=10000, SSIM=0.695 Hình 19 Lấy mẫu phương pháp Nyquist Ảnh ghép truyền với số lượng mẫu m=980000, SSIM=0.9662 Hình 16 Lấy mẫu phương pháp compressive sensing Ảnh ghép truyền với số lượng mẫu m=50000, SSIM=0.9855 Trường hợp thứ hai truyền hình ảnh qua mạng lấy mẫu nén theo phương pháp Compressive sensing Đào Phương Tùng, Võ Ngọc Vinh, Nguyễn Thanh Sơn Hình 20 Lấy mẫu phương pháp compressive sensing Ảnh ghép truyền với số lượng mẫu m=1000, SSIM=0.3591 Hình 24: Lấy mẫu theo CS Qua kết mô ta thấy phương pháp lấy mẫu nén CS trước truyền có số lượng mẫu nhiều so với phương pháp lấy mẫu theo Nyquist, cụ thể hai biểu đồ hình vẽ H23 H24 số lượng mẫu để khôi phục ảnh Nyquist cần M=980000 mẫu, số SSIM =0,9662 Còn dùng phương pháp CS cần m=147000 đủ để phục hồi ảnh gốc, số SSIM lớn hơn, SSIM=0,9774 KẾT LUẬN Hình 21: Lấy mẫu phương pháp compressive sensing Ảnh ghép truyền với số lượng mẫu m=50000, SSIM=0.6693 Hình 22: Lấy mẫu phương pháp compressive sensing Ảnh ghép truyền với số lượng mẫu m=147000, SSIM=0,9774 Hình 23: Lấy mẫu theo chuẩn Nyquist Tóm lại, cơng nghệ truyền thông IoT hệ thống giám sát kết hợp với việc khai thác lý thuyết Compress sensing đạt thành công định Dựa hai phân tích lý thuyết kết thực nghiệm, chứng minh lý thuyết CS hoàn toàn phù hợp cho truyền dẫn IoT cho hệ thống giám sát Đóng góp báo đề xuất hệ thống truyền thông IoT hệ thống giám sát dựa CS có tiềm giảm đáng kể tỷ lệ lấy mẫu Bằng cách này, thông tin xử lý nhanh hơn, giảm tình trạng tắc nghẽn liệu giảm dung lượng thơng tin cần lưu trữ hệ thống giám sát TÀI LIỆU THAM KHẢO [1] Emmanuel Candès, Justin Romberg, Terence Tao Stable Signal Recovery from Incomplete and Inaccurate [2] David L Donoho Compressed Sensing, Manuscript, September 2004 [3] Emmanuel Candès and Michael Wakin An Introduction to Compressive Sampling In IEEE Signal [4] Hui Wang, Joyce Liang and C.-C Jay Kuo Overview of Robust Video Streaming with Network coding In Journal of Information Hiding and Multimedia Signal Processing, Volume 1, Issue 1, pages 36-50, January 2010 [5] R Baraniuk, Compressive Sensing, Lecture Notes in IEEE Signal Processing Magazine, Volume 24, July 2007 [6] G Davis, S Mallat, M Avellaneda Adaptive greedy approximations In Constructive Approximation, Volume 13, Issue 1, pages 57-98, March 1997Measurements In Comm Pure Appl Math., Volume 59, pages 1207–1223, 2006 doi:10.1002/cpa.20124 [7] Duarte, Marco F.; Davenport, Mark A.; Wakin, Michael B.; Baraniuk, Richard G Sparse signal detection from incoherent projections In ICASSP, IEEE International Conference on Acoustics, Speech and Signal Processing - Proceedings Vol 2006 1660651, 2006 [8] Stuart Gibson Simple compressed sensing example, May 2013 URL: IoT kết hợp Compressive sensing ứng dụng cho hệ thống giám sát http://www.mathworks.com/matlabcentral/fileexchange/41 792-simplecompressed-sensing-example [9] Analysis Of Image Compression Algorithm Using DCT Garg Maneesha Gupta, Dr.Amit Kumar Garg / International Journal of Engineering Research and Applications (IJERA) Vol 2, Issue 1, Jan-Feb 2012 [10] MathWorks Documentation, Image Processing Toolbox (SSIM, Edge Detection) URL: http://fr.mathworks.com/help/images/ [11] Marco F Duarte, Mark A Davenport, Michael B Wakin, and Richard G Baraniuk Sparse signal detection from incoherent projections In IEEE Int Conf on Acoustics, Speech and Signal Processing (ICASSP), III, 2006  ... nghiệm, chứng minh lý thuyết CS hoàn toàn phù hợp cho truyền dẫn IoT cho hệ thống giám sát Đóng góp báo đề xuất hệ thống truyền thông IoT hệ thống giám sát dựa CS có tiềm giảm đáng kể tỷ lệ lấy mẫu... compressed sensing example, May 2013 URL: IoT kết hợp Compressive sensing ứng dụng cho hệ thống giám sát http://www.mathworks.com/matlabcentral/fileexchange/41 792-simplecompressed -sensing- example... Tóm lại, công nghệ truyền thông IoT hệ thống giám sát kết hợp với việc khai thác lý thuyết Compress sensing đạt thành công định Dựa hai phân tích lý thuyết kết thực nghiệm, chứng minh lý thuyết