Bài toán nén ảnh giảm bộ nhớ khung hình (Frame Memory) có nhiều áp dụng trong nhiều lĩnh vực, và áp dụng cho hệ thống Overdrive của LCD chỉ là một trong số đó. Một áp dụng khác hiện đang được nhiều nhà khoa học trên thế giới quan tâm là áp dụng vào vi xử lý video để giảm yêu cầu về dung lượng và băng thông của bộ nhớ khung hình cho chíp xử lý hiển thị video [31]. Bởi vi xử lý video các loại thường có phần bộ nhớ khung hình phục vụ cho việc tham chiếu dữ liệu hình ảnh trong các giải pháp nén hay giải nén video, nâng cao chất lượng hình ảnh video hay tạo hiệu ứng 3D,… Yêu cầu về dung lượng và tốc độ truy xuất dữ liệu bộ nhớ khung hình sẽ bị đẩy lên mức rất cao khi áp dụng các chuẩn UHD 2K/4K/8K. Từ đó việc áp dụng nén ảnh vào trong chíp vi xử lý video sẽ giúp giảm yêu cầu về băng thông và dung lượng của bộ nhớ khung hình. Đây sẽ là hướng nghiên cứu phát triển tiếp theo của luận án.
TÀI LIỆU THAM KHẢO
[1] A. K. Jain (1989). Fundamentals of digital image processing. Prentice-Hall. [2] C.T. Le Dinh (2003). Traitement Vidéo. University of Sherbrooke, Notes de cours. [3] C.T. Le Dinh (2010). Private Communication. University of Sherbrooke.
[4] H. Kawamoto (2002). The History of Liquid-Crystal Displays. Proceedings of the IEEE, vol. 90, no. 4, pp. 460-500.
[5] H. S. Kim, S. H. Lee (2011). Implementation of DWT-Based Adaptive Mode Selection for LCD Overdrive. IEEE Transactions on Consumer Electronics, vol. 57, No. 2, pp. 771-778.
[6] H. Sheikh, Z. Wang, L. Cormack, A. Bovik (2012). LIVE image quality assessment database release 2.
[7] I. Daubechies (1990). The Wavelet Transform, Time-Frequency Localization and Signal Analysis. IEEE Trans. on Inform. Theory, Vol. 36, No. 5 , pp. 961-1005.
[8] I. Daubechies (1992). Ten Lectures on Wavelets. SIAM, CBMS series, Philadelphia. [9] I. J. Chun, H. Mun, J. H. Sung, S. Y. Park, B. G. Kim (2006). Overdrive frame memory
reduction using a fast discrete wavelet transform. Proc. of 21st Int. Technical Conf. on Circuits/Systems, Computer and Communications (ITC-CSCC’06), Chiang Mai, Thailand, pp. 161-164.
[10]J. K. Sung, C. G. Kim, J. K. An, M. H. Park, S. D. Yeo (2005). A new method for improvement of response time by data compression using color space conversion. SID Symposium Digest of Technical Papers, vol. 36, no.1, pp. 474-477.
[11]J. Park, S. Lee (2012). Structural Similarity based Image Compression for LCD Overdrive. IEEE Transactions on Consumer Electronics, vol. 58, no. 4, pp. 1276- 1284. [12]J. Someya, M. Yamakawa, E. Gofuku (2002). Reduction of memory capacity in feedforward driving by image compression. SID Symposium Digest of Technical Papers, vol. 33, no.1, pp. 72-75.
[13]J. Someya, N. Okuda, H. Tachibana (2003). A new LCD controller for improvement of response time by compression FFD. SID Symposium Digest of Technical Papers, vol. 34, no.1, pp. 1346-1349.
[14]J. Someya, N. Okuda, M. Yamakawa (2003). The motion adaptive CODEC feedforward driving (macFFD) for HDTV. SID Symposium Digest of Technical Papers, vol. 34, no.1, pp. 149-151.
[15]J. Someya, N. Okuda (2004). A study of motion adaptive CODEC feedforward driving without SDRAM. SID Symposium Digest of Technical Papers, vol. 35, no.1, pp. 417- 419.
[16]J. S. Lim (1990). Two-Dimensional Signal and Image processing. Prentice-Hall. [17]J. Wang, K. Y. Min, J. W. Chong (2007). A hybrid image coding in overdrive for
motion blur reduction in LCD. Proc. of 6th Int. Computer Entertainment Computing (ICEC’07), Shanghai, China, pp. 263-270.
[18]J. Wang, K. Y. Min, J. W. Chong (2008). A High compression ratio image coding for frame memory reduction in LCD Overdrive. The 23rd International Technical Conference on Circuits/Systems, Computers and Communications (ITC-CSCC 2008), vol. 55 , No. 1.
[19]J. Wang, J. W. Chong (2009). High Performance Overdrive Using Improved Motion Adaptive Codec in LCD. IEEE Transactions on Consumer Electronics, vol. 55, No. 1, pp. 20-26.
[20]J. Wang, L. B. Luo, K. Y. Min, Y. C. Jeung, J. W. Chong (2010). Single Bit Plane Based Block Truncation Coding for Color Image Compression in LCD Overdrive. Consumer Electronics (ICCE), 2010 Digest of Technical Papers International Conference, pp. 53-54.
[21]J. Wang, J. W. Chong (2010). Adaptive Multi-level Block Truncation Coding for Frame Memory Reduction in LCD Overdrive. IEEE Transactions on Consumer Electronics, Vol. 56, No. 2.
[22]Jun Wang, Bormin Huang, Jiaji Wu, Jong-Wha Chong (2011). Lapped transform- based codec for frame-memory reduction in super-quality LCD overdrive. Journal of the Society for Information Display, vol. 19, Iss. 8, pp. 551-560.
[23]J. W. Chong (2009). Image and Video Signal Processing Technology. Seminar document, Waseda University.
[24]J. W. Han, M. C. Hwang, S. J. Ko (2008). Vector quantizer based block truncation coding for color image compression in LCD overdrive. IEEE Transactions on Consumer Electronics, vol. 54, no. 4, pp. 1839-1845.
[25]K. Nakanishi, S. Takahashi, H. Oura, T. Matsumura, S. Miyake, K. Kobayashi, K. Oda, S. Tahata, A. Yuuki, J. Someya, M. Yamakawa (2001). Fast Response 15-in. XGA TFT-LCD with Feedforward Driving (FFD) Technology for Multimedia Applications. SID ’01 Digest, pp. 488-491.
[26]Mauro Barni (2006). Document and Image Compression. Taylor & Francis.
[27]Mary Bellis, “Liquid Crystal Display (LCD) - Invention and History – Inventors”, Link: http://inventors.about.com/od/lstartinventions/a/LCD.htm
[28]R. H. M. Wubben, G. J. Hekstra (2004). LCD overdrive frame memory reduction using scalable DCT-based compression. SID Symposium Digest of Technical Papers, vol. 35, no.1, pp. 1348-1351.
[29]S. Mallat (1989). A Theory for Multiresolution Signal Decomposition: The Wavelet Representation. IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 11, No. 7, pp. 674-693.
[30]T. Acharya, P.S. Tsai (2005). JPEG2000 Standard for Image Compression. John Wiley & Sons.
[31]Vladimir Lachine, Chon-Tam Le Dinh, Dinh Kha Le, Jeffrey Wong (2014). Fixed tile rate codec for bandwidth saving in video processors. Proc. SPIE 9030, Mobile Devices and Multimedia: Enabling Technologies, Algorithms, and Applications 2014.
[32]Z. Wang, A. C. Bovik, H. R. Sheikh, E. P. Simoncelli (2004). Image quality assessment: From error visibility to structural similarity. IEEE Transactions on Image Processing, vol. 13, no. 4, pp. 600-612.
[33]http://trace.eas.asu.edu/yuv/index.html [34]ftp://vqeg.its.bldrdoc.gov/MM/cif/
DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC ĐÃ CÔNG BỐ CỦA LUẬN ÁN
1. Tai Nguyen Huu, Hoang-Lan Nguyen Thi, Chon-Tam Le Dinh (2011). Content- based Bit Exchange Techniques for Frame Delay Memory Application. Proceeding of the 6th IEEE Conference on Industrial Electronics and Applications, pp 107-112, Beijing, China, ISBN: 978-1-4244-8756-7, DOI: 10.1109/ICIEA.2011.5975559. 2. Tai Nguyen Huu, Hoang-Lan Nguyen Thi, Chon-Tam Le Dinh (2011). Advanced
Content-Adaptive Image Coding for Frame Memory Reduction in LCD Overdrive. Proceeding of the Conference on ICT Celebrating the 55th Anniversary of Hanoi University of Science and Technology – colocated with the Short Paper Track of SoICT October 2011, pp 12-16, ISBN: 978-604-911-032-0.
3. Nguyễn Hữu Tài, Nguyễn Thị Hoàng Lan (2012). Nghiên cứu cải tiến chất lượng nén ảnh trong LCD. Tạp chí Tin học và Điều khiển học, trang 215-233, T.28, S.3, ISSN 1813-9663.
4. Tai Nguyen Huu, Hoang-Lan Nguyen Thi (2012). Avanced High-Adaptive Image Coding for Frame Memory Reduction in LCD overdrive. Proceeding of the 2012 IEEE-RIVF International Conference on Computing and Communication Technologies - Research, Innavation and Vision for the Future, HCM City, Vietnam, pp 260-265, IEEE Catalog Number: CFP1256A-PRT, ISBN: 978-4673- 0308-8.
5. Tai Nguyen Huu, Hoang-Lan Nguyen Thi and Ban Ha Bang (2013). Robust Adaptive Image Coding for Frame Memory Reduction in LCD Overdrive. Proceeding of Data Compression Conference - DCC 2013, pp 497, Snowbird, Utah, USA, ISSN 1068-0314/13 © 2013 IEEE DOI 10.1109/DCC.
6. Tai Nguyen Huu, Hoang-Lan Nguyen Thi, Chon-Tam Le Dinh (2013). DWT-Based Multi-Adaptive Image Coding for Frame Memory Reduction in LCD Overdrive. Proceeding of the 10th IEEE RIVF International Conference on Computing and Communication Technologies – Research, Innavation and Vision for the Future, pp 270-275, Hanoi, Vietnam, IEEE Catalog Number CFP1356A-PRT, ISBN: 978-1 4799-1350-3.
7. Tai Nguyen Huu, Hoang-Lan Nguyen Thi, Chon-Tam Le Dinh (2015). Range- based Bit Distribution Technique for Frame Delay Memory Application. Tạp chí Khoa học & Công nghệ các Trường Đại học Kỹ thuật, trang 58-63, No. 107C, ISSN 2354-1083.
PHỤ LỤC 1: THỬ GIẢI PHÉP NÉN WLT-MAIC TRÊN MỘT SỐ VIDEO CLIP CỦA QUALCOMM CANADA
Được sự giới thiệu của Giáo sư Lê Đình Chơn Tâm, giải pháp nén WLT-MAIC, với một số cải tiến nhất định, đã được Qualcomm Canada xem xét và đánh giá thực nghiệm thêm trên một số chất liệu video và graphic đặc biệt. Phần cuối của phụ lục này là phần kết luận của Qualcomm Canada cho giải pháp WLT-MAIC cùng đề xuất hướng áp dụng mới cho WLT-MAIC.
Giải pháp WLT-MAIC chỉ được trình bày một cách sơ lược với Qualcomm Canada. Vì vậy Qualcomm Canada hoàn toàn không biết chi tiết cụ thể về thuật toán của WLT-MAIC.
Sau đây là chi tiết 2 vòng đánh giá thực nghiệm với Qualcomm Canada:
Vòng một: Trải qua đánh giá thực nghiệm trên 3 chuỗi video của Qualcomm chứa nhiều đặc tính khắc khe nhằm làm bộc lộ rõ nét những yếu điểm của những giải pháp nén mà Qualcomm muốn xem xét đánh giá trước khi nghiên cứu triển khai, dưới đây là hình ảnh một số khung hình trong ba chuỗi khung hình trên:
Stt Tên chuỗi khung hình Một số khung hình trong chuỗi 1 Composite
ảnh hiển thị với tỷ lệ 50%
(ảnh số 20) 2 Img01 ảnh hiển thị với tỷ lệ 20% (ảnh số 1) (ảnh số 20) 3 Img07 ảnh hiển thị với tỷ lệ 25%
(ảnh số 1)
(ảnh số 20)
Vòng hai: Trải qua đánh giá thực nghiệm trên chuỗi video Image00 của Qualcomm với sự tổng hợp của ảnh tự nhiên và ảnh đồ họa với độ chi tiết và độ tương phản rất cao. Nhiều vùng ảnh được thiết kế sao cho có sự chuyển tiếp rất nhỏ về màu sắc và độ sáng nhằm làm nổi bật những sai số dù rất nhỏ khi qua sát bằng mắt thường, nhằm cho phép dễ dàng đánh giá và loại bỏ nhanh chóng những giải pháp nén không thật sự đạt hiệu năng cao. Chất lượng ảnh kém và sự giả tạo về màu sắc và đường nét sẽ đều lộ rõ trên ảnh khôi phục.
Stt Tên chuỗi khung hình
1 Img00 ảnh hiển thị với tỷ lệ 50% (ảnh số 1) (ảnh số 2)
(ảnh số 3)
(ảnh số 120)
Compression Factor CR from 24 bits/pixel Bit per compressed pixel (bpp) Average PSNR Result for Img00 CR = 4 6 38.53 dB CR = 3 8 42.41 dB CR = 2 12 48.09 dB
Phần dưới đây là e-mail kết luận của Vladimir Lachine (Senior Staff Engineer at Qualcomm) gửi cho Chon-Tam Le Dinh (Engineer, Principal/Mgr, Qualcomm Canada Inc), Phuc-Tue Le Dinh (Member of Technical Staff, Staff, Qualcomm Canada Inc), Louie Lee (Director, Engineering, Qualcomm Canada Inc), và Nguyễn Hữu Tài. Trong đó khẳng định rằng phương pháp nén (WLT-MAIC) có khả năng đạt được tỷ số nén 4:1 với chất lượng nén về phương diện trực quan là không mất mát thông tin. Kèm theo đó là đề xuất xem xét để nén giảm băng thông áp dụng cho kỹ thuật FRC (Frame Rate Converter) mà qualcomm đang nghiên cứu triển khai.
Cũng cần phải nhấn mạnh rằng, giải pháp nén WLT-MAIC mà chúng tôi đề xuất là giải pháp nén chấp nhận mất mát thông tin, song như kết luận của Vladimir Lachine thì về mặt thị giác chúng ta không thể nhận thấy những mất mát đó trên ảnh khôi phục khi nén với tỷ số nén 4:1. Điều này là động lực khích lệ cho chúng tôi có những nghiên cứu phát triển, để mở rộng hơn nữa phạm vi ứng dụng cho những kết quả mà luận án đã đạt được.
PHỤ LỤC 2: THỐNG KÊ XÁC XUẤT CỦA “ZERO MEAN SIGNAL” TRONG MÔ HÌNH AAIC.
Dưới đây là một số kết quả thực nghiệm nhằm kiểm định giả thiết đã được đưa ra trong luận án rằng: tín hiệu dạng “zero mean signal” có phân phối xác suất xấp xỉ hàm phân phối Gaussian.
(a). Đồ thị hàm phân phối xác suất Gaussian, với Mean = 0 và Standard Deviation = 1
(b). Đồ thị thống kê xác suất của tín hiệu dạng “zero mean” trong mô hình AAIC. Thống kê được thực hiện trên 100
khung hình của chuỗi CIF
ITU_SRC_Football
(c). Đồ thị thống kê xác suất của tín hiệu dạng “zero mean” trong mô hình AAIC. Thống kê được thực hiện trên 100 khung hình của chuỗi CIF Coastguard
(d). Đồ thị thống kê xác suất của tín hiệu dạng “zero mean” trong mô hình AAIC. Thống kê được thực hiện trên 100 khung hình của chuỗi CIF Waterfall
Hình 1. So sánh đồ thị hàm phân phối xác suất Gaussian với đồ thị thống kê xác suất của “zero mean signal” trong AAIC trên một số dữ liệu thực nghiệm.
Hình 1. (a) là đồ thị của phân phối xác suất Gaussian với các tham số mean = 0 và standard deviation = 1. Các hình (a) & (b) & (c) là đồ thị phân phối xác suất của “zero mean signal” trong AAIC khi được thống kê lần lượt trên các chuỗi khung hình
-4 -3 -2 -1 0 1 2 3 4 0 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 x P (x)
The probability density function of the normal distribution (Gaussian)
-4 -3 -2 -1 0 1 2 3 4 0 0.01 0.02 0.03 0.04 0.05 0.06 x P (x)
The probability density function of "zero mean signal" in AAIC
-4 -3 -2 -1 0 1 2 3 4 0 0.005 0.01 0.015 0.02 0.025 0.03 0.035 0.04 0.045 x P (x)
The probability density function of "zero mean signal" in AAIC
-4 -3 -2 -1 0 1 2 3 4 0 0.01 0.02 0.03 0.04 0.05 0.06 x P (x)
ITU_SRC_Football, Coastguard, và Waterfall với định dạng CIF. Có thể thấy tín hiệu dạng “zero mean” trong mô hình AAIC có phân phối xác xuất gần giống (hay xấp xỉ) theo mô hình phân phối Gaussian như lập luận lý thuyết đã đưa ra.