Nghiên cứu và thiết kế phần cứng cho bộ biến đổi wavelet thuận (FDWT) hỗ trợ roi trong chuẩn nén ảnh JPEG2000

BỘ GIÁO DỤC VÀ ĐÀO TẠOTRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ BẠCH TUẤN ĐỒNG NGHIÊN CỨU VÀ THIẾT KẾ PHẦN CỨNG CHO BỘ BIẾN ĐỔI WAVELET THUẬN FDWT HỖ TRỢ

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT

THÀNH PHỐ HỒ CHÍ MINH

LUẬN VĂN THẠC SĨ BẠCH TUẤN ĐỒNG

NGHIÊN CỨU VÀ THIẾT KẾ PHẦN CỨNG

CHO BỘ BIẾN ĐỔI WAVELET THUẬN (FDWT)

HỖ TRỢ ROI TRONG CHUẨN NÉN ẢNH JPEG2000

NGÀNH: KỸ THUẬT ĐIỆN – 60520202

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THẬT

THÀNH PHỐ HỒ CHÍ MINH

LUẬN VĂN THẠC SĨ BẠCH TUẤN ĐỒNG

NGHIÊN CỨU VÀ THIẾT KẾ PHẦN CỨNG CHO BỘ BIẾN ĐỔI WAVELET THUẬN (FDWT)

HỖ TRỢ ROI TRONG CHUẨN NÉN ẢNH JPEG2000

LÝ LỊCH KHOA HỌC

I LÝ LỊCH SƠ LƯỢC:

Họ & tên: BẠCH TUẤN ĐỒNG Giới tính: NAM Ngày, tháng, năm sinh: 19/07/1987 Nơi sinh: Nghệ An Quê quán: Mã Thành- Yên Thành-Nghệ An Dân tộc: Kinh

Chỗ ở riêng hoặc địa chỉ liên lạc: Bạch Tuấn Đồng, Xóm Thanh Đà- Xã Mã thành- Yên Thành- Nghệ An

Điện thoại cơ quan: Điện thoại nhà riêng:

E-mail:tuandongvt@gmail.com

II QUÁ TRÌNH ĐÀO TẠO:

1 Trung học chuyên nghiệp:

Hệ đào tạo: Thời gian đào tạo từ ……/…… đến ……/

Nơi học (trường, thành phố):

Ngành học:

2 Đại học:

Hệ đào tạo: Chính quy Thời gian đào tạo từ 9/2007 đến 9/2011

Nơi học: Trường Đại học Khoa học Tự nhiên,TP HCM:

Ngành học: Điện tử - Viễn thông

Tên đồ án: Điện Toán Đám Mây

Ngày & nơi bảo vệ đồ án: 7/2011

Người hướng dẫn: ThS Lê Đức Trị

III QUÁ TRÌNH CÔNG TÁC CHUYÊN MÔN KỂ TỪ KHI TỐT NGHIỆP ĐẠI HỌC:

Thời gian Nơi công tác Công việc đảm nhiệm

9/2011-3/2012 Công ty Mitsuba Kỹ sư

Trung tâm thiết kế và đào tạo vi mạch

LỜI CAM ĐOAN

Tôi cam đoan đây là công trình nghiên cứu của tôi

Các số liệu, kết quả nêu trong luận văn là trung thực và chƣa từng đƣợc ai công bố trong bất kỳ công trình nào khác

Các số liệu, kết quả nêu trong luận văn là trung thực

kết quả của luận văn có tham khảo một phần trong đề tài “nghiên cứu, thiết kế và chế tạo thử nghiệm chip nén ảnh theo tiêu chuẩn JPEG2000 và chip ADC đa năng thử nghiệm, Mã số KC.01.13/11-15 Chủ nhiệm đề tài: ThS Nguyễn Minh Khánh Ngọc Cơ quan chủ trì: Trung tâm Nghiên cứu và Đào tạo thiết kế vi mạch” đề tài mã số KC.01.13/11-15 Đề tài này tôi có trong danh sách tham gia thực hiện ngoài ra đƣợc sự đồng ý của chủ nhiệm đề tài ThS Nguyễn Minh Khánh Ngọc cho phép sử dụng một phần kết quả

Tp Hồ Chí Minh, ngày … tháng … năm 201…

(Ký tên và ghi rõ họ tên)

Bạch Tuấn Đồng

LỜI CẢM TẠ

Tôi xin chân thành cám ơn quý thầy cô của khoa Điện-Điện Tử, Trường Đại Học Sư Phạm Kỹ Thuật - Tp.HCM, đặc biệt là thầy TS Lê Mỹ Hà ở bộ môn kỹ thuật điện đã nhận lời hướng dẫn và có những ý kiến nhận xét cần thiết, làm nền tảng cho tôi thực hiện

đề tài

Luận văn là thành quả của đề tài mã số KC.01.13/11-15 Tôi xin gửi lời cảm ơn chân thành đến Bộ Khoa học và Công nghệ, Văn phòng các chương trình trọng điểm cấp Nhà nước, Ban Chương trình KC.01 đã đầu tư kinh phí cho đề tài

Tôi cũng gửi lời cảm ơn chân thành đến Trung tâm Nghiên cứu và Đào tạo Thiết kế

Vi mạch trực thuộc Đại Học Quốc Gia TP Hồ Chí Minh (ICDREC), các đồng nghiệp đã giúp đỡ nhiệt tình để tôi có cơ hội tham gia đề tài này

Cảm ơn Bố Mẹ, Vợ luôn tạo mọi điều kiện tốt nhất trong suốt chặng đường học sau đại học, cảm ơn bạn bè đã động viên, khích lệ, giúp đỡ về mọi mặt trong quá trình làm luận văn tốt nghiệp

Trong quá trình làm luận văn thạc sỹ, có lẽ sẽ không thể tránh khỏi những sai sót, rất mong nhận được những nhận xét, góp ý, hướng dẫn và giúp đỡ của quý thầy cô và các bạn

TÓM TẮT

JPEG2000 là một chuẩn quốc tế mới về nén ảnh, được liên kết phát triển bởi Tổ Chức International Organization for Standardization (ISO) và Internaltional Electro technical Commission (IEC) và được đề xuất bởi Internetional Telecommunications Union (ITU) Chuẩn JPEG2000 ra đời khắc phục nhiều hạn chế của JPEG trong các ứng dụng tương tác đa phương tiện JPEG2000 được phát triển dựa trên lý thuyết của biến đổi wavelet thay vì DCT như trong JPEG Có thể nói, nén ảnh bằng phương pháp JPEG2000 cho chất lượng tốt, tỷ lệ nén cao Tuy nhiên, thuật toán phức tạp và tiêu tốn nhiều thời gian xử lý Đối với các ứng dụng nhúng và các thiết bị cầm tay, các bộ vi xử lý đa dụng của hệ thống không đủ khả năng để thực hiện thuật toán trong thời gian thực (real time)

Do vậy, các hãng thiết kế vi mạch lớn đã cho ra đời các lõi IP core và các chip IC có thể nén ảnh theo thời gian thực, cải thiện tốc độ hệ thống Nội dung nghiên cứu sẽ tập trung vào xây dựng một lõi IP cứng và mềm nén ảnh theo tiêu chuẩn JPEG2000

ABSTRACT

JPEG2000 is a new international standard for image compression This image compression standard is a result of collaborative efforts by the International Telecommunication Union (ITU), International Organization for Standardization (ISO), and International Electro technical Commission (IEC) JPEG2000 was born to overcome many limitations of the JPEG in the application of multimedia interactive The JPEG2000 algorithm has been developed based on the discrete wavelet transform (DWT) technique

as opposed to the discrete cosine transform (DCT) based current JPEG We can say, JPEG2000 image compression method offers good quality, high compression ratio However, this algorithm is really complex and time-consuming process For embedded applications and handheld devices, the processor of the system has insufficient capacity

to implement the algorithm in real time So, the large IC design companies have released the IP core and IC chip which can compress images in real time to improve system speed Research content focus on building a hard and soft IP core image compression standard JPEG2000

MỤC LỤC

Quyết định giao đề tài

Biên bản chấm luận văn tốt nghiệp thạc sỹ năm 2015

Phiếu nhận xét luận văn thạc sỹ

Đơn xin phép sử dụng các kết quả đề tài

Danh sách các tác giả thực hiện đề tài KHCN cấp nhà nước

1.6 Phương pháp nghiên cứu và kế hoạch thực hiện 7

2.1 Khối biến đổi FDWT (Forward descrete wavelet transform) 9

2.4 Tổng quan lý thuyết khối ROI 19 CHƯƠNG 3: PHƯƠNG PHÁP THIẾT KẾ LÕI IP TRÊN PHẦN CỨNG 22

CHƯƠNG 5: KẾT QUẢ MÔ PHỎNG TRÊN MẠCH ĐIỆN TỬ FPGA 54 5.1 Sơ đồ khối hệ thống kiểm tra lõi IP nén ảnh JPEG2000 trên FPGA 54

DANH SÁCH CÁC HÌNH TRANG Hình 1 1: Ứng dụng JPEG2000 chụp ảnh y sinh 3

Hình 1 2: Ứng dụng JPEG2000 trong điện ảnh 4

Hình 1 3: Ứng dụng JPEG2000 trong trắc địa 5

Hình 1 4: Một số công ty trên thế giới đã phát triển chíp nén ảnh JPEG2000 6

Hình 2 1: Sơ đồ hệ thống nén ảnh chuẩn JPEG2000 9

Hình 2 2: Dãy bộ lọc trong biến đổi Wavelet 10

Hình 2 3: Phân chia băng con sử dụng 2D-DWT với level 3 11

Hình 2 4: Kiến trúc khối top-level của 2D-DWT 11

Hình 2 5: Dãy bộ lọc trong biến đổi Wavelet 13

Hình 2 8: Cách thực thi tạo mặt nạ cho khối ROI 20

Hình 3 5: Luồng data trong biến đổi FDWT 2d 26

Hình 3 10: Kiến trúc khối line_2_matrix 29

Hình 3 11: Máy trạng thái trong khối Align 30

Hình 3 14: Sơ đồ khối thực hiện lượng tử hóa 33

Hình 3 16: Module ROI liên kết với các module khác 37

Hình 3 17: Ví dụ delay AVALON_SHIFT bit 37

Hình 3 18: Data truyền đi trong module JPEG2000enc_mask 38

Hình 3 21: Data được chia theo hàng ngang 39

Hình 3 22: Data được chia trong một level 40

Hình 3 23: Cách tạo nhiều data được tạo ra khi 5 level 41

Hình 3 24: ROI_MASK được tạo ra khi LEVEL là 3 41

Hình 3 27: Sơ đồ thời gian của module ROI 43

Hình 3 28: Phương pháp shift down background 44

Hình 4 1: Dạng sóng các tín hiệu khối FDWT lossy 47

Hình 4 6: Dạng sóng các tín hiệu khối Quantization 52

Hình 5 1: Mô hình mô phỏng trên phần cứng 55

Hình 5 2: Bo mạch điện tử thực hiện phô phỏng 55

Bảng 3 3: Sơ đồ chân và chức năng khối lượng tử 31

Bảng 3 4: Thông số cấu hình khối lượng tử 32

Bảng 3 6: Độ rộng bit của phương pháp shift down background [9] 44

Bảng 5 1: Kết quả nén của DUT và Cmodel chế độ Lossless level 1,2 61

Bảng 5 2: Kết quả nén của DUT và Cmodel chế độ Lossless level 3 62

Bảng 5 3: Kết quả nén của DUT và Cmodel chế độ Lossless level 4,5 62

Bảng 5 4: Kết quả nén của DUT và Cmodel chế độ Lossy level 1,2 63

Bảng 5 5: Kết quả nén của DUT và Cmodel chế độ Lossy level 3 64

Bảng 5 6: So sánh kết quả nén của DUT và Cmodel chế độ Lossy level 4,5 64

Bảng 5 7: Kết quả tổng hợp lõi nén ảnh JPEG2000 trên FPGA dòng Cyclone III 65 Bảng 5 8: Kết quả tổng hợp lõi IP nén ảnh JPEG2000 trên FPGA dòng Stratix III 66

DANH MỤC CÁC TỪ VIẾT TẮT:

JPEG Joint Photographic Experts Group

MCT Multi-Components Transform

ICT Irreversible Color Transform

RCT Reversible Color Transform

PSNR Peak to Signal to Noise Ratio

MSE Mean Square Error

DCT Discrete Cosin Transform

FDWT Forward Discrete Wavelet Transform

RTL Register Transfer Level

ASIC Application-Specific Integrated Circuit

FPGA Field-Programmable Gate Array

IP Intellectual Property

FIFO First In First Out

EBCOT Embedded Block Coding with Optimized Truncation DRC Design Rule Check

LVS Layout versus Schematic

GDS Graphic Design System

RGB Red – Green – Blue

AST Avalon Streaming

AMM Avalon Memory Map

RAM Random Access Memory

ROI Regional Of Interest

CHƯƠNG 1: TỔNG QUAN

1.1 Tổng quan chung về lĩnh vực nghiên cứu

1.1.1 Tình hình nghiên cứu ngoài nước

Trong những năm gần đây, lĩnh vực công nghệ thông tin thế giới và đặc biệt là

xử lý ảnh đã đạt được những bước tiến nhảy vọt Kèm theo đó, là sự bùng nổ của kỹ thuật mạng viễn thông và các dịch vụ, sản sinh một lượng lớn nhu cầu về lưu trữ ảnh

số Trong tình hình đó, các định dạng ảnh, tiêu chuẩn và phương pháp nén ảnh lần lượt được ra đời, phát triển và hoàn thiện Nhiều định dạng ảnh khác nhau để mô tả việc lưu trữ một file hình ảnh như: bmp; tif; pcx; gif; jpg Trong số đó hai định dạng gif và jpg (hay jpeg) được sử dụng rộng rãi nhất do khả năng nén ảnh tốt của chúng, còn bmp thường cho file ảnh với dung lượng lớn hơn nhiều so với jpeg

Năm 1992, tiêu chuẩn nén ảnh JPEG – Part 1, còn được gọi là ISO/IEC 1:1994, được xuất bản Phiên bản này định nghĩa các yêu cầu và hướng dẫn thiết yếu Tiếp theo đó, năm 1994, JPEG-Part 2, còn gọi là ISO/IEC 10918-2:1995 được xuất bản, định nghĩa các luật kiểm tra tương thích Các phần mở rộng tiếp theo của JPEG được xuất bản vào các năm kế tiếp

10918-Nguyên lý của phương pháp nén JPEG là: Cắt hình ảnh thành từng khối nhỏ, phân tích tất cả các dữ liệu về màu sắc, độ sáng mà các khối đó chứa bằng các phương trình ma trận Ảnh màu trong không gian RGB (Red, Green, Blue) được chuyển đổi qua hệ YUV Trong khi thị giác của con người lại rất nhạy cảm với hệ Y, ít nhạy cảm hơn nhiều với hệ U, V Hệ thống sẽ nén thành phần Y của ảnh ở mức độ ít hơn nhiều

so với U và V Kế tiếp là dùng biến đổi Cosin rời rạc, sau nữa là mã hóa theo phương pháp Hoffman Khi giải nén ảnh, các bước thực thi sẽ làm ngược lại quá trình nói trên

làm mất thông tin lúc giải nén, càng nén với hệ số cao thì thông tin càng mất nhiều khi giải nén

Vì vậy để giải quyết vấn đề này, năm 2000, tiêu chuẩn JPEG2000 – Part 1 được xuất bản Với JPEG2000 kỹ thuật xử lý hình ảnh sẽ đạt được những kết quả rất ngoạn mục vì có thể nén nhỏ từ 100-200 lần mà hình ảnh không sai sót bao nhiêu so với hình ảnh gốc Nhưng đâu là điểm khác biệt để kỹ thuật JPEG2000 vượt trội hơn hẳn so với JPEG?

JPEG2000 là hệ thống mã hóa hình ảnh mà kỹ thuật nén dựa trên kỹ thuật sóng ngắn (wavelet transform) Là một tiện ích toán học cho phép mô tả bằng một công thức đơn giản những gì xảy ra tại một thời điểm chính xác của tín hiệu Với một chuỗi sóng ngắn, chỉ cần biểu diễn bằng vài công thức, đường biểu diễn không đều mà không cần phải mô tả đặc tính của từng điểm một Và lẽ dĩ nhiên sẽ rất hữu ích khi phân tích tỉ mỉ một file ảnh kỹ thuật số Thuật toán trong kỹ thuật JPEG2000 là chọn một số nhỏ các sóng ngắn, các sóng này được lập lại ở những nơi khác nhau, tỷ lệ khác nhau đã mô tả chính xác tín hiệu của hình ảnh Tập dữ liệu hình ảnh nén không chứa nhiều hơn số lượng chỉ vị trí và giãn nở của từng sóng ngắn Và kỹ thuật mã hóa theo từng khối, theo từng khu vực ưu tiên của hình ảnh (ROI -Regional Of Interest) được áp dụng cũng

là một tiến bộ đáng kể trong thuật toán mã hóa JPEG2000 Có thể nói, nén ảnh bằng phương pháp JPEG2000 cho chất lượng tốt, tỷ lệ nén cao Tuy nhiên, thuật toán phức tạp và tiêu tốn nhiều thời gian xử lý Đối với các ứng dụng nhúng và các thiết bị cầm tay, các bộ vi xử lý đa dụng của hệ thống không đủ khả năng để thực hiện thuật toán trong thời gian thực (real time) Do vậy, các hãng thiết kế vi mạch lớn đã cho ra đời các lõi IP core và các chip IC có thể nén ảnh theo thời gian thực, cải thiện tốc độ hệ thống Đây cũng là xu hướng phát triển tất yếu

1.1.2 Trong nước

Trong nước hiện có 2 đề tài làm về thiết lõi IP JPEG2000 gồm

Chủ nhiệm đề tài: ThS Nguyễn Minh Khánh Ngọc

Cơ quan chủ trì: Trung tâm Nghiên cứu và Đào tạo thiết kế vi mạch

1.2 Một số ứng dụng của JPEG2000

 Chụp ảnh y sinh

Hình 1-2: Ứng dụng JPEG2000 trong điện ảnh

 Phim “Stealth”: Bản thử nghiệm đầu tiên của phim chuẩn JPEG2000 tại liên hoan phim Tokyo, năm 2005

 Phim “The Shaggy Dog”: Bộ phim kỹ thuật số được truyền qua vệ tinh, năm

2006

 Phim “Chicken Little”: Bộ phim 3D đầu tiên với sự tham gia của DCI, năm

2005

 Phim “Corpse Bride”: Bộ phim được làm với chất lượng 4K đầu tiên dựa trên tiêu chuẩn của DCI, năm 2005

Hình 1-3: Ứng dụng JPEG2000 trong trắc địa

Camera HiRISE

• Dự án chụp ảnh Hỏa tinh

• Lưu trữ ảnh chưa nén tới 28Gbit

• Nén ảnh tiêu chuẩn JPEG2000 và truyền vệ tinh với dung lượng tối đa 11.2 Gbit

Vệ tinh SkySat-1

• Vệ tinh ra mắt tháng 11 năm 2013

• Vệ tinh thương mại ảnh độ phân giải siêu cao hỗ trợ JPEG2000

Vệ tinh World View-2

Thế giới hiện có 6 công ty phát triển chíp xử lý ảnh JPEG200 logo các công ty

1.4 Nhiệm vụ của đề tài

 Thực hiện giải thuật tương thích tiêu chuẩn ISO/IEC 15444-1

 Hỗ trợ nén tổn hao, không tổn hao

 Hỗ trợ 3 thành phần màu 24bit trong đó 1 thành phần màu 8bit Và 1 thành phần màu 16bit

 Hỗ trợ kích thước code block là 16x16, 32x32, 64x64

 Hỗ trợ 2D DWT với thông số lọc 5/3 và 9/7, level 1 5

 Thực hiện kiểm tra với nhiều trường hợp khác nhau

 Thực hiện chương trình trên bo mạch FPGA để đánh giá tốc độ và tài nguyên

1.5 Nhược điểm đề tài

 Cần một dung lượng RAM lớn để lưu dữ liệu

 Tốc độ nén với hình hớn thì chưa được thời gian thực

 Không tổng hợp lõi IP này trên ASIC

1.6 Phương pháp nghiên cứu và kế hoạch thực hiện

Dựa vào chuẩn nén ảnh JPEG2000 để tìm hiểu lý thuyết, tìm và chọn lọc những tài liệu liên quan đến nén ảnh Tìm những giải thuật phù hợp và cải tiến từng khối trong chuận JPEG2000, sau đó vẽ sơ đồ khối từ khối nhỏ, tiếp theo vẽ trúc phần cứng, lập trình, quá trình kiểm tra, mô phỏng cho từng khối, sau đó tiến hành lên kế hoạch thực hiện, viết chương trình kiểm tra bằng matlab, C/C++ để kiểm tra chức năng của các

khối Bảng 1-1 là thời gian thực hiện đề tài luận văn thạc sỹ

Thời gian thực hiện: 18 tháng bao gồm:

- 6 tháng thực hiện chuyên đề 1

- 6 tháng thực hiện chuyên đề 2

- 6 tháng để hoàn thành luận văn

Bảng 1-1: Kế hoạch thực hiện