Xây dựng hệ thống hiển thị thông tin hình ảnh thông qua mạng internet

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Vũ Ngọc Tuyên XÂY DỰNG HỆ THỐNG HIỂN THỊ THƠNG TIN HÌNH ẢNH THƠNG QUA MẠNG INTERNET LUẬN VĂN THẠC SỸ CÔNG NGHỆ ĐIỆN TỬ - VIỄN THÔNG HÀ NỘI - 2014 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Vũ Ngọc Tuyên XÂY DỰNG HỆ THỐNG HIỂN THỊ THƠNG TIN HÌNH ẢNH THƠNG QUA MẠNG INTERNET Ngành: Công nghệ Điện tử - Viễn thông Chuyên ngành: Kỹ thuật Điện tử Mã số: 60 52 02 03 LUẬN VĂN THẠC SỸ CÔNG NGHỆ ĐIỆN TỬ - VIỄN THÔNG NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS Trần Xuân Tú HÀ NỘI - 2014 LỜI CAM ĐOAN Tôi xin cam đoan nội dung luận văn “Xây dựng hệ thống hiển thị thơng tin hình ảnh thơng qua mạng Internet” sản phẩm thực hướng dẫn PGS.TS Trần Xuân Tú Trong toàn nội dung luận văn, điều trình bày cá nhân tổng hợp từ nhiều nguồn tài liệu Tất tài liệu tham khảo có xuất xứ rõ ràng trích dẫn hợp pháp Tơi xin hồn tồn chịu trách nhiệm chịu hình thức kỷ luật theo quy định cho lời cam đoan Hà Nội, ngày 11 tháng 11 năm 2014 TÁC GIẢ Vũ Ngọc Tuyên LỜI CẢM ƠN Lời đầu tiên, em xin gửi lời cảm ơn tới PGS.TS Trần Xuân Tú tận tình hướng dẫn, cung cấp tài liệu tham khảo, kinh nghiệm ý kiến đóng góp quý báu Em xin cảm ơn tới anh em cán Phịng thí nghiệm mục tiêu Hệ thống tích hợp thông minh (SIS Lab) hỗ trợ giải đáp vướng mắc em suốt trình nghiên cứu Em gửi lời cảm ơn đến thầy cô Khoa Điện tử - Viễn thông, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội truyền đạt kiến thức bổ ích kinh nghiệm quý báu suốt thời gian em học tập, nghiên cứu nhà trường Cuối em xin gửi lời cảm ơn đến gia đình, bạn bè người giúp đỡ tạo điều kiện để em hoàn thành luận văn Trong thời gian thực luận văn, thân em khó tránh khỏi nhiều thiếu sót Em mong nhận ý kiến đóng góp từ phía thầy bạn bè để luận văn hoàn thiện Em xin chân thành cảm ơn ! Học viên Vũ Ngọc Tuyên MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC DANH MỤC HÌNH VẼ DANH MỤC BẢNG BIỂU DANH MỤC TỪ VIẾT TẮT MỞ ĐẦU 10 CHƯƠNG 1: CƠ SỞ LÝ THUYẾT VỀ MÃ HĨA VÀ HIỂN THỊ HÌNH ẢNH 1.1 11 Cơ sở lý thuyết mã hóa hình ảnh JPEG 11 1.1.1 Q trình mã hóa 12 1.1.2 Chuyển đổi hệ màu 12 1.1.3 Lấy mẫu 13 1.1.4 Quá trình giải mã 14 1.2 Hiển thị hình ảnh lên hình chuẩn VGA 15 1.2.1 Nguyên lý quét hình ảnh 15 1.2.2 Tín hiệu màu VGA 17 1.2.3 Bộ điều khiển tín hiệu hiển thị hình ảnh – VGA core 18 1.2.4 Nguyên tắc hoạt động hiển thị hình ảnh VGA 20 CHƯƠNG 2: CƠNG NGHỆ NỀN TẢNG FPGA – PHƯƠNG PHÁP XÂY DỰNG HỆ THỐNG NHÚNG TRÊN FPGA 22 2.1 Giới thiệu công nghệ tảng FPGA .22 2.1.1 Kiến trúc FPGA 23 2.1.2 Ngơn ngữ lập trình mơ tả phần cứng VHDL 25 2.2 Phương pháp xây dựng hệ thống nhúng FPGA .27 2.2.1 Trình tự thiết kế vi mạch FPGA 27 2.2.2 Giải pháp thiết kế hệ thống sử dụng công cụ hãng Xilinx 29 CHƯƠNG 3: HỆ THỐNG HIỂN THỊ THÔNG TIN HÌNH ẢNH THƠNG QUA MẠNG INTERNET 39 3.1 Mô tả ý tưởng thiết kế hệ thống 39 3.2 Hệ thống phần cứng .40 3.2.1 Xây dựng hệ thống phần cứng chip 41 3.2.2 Thiết kế ngoại vi giao tiếp hình VGA 46 3.3 Đặc tả hệ thống phần mềm 50 3.3.1 Thiết kế chi tiết hệ thống phần mềm 51 3.3.2 Thư viện lwIP hỗ trợ truyền thông Ethernet 54 3.3.3 Thư viện giải mã ảnh JPEG – TinyJPEG 56 CHƯƠNG 4: : KẾT QUẢ THỰC NGHIỆM VÀ ĐÁNH GIÁ 59 4.1 Nền tảng thực thi hệ thống 59 4.2 Kết kiểm tra chức hệ thống 59 4.2.1 Kiểm tra kết nối Ethernet 59 4.2.2 Kiểm tra kết nối hình VGA, hiển thị hình ảnh 60 4.2.3 Kiểm tra kết giải mã hình ảnh JPEG 61 4.2.4 Kiểm tra kết nối tổng thể toàn hệ thống 61 4.3 Đánh giá giải pháp thực hệ thống 62 KẾT LUẬN 63 TÀI LIỆU THAM KHẢO 64 DANH MỤC HÌNH VẼ Hình 1-1: Sơ đồ q trình mã hóa JPEG [1] 12 Hình 1-2: So sánh hệ màu RGB YCbCr 13 Hình 1-3: Các kiểu lấy mẫu liệu[3] 14 Hình 1-4: Sơ đồ khối trình giải mã [1] 14 Hình 1-5: Minh họa phương pháp quét hình ảnh 15 Hình 1-6: Tín hiệu điện cho dịng qt hình CRT [5] 16 Hình 1-7: Chế độ điều khiển VGA 640×480 [5] 17 Hình 1-8: Cổng kết nối VGA 18 Hình 1-9: Các màu [5] .18 Hình 1-10: Kết hiển thị 19 Hình 1-11: Sơ đồ khối cấu trúc hiển thị hình ảnh VGA 21 Hình 2-1: Kiến trúc chung FPGA [2] .23 Hình 2-2: Một Logic Block điển hình 24 Hình 2-3: Khối Logic khả trình .24 Hình 2-4: Các kết nối khả trình 25 Hình 2-5: Qui trình thiết kế chip dựa VHDL [2] 26 Hình 2-6: Kit phát triển Spartan-3E [12] 30 Hình 2-7: Các thành phần Kit Spartan-3E[12] .31 Hình 2-8: Kiến trúc Spartan 3E [12] 32 Hình 2-9: Sơ đồ khối lõi Microblaze [11] .33 Hình 2-10: Kiến trúc đường ống microblaze .34 Hình 2-11: Hệ thống BUS điển hình Microblaze [11] 35 Hình 2-12: Giao diện sử dụng cơng cụ XPS 36 Hình 2-13: Giao diện sử dụng công cụ SDK .37 Hình 3-1: Sơ đồ khối chức hệ thống .39 Hình 3-2: Sơ đồ chi tiết hệ thống phần cứng 40 Hình 3-3: Lựa chọn bo mạch 42 Hình 3-4: Cấu hình hệ thống 43 Hình 3-5: Cấu hình vi xử lý 43 Hình 3-6: Cấu hình ngoại vi hệ thống 44 Hình 3-7: Lựa chọn nhớ đệm 45 Hình 3-8: Cấu hình ứng dụng mẫu cho hệ thống 45 Hình 3-9: Khởi tạo lõi VGA 46 Hình 3-10: Cấu hình bus cho lõi VGA 47 Hình 3-11: Thiết lập tần số hoạt động lõi VGA .47 Hình 3-12: Tạo phần cứng FPGA .49 Hình 3-13: Sơ đồ khối hệ thống tạo XPS 49 Hình 3-14: Mơ hình phần mềm hai lớp ứng dụng 50 Hình 3-15: Mơ hình triển khai hệ thống nhúng Spartan-3E 50 Hình 3-16: Biểu đồ trường hợp sử dụng 51 Hình 3-17: Lưu đồ tiến trình hoạt động 52 Hình 3-18: Lưu đồ truyền tập tin 53 Hình 3-19: Lưu đồ giải mã ảnh Jpeg .53 Hình 4-1: Kiểm tra kết nối Ethernet 60 Hình 4-2: Kiểm tra điều khiển VGA .60 Hình 4-3: Kiểm tra chương trình giải mã JPEG 61 Hình 4-4: Kiểm tra kết nối tồn hệ thống 62 DANH MỤC BẢNG BIỂU Bảng 3-1: Bảng tổng hợp tài nguyên phần cứng hệ thống 41 Bảng 3-2: Các tín hiệu ngoại vi lõi VGA 48 Bảng 3-3: Mô tả hàm lwip_socket [4] .54 Bảng 3-4: Mô tả hàm lwip_blind [4] 55 Bảng 3-5: Mô tả hàm lwip_close [4] 55 Bảng 3-6: Mô tả hàm khởi tạo tinyjpeg_init [4] 56 Bảng 3-7: Mô tả hàm duyệt header file tinyjpeg_parse_header [4] 56 Bảng 3-8: Mô tả hàm giải mã ảnh tinyjpeg_decode [4] .57 Bảng 3-9: Mô tả hàm đọc kích thước ảnh tinyjpeg_get_size [4] .57 Bảng 3-10: Mô tả hàm tinyjpeg_get_components [4] 58 Bảng 3-11: Mô tả hàm giải phóng nhớ tinyjpeg_free [4] 58 DANH MỤC TỪ VIẾT TẮT Từ viết tắt ALU ASIC BMP CLB CPLD CRT DCM EDK FPGA GIF GPIO HS IEEE IOB ISE JPEG LCD LUT PNG RGB RTL SDK SOC TIFF UART VGA VHDL VHSIC VS XCL XPS Mô tả Arithmetic Logic Unit Application-Specific Integrated Circuit BitMaP image file Configurable Logic Block Complex Programmable Logic Devices Cathode Ray Tube Digital Clock Manager Embedded Development Kit Field-Programmable Gate Array Graphics Interchange Format General Purpose Input Output Horizontal Sync Institue of Electrical and Electronics Engineers Input/Output Block Integrated Software Environment Joint Photographic Experts Group Liquid-Crystal Display Look-Up Tables Portable Network Graphics Red - Green - Blue Register Transfer Level Software Development Kit System on Chip Tagged Image File Format Universal Asynchronous Receiver Transmitter Video Graphics Array VHSIC Hardware Description Language Very High Speed Integrated Circuit Vertical Sync Xilinx Cache Link Xilinx Platform Studio Client Application xây dựng tảng hệ điều hành thời gian thực Xikernel hỗ trợ xử lý phân luồng Đồng thời sử dụng hai thư viện phần mềm chuyên dụng, thư viện lwip hỗ trợ truyền thông Ethernet giao thức TCP/IP phiên lwip130_v3_00_a tích hợp sẵn cơng cụ Software Development Kit (SDK 12.3) Xilinx thư viện giải mã hình ảnh TinyJpeg thư viện mã nguồn mở chia sẻ Luc Saillard website saillard.org Hệ thống phần mềm ứng dụng nhúng hệ thống phần cứng SOC mà thực thi bao gồm vi xử lý MicroBlaze khối điều khiển Ethernet, VGA ngoại vi khác 3.3.1 Thiết kế chi tiết hệ thống phần mềm 3.3.1.1 Biểu đồ trường hợp sử dụng Hình 3-16: Biểu đồ trường hợp sử dụng Hệ thống nhúng SOC thực kết nối Ethernet để tải file ảnh định dạng JPEG từ server Sau thực giải mã hình ảnh đưa định dạng RGB24 để hiển thị lên hình chuẩn VGA 51 3.3.1.2 Lưu đồ tiến trình hoạt động Hình 3-17: Lưu đồ tiến trình hoạt động Trình tự hoạt động hệ thống nhúng sau kết nối vật lý Client Server, thực việc khởi động nguồn hệ thống SOC, Client gửi yêu cầu tới Server để yêu cầu tải tập tin hình ảnh JPEG Server nhận yêu cầu gửi file ảnh tới Client theo giao thức truyền file TFPT protocol Client nhận file ảnh Jpeg gửi phản hồi Server kết thúc giai đoạn truyền file Sau Client thực giải mã hình ảnh Jpeg sang định dạng RGB24 copy liệu ảnh vào vùng nhớ lỗi điều khiển VGA, thông báo cho VGA bắt đầu hiển thị hình ảnh Biểu đồ tiến trình hoạt động (Sequence Diagram) hệ thống mơ tả Hình 3-17 52 3.3.1.3 Lưu đồ truyền tập tin qua giao thức TFTP Hình 3-18: Lưu đồ truyền tập tin 3.3.1.4 Lưu đồ giải mã hình ảnh Jpeg sử dụng thư viện TinyJpeg Hình 3-19: Lưu đồ giải mã ảnh Jpeg 53 3.3.2 Thư viện lwIP hỗ trợ truyền thông Ethernet lwIP (Lightweight TCP/IP Stack) thư viện mã mở TCP/IP Stack, thực thi giao thức mạng (TCP/IP, UDP/IP, ICMP, ARP…) chip lõi Ethernet phát triển cho hệ thống nhúng Để sử dụng thư viện lwIP, cấu hình phần cứng yêu cầu vi xử lý PPC450 MicroBlaze; lõi IP điều khiển Ethernet EMAC xps_ethernetlite (Ethernet Lite MAC) xps_ll_temac (TMAC); Timer sử dụng IP core xps_timer điều khiển ngắt sử dụng xps_intc; ngắt từ Timer EMAC cần kết nối tới Interrupt controller Tất yêu cầu cấu hình phần cứng đáp ứng hệ thống SOC mà xây dựng Sử dụng lwIP có chế độ hoạt động Raw Socket, bảng mô tả số hàm API sử dụng chế độ Socket Bảng 3-3: Mô tả hàm lwip_socket [4] Prototype int lwip_socket (int domain, int type, int protocol ); Parameters domain: kiểu domain socket type: giá trị SOCK_DGRAM SOCK_STREAM tùy vào giao thức truyền UDP hay TCP protocol: thường có giá trị Description Return Comment Includes Hàm tạo socket với tham số domain, type protocol cung cấp trả socket descriptor thành công Giá trị trả tham số cần thiết muốn thực thi hàm khác hàm cần gọi Giá trị trả về: > 0: tạo socket thành công trả Socket descriptor socket tạo thu kết kết nối thành cơng mơ tả hình 4-1 59 Hình 4-1: Kiểm tra kết nối Ethernet 4.2.2 Kiểm tra kết nối hình VGA, hiển thị hình ảnh Nạp trực tiếp hình ảnh định dạng RGB vào nhớ RAM vùng nhớ VGA Để có hình ảnh định dạng RGB dùng tool “Image2RGB” Sau convert file hình ảnh có dạng header h file Kết thử nghiệm mơ tả hình 4-2 Hình 4-2: Kiểm tra điều khiển VGA 60 4.2.3 Kiểm tra kết giải mã hình ảnh JPEG Sử dụng thư viện TinyJpeg vào chương trình hệ thống phần mềm nhúng Cấu hình sử dụng hàm thư viện với đầu vào mảng file ảnh định dạng Hex Các hàm chức thư viện TinyJpeg thực giải mã thông tin liệu file ảnh Jpeg định dạng Hex sau xuất mảng chứa thơng tin liệu hình ảnh giải mã sang định dạng RBG Mảng output lưu nhớ RAM Hàm set giá trị Pixel hình VGA quét hàng cột hình ảnh để hiển thị lên hình Kết kiểm thử mơ tả Hình 4-3 for (j=0;j5)); Hình 4-3: Kiểm tra chương trình giải mã JPEG 4.2.4 Kiểm tra kết nối tổng thể tồn hệ thống Thử nghiệm dùng máy tính cá nhân làm FTP server chứa ảnh JPEG, kết nối bo mạch với máy tính qua cáp Ethernet đấu chéo Kết kiểm thử mơ tả Hình 4-4 61 Hình 4-4: Kiểm tra kết nối tồn hệ thống 4.3 Đánh giá giải pháp thực hệ thống Hệ thống hiển thị thơng tin hình ảnh quảng bá xây dựng tương đối hoàn chỉnh, đáp ứng yêu cầu đề tài Luận văn Thạc sỹ Các giải pháp thực đề tài lựa chọn thực theo hướng tối ưu Từ việc sử dụng chuẩn định dạng hình ảnh JPEG định dạng phổ biến mạng Internet này, đến việc lựa chọn tảng FPGA để thực thi hệ thống chip SoC, nhằm tối ưu hóa hệ thống phần cứng chuyên dụng Việc lựa chọn chuẩn giao tiếp hình VGA chuẩn kết nối hình phổ biến, dễ dàng ghép nối với hệ thống Giải pháp phần cứng sử dụng bo mạch Spartan-3E kit phát triển FPGA dạng khởi đầu với cấu hình thấp, có nhiều điểm hạn chế tốc độ xử lý chất lượng hình ảnh hiển thị hình Do sử dụng thư viện giải mã ảnh JPEG ngôn ngữ C nên vi xử lý bo mạch Spartan-3E xử lý chậm, thời gian chạy chương trình giải mã tương đối lâu khoảng đến phút Độ phân giải hình VGA mà bo mạch hỗ trợ đến mức cao 640×480 Thêm số màu hiển thị màu (3 bit màu), chất lượng hình ảnh thấp Khi nghiên cứu phát triển tiếp ứng dụng đề tài cần nâng cấp sử dụng bo mạch FPGA cấu hình cao 62 KẾT LUẬN Những công việc mà em thực Luận văn Thạc sỹ:  Nghiên cứu phương pháp xây dựng, phát triển phần cứng phần mềm hệ thống chip SoC sử dụng công nghệ FPGA ngôn ngữ VHDL  Nghiên cứu phương thức truyền thông Internet, giải mã ảnh JPEG, kết nối điều khiển hình hiển thị VGA  Nghiên cứu kiến trúc phương pháp lập trình vi xử lý mềm Micro-Blaze hãng Xilinx  Viết chương trình cấu hình kết nối Ethernet, tải liệu hình ảnh từ server, giải mã JPEG hiển thị hình VGA  Thực thi thử nghiệm hệ thống tích hợp Với kết thực thi đề tài, hệ thống hiển thị hình ảnh qua mạng Internet ứng dụng hoạt động quảng bá thơng tin hình ảnh quan, trường học, bệnh viện Hay ứng dụng hoạt động quảng cáo phục vụ doanh nghiệp quảng bá thương hiệu, sản phẩm tới tồn xã hội thơng qua hình lắp đặt tịa nhà cao tầng, thang máy, nơi người dân xem thông tin quảng cáo thời gian chờ đợi làm tăng hiệu quảng cáo Tuy nhiên hệ thống hiển thị hình ảnh qua mạng Internet thực thi đề tài cịn số điểm hạn chế Thơng hiển thị hình ảnh tĩnh, thơng tin cố định định hướng phát triển đề tài theo hướng phát triển mô-đum giải mã video Mpex để hệ thống chạy chiếu đoạn video Hệ thống hỗ trợ truyền thông có dây, phát triển để tích hợp mơ-đum Wifi 3G hỗ trợ hệ thống tải liệu qua mạng khơng dây Ngồi ra, hệ thống xây dựng bo mạch Spartan-3E dịng kit khởi đầu, tốc độ vi xử lý chậm đặc biệt trình giải mã hình ảnh JPEG Khi hệ thống cần phát triển tính u cầu cần nâng cấp phần cứng, sử dụng vi xử lý tốc độ cao Để tăng tốc độ giải mã hình ảnh JPEG, cần nghiên cứu sử dụng thuật toán giải mã tối ưu Hoặc nghiên cứu sử dụng giải mã JPEG phần cứng sử dụng ngôn ngữ VHDL tăng tốc độ giãi mã nhiều lần 63 TÀI LIỆU THAM KHẢO Tài liệu Tiếng Việt [1] Bộ Thông tin Truyền thông (2013), Tiêu chuẩn kỹ thuật ƯDCNTT CQNN: Tiêu chuẩn JPEG – Định dạng ảnh JPEG, Trang thông tin điện tử Cục ứng dụng Công nghệ thông tin - www.aita.gov.vn - Cục Tin học hóa [2] Nguyễn Trung Hiếu, Ngơ Hải Bắc (2 008), Thiết kế hệ thống xử lý ảnh số FPGA, Đồ án tốt nghiệp, Đại học Bách khoa Hà Nội [3] Mai Trung Nguyên (2013), Thiết kế mô-đum tái tạo hình ảnh hệ thống nén ảnh sử dụng thuật toán nhận biết chuyển động Sigma-delta, Luận văn Thạc sỹ, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội [4] Trần Văn Huấn (2009), Tài liệu đặc tả phần mềm Project PUF, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội [5] Trần Văn Huấn, Nguyễn Ngọc Mai (2009), Tài liệu đặc tả kỹ thuật lõi VGA, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội [6] Đỗ Năng Toàn, Phạm Việt Bình (2007), Giáo trình xử lý ảnh, Trường Đại học Thái Nguyên Tài liệu Tiếng Anh [7] Enoch Hwang (2004), Build a VGA Monitor Controller, Feature Article, http://www.circuitcellar.com [8] James Rosenthal.(2006), JPEG Image Compression Using an FPGA, A Thesic submitted in partial satisfaction of the requirements for the degree Master of Science in Electrical and Computer Engineering [9] S Stuijk (2001), Design and implementation of a JPEG decoder, Faculty of Electrical Engineering - Eindhoven University of Technology, Practical Training Report 64 [10] Xilinx Ltd (2008), BFM Simulation in Platform Studio User Guide, Xilinx Documentation www.xilinx.com [11] Xilinx Ltd (2005), MicroBlaze Embedded Microcontroller, Xilinx Documentation www.xilinx.com [12] Xilinx Ltd (2006), Spartan-3E Starter Kit Board UG230, DS312, Xilinx Documentation www.xilinx.com [13] Xilinx Ltd (2008), XPS Thin Film Transistor (TFT) Controller User Guide, Xilinx Documentation www.xilinx.com 65 ... mạch FPGA hệ thống hiển thị thông tin hình ảnh Sau thiết lập kết nối từ hệ thống tới server lưu trữ liệu hình ảnh, hệ thống tải tập tin hình ảnh cần hiển thị định dạng JPEG nhớ hệ thống Chương... xây dựng hệ thống nhúng FPGA Chương 3: Hệ thống hiển thị thơng tin hình ảnh thơng qua mạng Internet Chương 4: Kết thực nghiệm đánh giá 10 CHƯƠNG 1: CƠ SỞ LÝ THUYẾT VỀ MÃ HÓA VÀ HIỂN THỊ HÌNH ẢNH. .. nguyên lý hiển thị hình ảnh lên hình giống 1.2.1 Nguyên lý quét hình ảnh Về nguyên lý ảnh kỹ thuật số, hình ảnh xem ma trận điểm ảnh. Phương pháp quét hình ảnh phương pháp hiển thị điểm ảnh theo