Nâng cao chất lượng ảnh tối sử dụng thuật toán mạng thần kinh quaternion trên FPGA (2)

ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA –––&——— TRẦN THỊ THU TRANG NÂNG CAO CHẤT LƯỢNG ẢNH TỐI SỬ DỤNG THUẬT TOÁN MẠNG THẦN KINH QUATERNION TRÊN FPGA Chuyên ngành: Kỹ thuật Điện tử Mã số: 8520203 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng 09 năm 2020 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐHQG - HCM Cán hướng dẫn khoa học: Tiến sĩ Trương Quang Vinh Cán chấm nhận xét 1: Tiến sĩ Nguyễn Minh Sơn Cán chấm nhận xét 2: Tiến sĩ Bùi Trọng Tú Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 17 tháng 09 năm 2020 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ luận văn thạc sĩ) TS Hồ Văn Khương – Chủ tịch Hội đồng TS Nguyễn Minh Sơn – Phản biện TS Bùi Trọng Tú – Phản biện TS Nguyễn Lý Thiên Trường – Thư ký TS Trần Hoàng Linh – Uỷ viên Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA………… ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA Xà HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Trần Thị Thu Trang MSHV: 1870649 Ngày, tháng, năm sinh: 04/04/1995 Nơi sinh: Long An Chuyên ngành: Kỹ thuật Điện tử Mã số: 8520203 I TÊN ĐỀ TÀI: Nâng cao chất lượng ảnh tối sử dụng thuật toán mạng thần kinh Quaternion FPGA II NHIỆM VỤ VÀ NỘI DUNG: Nghiên cứu mơ hình neural network xử lý tập số Quaternion Xây dựng mơ hình training mơ phần mềm, thực thiết kế phần cứng kiểm tra kết lõi IP III NGÀY GIAO NHIỆM VỤ : 01/2020 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 09/2020 V CÁN BỘ HƯỚNG DẪN (Ghi rõ học hàm, học vị, họ, tên): TS Trương Quang Vinh Tp HCM, ngày 17 tháng 09 năm 2020 CÁN BỘ HƯỚNG DẪN (Họ tên chữ ký) CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên chữ ký) TRƯỞNG KHOA….……… (Họ tên chữ ký) LỜI CẢM ƠN Để hồn thành nghiên cứu này, tơi xin chân thành gửi lời cảm ơn đến thầy hướng dẫn – TS Trương Quang Vinh, người tận tình hỗ trợ từ lúc chọn đề tài, định hướng phương pháp tiếp cận, cung cấp môi trường nghiên cứu để tơi có điều kiện tốt triển khai ý tưởng thực đề tài Cảm ơn thầy đồng hành tơi cố gắng đến cận ngày báo cáo để có kết tốt so với khả điều kiện Từ tận đáy lịng, tơi xin cảm ơn quan tâm sâu sắc thầy TS Trần Hoàng Linh, thầy tạo điều kiện tốt cho Học viên kịp tiến độ đặc biệt cho – sinh viên từ trường đại học khác nhìn tốt đẹp Bộ mơn Điện tử, trường Đại học Bách khoa Tp Hồ Chí Minh với khơng khí thân thiện, sẵn sàng hỗ trợ Học viên Tơi xin chân thành cảm ơn Quý Thầy Cô Bộ môn Điện tử nói riêng, khoa Điện – Điện tử nói chung truyền đạt cho nhiều kiến thức hay bổ ích để tơi có tảng cần thiết đường thực đề tài ứng dụng vào công việc sau Cảm ơn trường Đại học Bách khoa Thành phố Hồ Chí Minh ngơi trường tuyệt vời mà tơi gắn bó lựa chọn vào đường học Cao học Bên cạnh đó, tơi xin cảm ơn người thầy cũ mình, TS Lê Đức Hùng – người bên cạnh động viên tơi gặp biến cố cá nhân q trình thực đề tài Nhờ lời động viên, quan tâm thầy, tơi tiếp tục với đề tài có mặt đợt báo cáo (dù đề tài cịn nhiều thiếu sót) Cảm ơn thầy hỗ trợ mơi trường nghiên cứu DESLab để trở nghiên cứu sử dụng thiết bị Cảm ơn đồng nghiệp công ty TNHH Ampere Computing Vietnam động viên hỗ trợ, thông cảm cho mặt công việc, tinh thần giai đoạn nước rút luận văn Và lời cảm ơn đặc biệt dành cho gia đình Con xin cảm ơn Ba Mẹ hết lòng quan tâm, chăm sóc để có điều kiện tốt đường học vấn Một lần nữa, xin chân thành cảm ơn Thành phố Hồ Chí Minh, Tháng Năm 2020 Học viên thực TÓM TẮT LUẬN VĂN THẠC SĨ Báo cáo trình bày trình thực hóa phần cứng nâng cao chất lượng ảnh tối sử dụng mạng thần kinh nhân tạo dựa tập số ảo Quarternion Dựa vào liệu ngõ vào ảnh chụp điều kiện tối ảnh vật thể tương ứng điều kiện đầy đủ ánh sáng, hệ thống tiến hành huấn luyện để rút trích đặc trưng xây dựng mơ hình phù hợp để nâng cao chất lượng ảnh Sau giai đoạn huấn luyện phần mềm, thuật tốn dành cho q trình thực phần cứng Với ngõ vào ảnh chụp điều kiện tối với định dạng ba kênh màu đỏ, xanh dương, xanh lá, hệ thống xử lý dựa vào mơ hình xây dựng đưa kết ảnh sau nâng cao chất lượng ABSTRACT This paper presents a hardware implementation of dark image enhancement using an artificial neural network on the Quaternion number system This design will conduct training to extract features and build the enhancement models base on the input data which are images taken in low light and corresponding image taken in suitable light condition After the training on the software, the algorithm for the ehancement process will be implemented on the hardware With the input of any images taken in dark conditions in red, green, blue channel format, the system will process based on the built-in model and give final the results LỜI CAM ĐOAN CỦA TÁC GIẢ LUẬN VĂN Tôi xin cam đoan Luận văn “Nâng cao chất lượng ảnh tối sử dụng mạng thần kinh Quaternion FPGA” đề tài nghiên cứu cá nhân tôi, thầy TS Trương Quang Vinh hướng dẫn thực Các nội dung có liên quan viết ghi trích dẫn nguồn gốc rõ ràng Kết xây dựng phần cứng, kết mô trung thực tơi thực hiện, khơng chép kết nghiên cứu đề tài khác Tơi xin chịu hồn tồn trách nhiệm với cam đoan MỤC LỤC Đặt vấn đề Đối tượng phạm vi nghiên cứu Đối tượng nghiên cứu Phạm vi nghiên cứu Mục tiêu nội dung đề tài AI khái niệm AI Neural Network Deep Learning Quaternion 10 Các phép toán quaternion 11 Quaternion neural network 12 Dữ liệu ngõ vào ngõ 15 Các giai đoạn hệ thống tổng quan 15 Hệ thống phần cứng 18 Kiến trúc phần cứng chi tiết 22 Khối to 22 Khối tính ma trận xoay trọng số chuẩn hóa 23 Khối nhân ma trận 23 Khối chia CORDIC 25 Khối nhân MBWM 26 Khối tính bậc hai 28 Hàm activation RELU 28 Bộ tính tổng 10, tổng 29 Kiến trúc tính bù 30 Kết mô phần mềm 31 Kết mô QuestaSim: 33 Tiêu chí đánh giá chất lượng ảnh khơi phục 36 Kết tổng hợp FPGA 37 Kết luận 38 Định hướng phát triển 38 DANH MỤC HÌNH Hình Neural nhân tạo mơ hình neural sinh học Hình Các hàm activation Hình Mơ hình Neural Network Hình Mối quan hệ AI, ML, NN DL Hình Sự thay đổi trạng thái mơ hình huấn luyện ứng với số epoch 10 Hình Mơ hình tổng qt QNN 13 Hình Sơ đồ tổng quát giai đoạn hệ thống QNN 17 Hình Sơ đồ tổng quát bước feed-forward dùng giai đoạn training inference 18 Hình Tổng quan thiết kế 19 Hình 10 Thứ tự quét ảnh ngõ vào 20 Hình 11 Sơ đồ tổng quan thiết kế lõi QNN 20 Hình 12 Mạch thiết kế lõi QNN 21 Hình 13 Sơ đồ mạch to 22 Hình 14 Kiến trúc khối Neuron Line 22 Hình 15 Kiến trúc thuật toán khối nhân ma trận 24 Hình 16 Các chế độ tính tốn thuật tốn CORDIC 25 Hình 17 Sơ đồ phần cứng mạch chia CORDIC 26 Hình 18 Số lượng partial mạch nhân MBWM 27 Hình 19 Sơ đồ nguyên lý khối Booth-encoder 27 Hình 20 Kiến trúc khối RELU 29 Hình 21 Kiến trúc Carry Select Adder 2-3-4-4-5 29 Hình 22 Kiến trúc sum 10 sum 30 Hình 23 Nguyên lý mạch bù 4-bit 30 Hình 24 Dữ liệu ảnh trình training 31 Hình 25 Mơ hình sau training 32 Hình 26 Kết phục hồi ảnh mô MATLAB 32 Hình 27 Sơ đồ mơ QNN 33 Hình 28 Kết phục hồi ảnh mô phần cứng 34 Hình 29 Kết dạng sóng mơ QuestaSim 35 Hình 30 Kết tổng hợp thiết kế FPGA 37 DANH MỤC BẢNG Bảng Cách biểu diễn liệu khối tính ma trận xoay trọng số chuẩn hóa 23 Bảng Cách biểu diễn liệu khối nhân ma trận 24 Bảng Cách biểu diễn liệu khối bậc hai 28 Bảng Bảng tra khối tính bậc hai 28 Bảng Giá trị PSNR ảnh dùng trình kiểm tra thiết kế 36 Bảng Giá trị YBr tập ảnh dùng trình kiểm tra thiết kế 37 Luận văn Thạc sĩ NÂNG CAO CHẤT LƯỢNG ẢNH TỐI SỬ DỤNG THUẬT TỐN MẠNG THẦN KINH QUATERNION Khối tính bậc hai Để tính tốn norm số Quaternion 𝑞 = 𝑎 + 𝑏𝒊 + 𝑐𝒋 + 𝑑𝒌, ta cần thực tính bậc hai tổng bình phương hệ số a, b, c, d tương ứng Bảng cách biểu diễn liệu khối tính bậc hai Dựa vào bảng này, ta thấy rằng, bậc hai cho norm số Quaternion chứa nhiều trường hợp tối ưu Bởi lẽ đó, việc xây dựng tính bậc hai tổng quát thật không cần thiết Đề tài tiến hành xây dựng Bảng tra (Look up table) nhằm tiết kiệm tài nguyên cho thuật toán Bảng tra thể Bảng Bảng Cách biểu diễn liệu khối bậc hai Tên tín hiệu Số bit Cách biểu diễn Dãy giá trị tương ứng Ngõ vào X 13 . [0,3.996) Ngõ sqrt(X) . [0,1.996) Bảng Bảng tra khối tính bậc hai Ngõ vào Ngõ 10'b0000000000 9'b000000000 10'b0000000001 9'b000010000 10'b0000000010 9'b000010110 10'b0000000011 9'b000011011 … … 10'b1111111100 9'b111111110 10'b1111111101 9'b111111111 10'b1111111110 9'b111111111 10'b1111111111 9'b111111111 Hàm activation RELU Hình thể cơng thức khảo sát số hàm activation function Đề tài chọn sử dụng RELU (3.6) cơng thức đơn giản, dễ thực phần cứng thơng tin chuẩn hóa tương đối xác khoảng (0,1) Để thực RELU phần cứng, ta cần dùng bit dấu MSB liệu ngõ vào làm ngõ vào Select cho Mux Hình 20 Kết ngõ liệu số dương nên không cần biểu diễn bit dấu Trang 28 Luận văn Thạc sĩ NÂNG CAO CHẤT LƯỢNG ẢNH TỐI SỬ DỤNG THUẬT TOÁN MẠNG THẦN KINH QUATERNION 0, 𝑥 < 𝑦=$ 𝑥, 𝑥 ≥ (3.6) Hình 20 Kiến trúc khối RELU Bộ tính tổng 10, tổng Dữ liệu ngõ neuron hidden layer cần tính tổng với mức ngưỡng trước qua activation function Với hidden layer, ta cần thực tính tổng cho 10 số quaternion dạng 𝑤 = 𝑤' 𝑖 + 𝑤2 𝑗 + 𝑤% 𝑘, với hệ số biểu diễn dạng số fixed point bit dấu, bit phần nguyên 16 bit thập phân Kiến trúc khối sum_10 sum_6 minh họa Hình 22 Ta thực phép cộng với cặp số để xác định ngõ tương ứng, sau tiếp tục sử dụng cộng cho kết vừa thực phép tính trước việc sử dụng CSA - Carry Select Adder với kiến trúc 2-3-4-4-5 (Hình 21) Kiến trúc CSA mang lại tốc độ tính tốn nhanh kiến trúc sử dụng tính tốn trước cho trường hợp ngõ vào Carry-in Khi Carry-in thực tế vào, CSA tiến hành lựa chọn kết thực sẵn với Carry-in tương ứng Hình 21 Kiến trúc Carry Select Adder 2-3-4-4-5 Trang 29 Luận văn Thạc sĩ NÂNG CAO CHẤT LƯỢNG ẢNH TỐI SỬ DỤNG THUẬT TỐN MẠNG THẦN KINH QUATERNION Hình 22 Kiến trúc sum 10 sum Kiến trúc tính bù Trong kiến trúc Quaternion Neural Network, việc tính tốn liệu số có dấu phức tạp có nhiều phép tính tập số ảo Do đó, thực phép trừ số có dấu, ta đơn giản hóa việc tính tốn cách tính bù sau triển khai thực phép cộng Tương tự, nhân/chia, ta cần thực tìm bù số cần tính tính tốn liệu số dương tương ứng Đối với tính chất bù 2, để tìm đảo số, ta thực đảo bit cộng cho kết Hình 23 ví dụ phần cứng cho việc tính bù số 4-bit Hình 23 Nguyên lý mạch bù 4-bit Trang 30 Luận văn Thạc sĩ NÂNG CAO CHẤT LƯỢNG ẢNH TỐI SỬ DỤNG THUẬT TOÁN MẠNG THẦN KINH QUATERNION KẾT QUẢ THỰC HIỆN Kết mô phần mềm Đề tài tiến hành xây dựng mơ hình training phần mềm, hệ thống huấn luyện tập liệu SID với ảnh chụp máy ảnh Sony điều kiện thiếu ánh sáng điều kiện sáng tương ứng vật thể, nhóm tác giả Chen Chen, Qifeng Chen, Jia Xu, and Vladlen Koltun [3] Hình 24 cặp ảnh tương ứng liệu ngõ vào liệu ngõ mong đợi cho trình huấn luyện Hình 24 Dữ liệu ảnh trình training Hệ thống tiến hành rút trích đặc trưng tạo mơ hình dạng tập tin chứa thông số trọng số W ngưỡng Th Hình 25 Dữ liệu mơ hình hệ số 𝑤I , 𝑤' , 𝑤2 , 𝑤% số Quaternion 𝑊 = 𝑤I 𝑖 + 𝑤' 𝑖 + 𝑤2 𝑗 + 𝑤% 𝑘 từ node ngõ vào tới neuron hidden layer, sau trọng số node tiếp theo, node cuối ngõ vào tới neuron Lúc này, node, ta có mức ngưỡng dạng số pure Quaternion 𝑇ℎ = 𝑡ℎ' 𝑖 + 𝑡ℎ2 𝑗 + 𝑡ℎ% 𝑘 cho node Tiếp tục hệ số cuối mô hình Các hệ số biểu diễn dạng số thực có dấu, đó, truyền xuống phần cứng, cần có hàm chuyển đổi thơng số sang liệu nhị phân dạng fixed point Trang 31 Luận văn Thạc sĩ NÂNG CAO CHẤT LƯỢNG ẢNH TỐI SỬ DỤNG THUẬT TỐN MẠNG THẦN KINH QUATERNION Hình 25 Mơ hình sau training Bước giai đoạn feed-forward thực kiểm tra phần mềm MATLAB, thuật toán xây dựng chất lượng ảnh phục hồi Hình 26 Hình 26 Kết phục hồi ảnh mơ MATLAB Có thể thấy rằng, từ liệu ngõ vào ảnh chụp điều kiện thiếu ánh sáng, vật thể, màu sắc ảnh khơng thể xác định hình dạng phục hồi tương đầy đủ đường nét hình dáng Sự chênh lệch màu sắc thể Tuy nhiên, ảnh chứa nhiều thông tin kênh màu đỏ, dẫn đến màu sắc chưa thể chân thực Trang 32 Luận văn Thạc sĩ NÂNG CAO CHẤT LƯỢNG ẢNH TỐI SỬ DỤNG THUẬT TOÁN MẠNG THẦN KINH QUATERNION Kết mô QuestaSim: Sau thuật toán xây dựng thực RTL dành cho phần cứng, giai đoạn mô thực để kiểm tra độ xác phần cứng vừa xây dựng công cụ mô QuestaSim Hình 27 sơ đồ kết nối phần mềm máy tính với lõi thiết kế QNN phần cứng, đường cụ thể trình thu thập liệu vào Sử dụng ảnh kiểm tra cho kiến trúc thuật toán xây dựng MATLAB, ta tiếp tục tiến hành kiểm tra phần cứng vừa xây dựng với ảnh cách chuyển đổi liệu ngõ vào cho phù hợp với định dạng liệu công cụ mô QuestaSim Hình 27 Sơ đồ mơ QNN Đầu tiên, phần mềm mô MATLAB tiến hành đọc ảnh chụp điều kiện thiếu ánh sáng ghi liệu theo thứ tự vào tập tin – input cho q trình mơ cơng cụ QuestaSim Sau đó, QuestaSim tiến hành đọc input liệu ảnh lưu trữ memory chuẩn bị cho khối QNN IP hoạt động Các tín hiệu điều khiển từ khối Control Signal cung cấp clock, tính hiệu reset, tín hiệu load nhằm báo hiệu cho QNN IP bắt đầu thực nhiệm vụ load đủ memory Tương ứng với block 3x3 pixel, kết 1-pixel lưu tương ứng memory viết vào tập tin ngõ tín hiệu finish bật lên Lúc giờ, MATLAB tiến hành đọc liệu từ tập tin hiển thị kết lên hình máy tính Kết mô phần cứng biểu diễn Hình 28 bên Trang 33 Luận văn Thạc sĩ NÂNG CAO CHẤT LƯỢNG ẢNH TỐI SỬ DỤNG THUẬT TOÁN MẠNG THẦN KINH QUATERNION Hình 28 Kết phục hồi ảnh mơ phần cứng Một cách nhìn trực quan, ta thấy liệu phục hồi ảnh phần cứng tương đối phù hợp với thuật toán xây dựng trước phần mềm MATLAB, thể Hình 26 Hình 28 Dạng sóng thực QuestaSim thể Hình 29 Khi iLoadX báo hiệu liệu sẵn sàng cho trình kiểm tra, giá trị block 3x3 đưa vào (tương ứng với iXi, iXj, iXk) Khối register_in lúc dựa vào counter để xác định liệu ngõ vào từ input pixel Sau đó, khối QNN tiến hành tính tốn giá trị neuron Sau clock, ngõ neuron sẵn sàng cho việc tính tốn Lúc này, register_in lấy liệu từ ngõ neuron vừa tính trước thay giá trị từ pixel input cho vào Neural_iX Ngõ vào đưa vào khối QNN, kết ngõ đẩy Neural_oX Dựa vào điều kiện counter, kết thúc clock thứ 6, tất liệu cho block 3x3 tính tốn Lúc này, ngõ từ Neural_oX xuất output port thiết kế, tín hiệu oFinish bật lên, báo hiệu q trình tính tốn cho block hồn tất Tiếp tục vậy, iLoadX lại bật lên cho lần tính tốn tiếp theo, liệu từ memory đẩy vào block cuối ảnh đưa vào, trình kiểm tra kết liệu ảnh ngõ ghi vào memory memory sử dụng để hiển thị phần mềm MATLAB Trang 34 Luận văn Thạc sĩ NÂNG CAO CHẤT LƯỢNG ẢNH TỐI SỬ DỤNG THUẬT TỐN MẠNG THẦN KINH QUATERNION Hình 29 Kết dạng sóng mơ QuestaSim Trang 35 Luận văn Thạc sĩ NÂNG CAO CHẤT LƯỢNG ẢNH TỐI SỬ DỤNG THUẬT TOÁN MẠNG THẦN KINH QUATERNION Tiêu chí đánh giá chất lượng ảnh khôi phục Để đánh giá chất lượng ảnh phục hồi sau qua thiết kế, ta cần dùng thông số để đánh giá PSNR – peak-signal to noise ratio - tỉ số tín hiệu cực đại nhiễu áp dụng để đánh giá Đây thơng số dùng để tính tỉ lệ thơng tin tối đa ảnh lượng nhiễu ảnh hưởng đến thơng tin Để tính tốn PSNR, ta cần xác định MSE – mean square error – sai số trung bình bình phương, giá trị tính tổng bình phương chênh lệch điểm ảnh ảnh gốc ảnh tham chiếu, sau chia cho kích thước ảnh Với ảnh kênh màu red, green, blue có kích thước 𝑋𝑥𝑌 pixel, MSE tính cơng thức (4.1) V U ! ! " " " 𝑀𝑆𝐸 = _ _{3𝑅 (𝑥, 𝑦) − 𝑅 F (𝑥, 𝑦)4 + 3𝐺 (𝑥, 𝑦) − 𝐺 F(R,T) + 3𝐵(𝑥, 𝑦) − 𝐵F(R,T) } 𝑋 𝑌 (4.1) Khi xác định MSE, giá trị PSNR định nghĩa bởi: 𝑃𝑆𝑁𝑅 = 10 log!; ( "LL! Q"LL! Q"LL! WXY ) (4.2) Bảng thể thông số PSNR cho trường hợp khôi phục thiết kế thiết kế phần cứng Cột kết giá trị PSNR tính ảnh chụp điều kiện tối ảnh sáng tương ứng Cột thứ hai giá trị PSNR ảnh phục hồi qua hệ thống ảnh sáng mong đợi Có thể thấy rằng, giá trị PSNR ảnh phục hồi cao ảnh gốc Gọi ảnh Hình 28 Ảnh Ảnh Với Ảnh 1, giá trị tăng từ 5.4102 dB lên 7.7646 dB Với Ảnh 2, giá trị tăng từ 8.6800 dB lên 10.0928 dB PSNR cao, thể chất lượng ảnh cải thiện tiến gần với hình ảnh mong đợi Bảng Giá trị PSNR ảnh dùng trình kiểm tra thiết kế Tên ảnh Ảnh 1 Ảnh Ảnh tối 5.4102 8.6800 Ảnh phục hồi 7.7646 10.0928 Bên cạnh đó, thơng số trung bình độ sáng – Averaged brightness - ABr cho việc định lượng cường độ sáng ảnh áp dụng [1] Với ảnh red, green, blue có kích thước 𝑋𝑥𝑌 pixel, ABr tính cơng thức (4.3) V U ! ! 𝐴𝐵𝑟 = _ _(0.229𝑅(𝑥, 𝑦) + 0.587𝐺 (𝑥, 𝑦) + 0.114𝐵 (𝑥, 𝑦)) 𝑋 𝑌 Trang 36 (4.3) Luận văn Thạc sĩ NÂNG CAO CHẤT LƯỢNG ẢNH TỐI SỬ DỤNG THUẬT TOÁN MẠNG THẦN KINH QUATERNION Bảng thể giá trị độ sáng trung bình Ảnh Ảnh 2, với ảnh chụp điều kiện tối, ảnh chụp điều kiện ánh sáng phù hợp ảnh phục hồi từ hệ thống Với ảnh chụp điều kiện tối, ABr mang giá trị thấp, ngược lại, điều kiện ánh sáng phù hợp, độ sáng ảnh cao Có thể thấy rằng, cịn nhiều hạn chế chứa nhiều thơng tin màu đỏ, ảnh phục hồi nâng giá trị độ sáng ảnh lên nhiều lần, giúp phân biệt vật thể Bảng Giá trị YBr tập ảnh dùng trình kiểm tra thiết kế Tên ảnh Ảnh 1 Anh Ảnh tối 1.3098 0.9891 Ảnh sáng 117.9364 58.4963 Ảnh phục hồi 23.0451 23.7996 Kết tổng hợp FPGA Với thiết kế RTL mô QuestaSim, ta tiến hành tổng hợp để xem xét việc sử dụng tài ngun tồn thuật tốn Hình 30 thể kết tổng hợp tài nguyên board DE2-115 Có thể thấy rằng, hệ thống sử dụng số cổng logic element 71672 LEs, chiếm 63% tài nguyên board DE2-115 Tần số mạch tổng hợp khoảng 10 MHz, điều chứng tỏ khả thực thiết kế triển khai phần cứng Hình 30 Kết tổng hợp thiết kế FPGA Trang 37 Luận văn Thạc sĩ NÂNG CAO CHẤT LƯỢNG ẢNH TỐI SỬ DỤNG THUẬT TOÁN MẠNG THẦN KINH QUATERNION KẾT LUẬN VÀ ĐỊNH HƯỚNG PHÁT TRIỂN Kết luận Thiết kế xây dựng thuật toán Neural Network để phục hồi ảnh chụp điều kiện thiếu sáng, thiết kế tối ưu mặt thuật toán, tốc độ tài nguyên Nghiên cứu áp dụng nhiều giải thuật tối ưu dành cho phần cứng, triển khai mơ hình mạng thần kinh – mơ hình chứa nhiều phép tính – cho tập số ảo Quaternion, tập số chứa phép biến đổi đa dạng phức tạp Tuy nhiên, chất lượng ảnh thu phục hồi hình dáng vật thể, giúp người nhìn dễ dàng nhận vật thể hình ảnh, màu sắc chưa thật sinh động bị ảnh hưởng khuếch đại kênh màu Định hướng phát triển Đề tài giải vấn đề đặt chưa tối ưu mặt kết Do đó, mở rộng phát triển đề tài theo hướng sau đây: Ø Thêm lọc nhiễu, cân sáng, trắng, tiền xử lý trước đưa vào hệ thống Sau thực việc khôi phục, thêm lọc, cân kênh màu để thu kết chân thực Ø Hệ thống thực ảnh tĩnh, mở rộng đề tài thành video demo thực tế board FPGA Vì chất video tập hợp tập ảnh tĩnh với tốc độ xử lý theo thời gian thực Trang 38 Luận văn Thạc sĩ NÂNG CAO CHẤT LƯỢNG ẢNH TỐI SỬ DỤNG THUẬT TOÁN MẠNG THẦN KINH QUATERNION TÀI LIỆU THAM KHẢO [1] H Kusamichi, T Isokawa, N Matsui, Y Ogawa and K Maeda, "A New Scheme for Color Night Vision by Quaternion Neural Network," in Proc 2nd Int Conf Autonomous Robots and Agents (ICARA 2004), Palmerston North, New Zealand, Dec 2004 [2] C Chen, Q Chen, J Xu and V Koltun, "Learning to See in the Dark," CoRR, vol abs/1805.01934, 2018 [3] N P Jouppi et al., "In-Datacenter Performance Analysis of a Tensor Processing Unit," in ACM/IEEE 44th Annu Int Symp on Computer Architecture (ISCA 2017), Toronto, ON, June 2017 [4] Patricia L Suarez, Angel D Sappa, and Boris X Vintimilla, “Learning to Colorize Infrared Images,” in International Conference on Practical Applications of Agents and Multi-Agent Systems (PAAMS 2018), Toledo, Spain, June 2018 [5] Usman Qayyum, “Thermal Colorization using Deep Neural Network,” in International Bhurban Conference on Applied Sciences & Technology, IBCAST (IEEE IBCAST 2018), Islamabad, Pakistan, Jan 2018 [6] G Desoli et al., "14.1 A 2.9TOPS/W Deep Convolutional Neural Network SoC in FDSOI 28nm for Intelligent Embedded Systems," in IEEE International Solid-State Circuits Conference (ISSCC 2017), San Francisco, CA, Feb 2017 [7] Vũ Hữu Tiệp, “Machine Learning Cơ Bản,” 2018 [Online] Available: https://www.machinelearningcoban.com [Accessed 10 Mar 2019] [8] N Matsui, T Isokawa, H Kusamichi, F Peper and H Nishimura, "Quaternion Neural Network with Geometrical Operators," J Intell Fuzzy Syst., vol 15, pp 149- 164, Dec 2004 [9] Neeta Sharma, Ravi Sindal, “Modified Booth Multiplier using Wallace Structure and Efficient Carry Select Adder,” in International Journal of Computer Applications (IJCA), Apr 2013 [10] T Isokawa, T Kusakabe, N Matsui, and F Peper, “Quaternion Neural Network and its Application”, KES 2013, pp 318-324, 2003 Trang 39 Luận văn Thạc sĩ NÂNG CAO CHẤT LƯỢNG ẢNH TỐI SỬ DỤNG THUẬT TOÁN MẠNG THẦN KINH QUATERNION [11] Canadian Institute, "Canada.ca," Agent of Deterioration: Light, Ultraviolet and Infrared, 2018 [Online] Available: https://www.canada.ca/en/conservationinstitute/services/agents-deterioration/light.html [Accessed 29 Mar 2019] [12] S Han et al., "EIE: Efficient Inference Engine on Compressed Deep Neural Network," in ACM/IEEE 43rd Annu Int Symp Computer Architecture (ISCA 2016), Seoul, Republic of Korea, June 2016 [13] M Nielsen, "Neural Networks and Deep Learning," 2015 [Online] Available: http://neuralnetworksanddeeplearning.com/index.html [Accessed 10 Apr 2019] Trang 40 Luận văn Thạc sĩ NÂNG CAO CHẤT LƯỢNG ẢNH TỐI SỬ DỤNG THUẬT TOÁN MẠNG THẦN KINH QUATERNION LÝ LỊCH TRÍCH NGANG Họ tên: Trần Thị Thu Trang Phái: Nữ Ngày, tháng, năm sinh: 04/04/1995 Nơi sinh: Long An Dân tộc: Kinh Tôn giáo: Không Địa thường trú: Ấp Tây, xã Long Hựu Tây, huyện Cần Đước, tỉnh Long An Địa liên lạc: 47/26 Nguyễn Thị Tần, phường 2, quận 8, TpHCM Điện thoại: 039.878.0572 Email: tranthithutrang040495@gmail.com Nghề nghiệp: Kĩ sư Nơi làm việc: Công ty Trách nhiệm Hữu hạn Ampere Computing Vietnam Trang 41 Luận văn Thạc sĩ NÂNG CAO CHẤT LƯỢNG ẢNH TỐI SỬ DỤNG THUẬT TOÁN MẠNG THẦN KINH QUATERNION QUÁ TRÌNH ĐÀO TẠO ĐẠI HỌC Tốt nghiệp Trường/Viện: ĐH Khoa học Tự nhiên - ĐHQG TP.HCM Ngành học: Điện tử - Viễn thơng Loại hình đào tạo: Chính quy Thời gian đào tạo từ năm: 2014 đến năm 2018 Xếp loại tốt nghiệp: Xuất sắc SAU ĐẠI HỌC Học cao học/làm NCS từ năm: 2018 đến năm 2020 Trường ĐH Bách Khoa TpHCM Chuyên ngành: Kĩ thuật Điện tử Ngày nơi bảo vệ luận văn thạc sĩ: 17/09/2020, Trường ĐH Bách Khoa TpHCM Q TRÌNH CƠNG TÁC Từ 07/2018 - 09/2019: Trợ giảng, nghiên cứu sinh Đại học Khoa học Tự nhiên Từ 09/2019 – nay: Kĩ sư Công ty TNHH Ampere Computing Vietnam Trang 42 ... CHẤT LƯỢNG ẢNH TỐI SỬ DỤNG THUẬT TOÁN MẠNG THẦN KINH QUATERNION Hình 29 Kết dạng sóng mơ QuestaSim Trang 35 Luận văn Thạc sĩ NÂNG CAO CHẤT LƯỢNG ẢNH TỐI SỬ DỤNG THUẬT TOÁN MẠNG THẦN KINH QUATERNION. .. tính chất đối tượng sau: Ø Thuật toán Quaternion Neural Network: thuật toán AI xử lý dựa số Quaternion Trang 2 Luận văn Thạc sĩ Ø Ø Ø Ø NÂNG CAO CHẤT LƯỢNG ẢNH TỐI SỬ DỤNG THUẬT TOÁN MẠNG THẦN KINH. .. sĩ NÂNG CAO CHẤT LƯỢNG ẢNH TỐI SỬ DỤNG THUẬT TOÁN MẠNG THẦN KINH QUATERNION Bảng thể giá trị độ sáng trung bình Ảnh Ảnh 2, với ảnh chụp điều kiện tối, ảnh chụp điều kiện ánh sáng phù hợp ảnh