Nghiên cứu thiết kế hệ thống camera xử lý tốc độ cao

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI ĐINH HỒNG HƯNG NGHIÊN CỨU THIẾT KẾ HỆ THỐNG CAMERA XỬ LÝ TỐC ĐỘ CAO LUẬN VĂN THẠC SĨ KỸ THUẬT KỸ THUẬT VIỄN THÔNG Hà Nội - 2017 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI ĐINH HỒNG HƯNG NGHIÊN CỨU THIẾT KẾ HỆ THỐNG CAMERA XỬ LÝ TỐC ĐỘ CAO Chuyên ngành: Kỹ thuật viễn thông LUẬN VĂN THẠC SĨ KỸ THUẬT KỸ THUẬT VIỄN THÔNG NGƯỜI HƯỚNG DẪN KHOA HỌC TS NGUYỄN HOÀNG DŨNG Hà Nội - 2017 MỤC LỤC DANH SÁCH CÁC TỪ VIẾT TẮT T T LỜI CAM ĐOAN T T LỜI CẢM ƠN T T TÓM TẮT LUẬN VĂN T T ABATRACT THESIS T T MỞ ĐẦU T T Chương I: CƠNG NGHỆ CẢM BIẾN HÌNH ẢNH CMOS VÀ CCD T T 1.1.Kiến trúc cảm biến hình ảnh T T 1.2 Cảm biến CCD CMOS T T 1.2.1 Cảm biến CCD T T 1.2.2 Cảm biến CMOS 19 T T 1.2.3 So sánh CCD CMOS 26 T T 1.3 Kết luận chương 28 T T Chương II: CẢM BIẾN CAMERA TỐC ĐỘ CAO ISIS 29 T T 2.1 Tổng quan ISIS 29 T T 2.2 Cấu trúc cảm biến đặc điểm 30 T T 2.2.1 Cấu trúc tổng thể 30 T T 2.2.2 Cấu trúc pixel 33 T T 2.2.3 Cấu trúc mặt cắt ngang 34 T T 2.2.4 Nguyên lý điều khiển tín hiệu bên ISIS 35 T T 2.2.5 So sánh đánh giá ISIS với loại cảm biến CCD khác 37 T T 2.3 Kết luận chương 44 T T Chương III: HỆ THỐNG ĐIỀU KHIỂN ELECTRONS TRONG ISIS 45 T T 3.1 Hệ thống điều khiển 45 T T 3.1.1 Đường bus điều khiển main board 45 T T 3.1.2 Sơ đồ khối hệ thống 46 T T 3.1.3 Khối Decoder 47 T T 3.1.4 Khối Controller 49 T T 3.1.5 Nhóm khối điều khiển VCCD HCCD 52 T T 3.2 Kết mô 53 T T 3.3 Kết luận chương 57 T T KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 58 T T TÀI LIỆU THAM KHẢO 59 T T PHỤ LỤC 60 T T PHỤ LỤC 61 T T DANH MỤC HÌNH Hình 1.1 Sơ đồ khối cảm biến CCD Hình 1.2 Sơ đồ khối cảm biến CMOS Hình 1.3 Cấu trúc chip CCD Hình 1.4 Phân phối điện trường tiếp họp p-n: (a) internal potential (b) với áp đặt điện dương 11 Hình 1.5 Cấu trúc tổng quát CCD với giếng điện tạo nên áp đặt điện khác 12 Hình 1.6 Sự di chuyển thùng chứa nước (quang tử) đai 13 Hình 1.7 Di chuyển điện tích cách thay đổi cách áp đặt điện 14 Hình 1.8 Electron điện cực 16 Hình 1.9 Hai dạng CCD 16 Hình 1.10 Bộ khuếch đại tín hiệu đầu CCA Tương quan lấy mẫu 18 Hình 1.11 Cấu trúc cảm biến ảnh CMOS 21 Hình 1.12 Ánh sáng vào pixel đưa 23 Hình 1.13 Mơ hình CMOS APS (a) cấu trúc mảng (b) 23 Hình 1.14 Layout CMOS điển hình 24 Hình 2.1 Cấu trúc mặt ISIS-V16 [6] 32 Hình 2.2 Sơ đồ mặt trước ISIS camera 33 Hình 2.3 Điện cực linear CCD 33 Hình 2.4 Cấu trúc mặt cắt ngang 34 Hình 2.5 Nguyên lý hoạt động ISIS 35 Hình 2.6 Hoạt động linear CCD kĩ thuật truyền four-phase 36 Hình ISIS-V16 camera hệ để đánh giá hiệu 38 Hình 2.8 Một phần cánh quạt chụp ISIS-V16 camera 38 Hình 2.9 Quạt điều khiển lase có 200 cánh 38 Hình 2.10 Mối quan hệ tốc độ bắt hình quay cánh quạt 39 Hình 2.11 Bốn ảnh liên tiếp xung ánh sáng LED 40 Hình 2.12 Qmax vs Frame rate 40 Hình 2.13 Cấu trúc pixel CCD thơng thường 44 Hình Block diagram of CCD main board 45 Hình 3.2 Sơ đồ khối hệ thống điều khiển 46 Hình 3 Tín hiệu Decoder 47 Hình Tín hiệu khối Controller 51 Hình Sơ đồ khối kết nối khối điều khiển VCCD 52 Hình Sơ đồ kết nối khối điều khiển HCCD 53 Hình Kết mơ tổng quan 54 Hình Mơ chế độ chụp camera 55 Hình Mô hoạt động readout ISIS 56 DANH MỤC BẢNG BIỂU Bảng 1.1 So sánh CCD CMOS 27 Bảng 2.1 Thông số kĩ thuật ISIS-V12 so với ISIS-V16[6] 31 Bảng 3.1 Chức tín hiệu khối decoder 48 Bảng 3.2 Trạng thái điều khiển khối Controller 50 DANH SÁCH CÁC TỪ VIẾT TẮT Từ viết tắt Tên đầy đủ Nghĩa CCD Charge-couple device Thiết bị tích điện kép CMOS Complementary metal oxide semiconductor Chất bán dẫn bổ sung kim loại ISIS In-situ storage image sensor Cảm biến hình ảnh lưu trữ chỗ CCM Charge Carrier Multiplication Đa phí vận chuyển BSI Back-side illuminate Chiếu sáng sau VCCD Vertical charge-couple device Thiết bị tích điện kép dọc HCCD Horizontal charge-couple device Thiết bị tích điện kép ngang VHSIC Hardware Description Language Ngôn ngữ mô tả phần cứng VHSIC VHDL T LỜI CAM ĐOAN Tôi xin cam đoan: Luận văn cơng trình nghiên cứu thực tơi phối hợp với nhóm nghiên cứu phịng lab TS Nguyễn Hoàng Dũng, thực hướng dẫn khoa học TS Nguyễn Hoàng Dũng Các số liệu, kết nghiên cứu luận văn trung thực hồn tồn thống khơng chép từ luận văn công bố Các thông tin sử dụng luận văn có nguồn gốc trích dẫn rõ ràng Tơi xin chịu trách nhiệm nghiên cứu Tác giả luận văn Đinh Hồng Hưng LỜI CẢM ƠN Trong thời gian nghiên cứu để hoàn thiện đề tài luận văn cách hoàn chỉnh, bên cạnh nỗ lực thân có hướng dẫn nhiệt tình chu đáo thầy cô Viện Điện tử - Viễn thông Trường Đại học Bách Khoa Hà Nội, ủng hộ gia đình, bạn bè suốt thời gian học tập nghiên cứu thực luận văn thạc sĩ Tôi xin chân thành bầy tỏ lòng cảm ơn sâu sắc tới thầy TS Nguyễn Hồng Dũng, người tận tình hướng dẫn giúp đỡ em hoàn thành luận văn thạc sỹ suốt thời gian vừa qua Đồng thời, xin chân thành gửi lời cảm ơn quý thầy cô, anh chị đặc biệt sinh viên phịng Lab thầy Nguyễn Hồng Dũng Trường Đại học Bách Khoa Hà Nội hỗ trợ có góp ý kịp thời bổ ích, giúp đỡ tơi suốt q trình nghiên cứu hồn thiện luận văn Cuối cùng, xin chân thành cảm ơn đến gia đình, anh chị bạn đồng nghiệp hỗ trợ cho nhiều suốt trình học tập, nghiên cứu thực đề tài luận văn thạc sĩ cách hoàn chỉnh Hà Nội, ngày 12 tháng 10 năm 2017 Tác giả luận văn Đinh Hồng Hưng 52 3.1.5 Nhóm khối điều khiển VCCD HCCD Điều khiển hoạt động VCCD bao gồm khối v_phs_clean, v_inc, v_phs_generator, ab_clk_generator Controller Hình 3.5 V_phs_clean V_end Controller V_inc sel[2:1] Mask (a|col|abg|bg) V_clean v_start ab_clk_generator V_phs V_go V_inc V_phs V_phs Hình Sơ đồ khối kết nối khối điều khiển VCCD V_phs_clean có chức làm rỗng readout VCCD sau chu kì hoạt động cảm biến Bên cạnh gửi tín hiệu v_phs đến khối ab_clk_generator Khối V_inc V_phs tương tác với tạo tín hiệu v_phs tương tự khối v_clean Tại khối ab_clk_generator, sau nhận tín hiệu v_phs tín hiệu từ controller, khối tạo tín hiệu điều khiển electrons memory CCD VCCD theo tốc độ cấu hình từ khối timer decoder Khi camera thực xong giai đoạn lưu trữ memory CCD readout VCCD, electrons chuyển xuống HCCD điều khiển khối kết nối Hình 3.6 53 H_phs_generator mask (adclk|bog|shd|shp) mask_rgnew pcisis_phs [3:0] c_clk_generator Out h_end h_read; h_shift; c_mode mask (rg|sh) mask (c|ccma) Controller Hình Sơ đồ kết nối khối điều khiển HCCD Trong trình thực đọc từ VCCD xuống HCCD (khi h_read = 1), tức giai đoạn không thực việc dịch HCCD (h_shift = 0) nên tín hiệu h_end = (tín hiệu báo kết thúc việc dịch) Trong giai đoạn đọc từ VCCD xuống HCCD, đọc xong có tín hiệu thơng báo đọc xong (mask_rg = 1) Khi h_shift = tức thực việc dịch HCCD, sau dịch hết có tín hiệu báo kết thúc việc dịch (h_end = 1) 3.2 Kết mô Từ việc hiểu rõ sơ đồ hệ thống cách thức điều khiển electrons ISIS camera, nhóm sử dụng VHDL để triển khai hệ thống phần mềm Quartus hãng Altera viết testbench mô ModelSim nhà sản xuất Mentor Graphics Dưới kết mà nhóm thu 54 Hình Kết mơ tổng quan Hình 3.7 cho thấy tổng quan hoạt động camera hai lần chụp hình liên tiếp Ban đầu electrons lưu trữ memory CCD dịch chuyển xuống VCCD, tín hiệu mơ tả tín hiệu màu xanh Hình 3.7 Khi HCCD chưa có tín hiệu (được mơ tả tín hiệu đỏ Hình 3.7) Sau lưu trữ 150 (15x10) phần tử đầu tiền, electrons bắt đầu dịch chuyển dần xuống HCCD Khi có tín hiêu điều khiển HCCD cho phép electrons di chuyển xuống Khi camera phát bắt kiện, chế độ chụp kích hoạt Khi đó, camera diễn hoạt động lưu trữ electrons Tín hiệu A1a, A2, A3a A4 lưu trữ dịch chuyển memory CCD Tại thời điểm điểm đó, tín hiệu điều khiển A1b, B2, A3b, B4 VCCD chưa kích hoạt Hình 3.8 55 Sau memory CCD lưu trữ đủ tín hiệu, q trình đọc tín hiệu thực Các electrons di chuyển xuống VCCD nhờ Switch kích hoạt; electron truyền cặp điện cực Hình 3.10a Khi memory CCD VCCD hoạt động Tiếp sau đó, electrons hoàn thành việc truyền từ memory CCD xuống VCCD memory CCD trở nên trống rỗng Lúc có VCCD hoạt động (Hình 3.10b) Trong pha tiếp theo, electrons dịch chuyển từ VCCD xuống HCCD cách liên tục tuyến tính Hình 3.10c Memory CCD VCCD trở nên trống rỗng Cùng thời điểm có hai electrons truyền Kỹ thuật four-phase áp dụng hầu hết pha ISIS bao gồm lưu trữ truyền electrons, thể qua Hình 3.7 Hình 3.8 Tín hiệu từ HCCD khuếch đại cảm biến, kết thúc chu kì làm việc Hình Mơ chế độ chụp camera 56 a Transfer from memory CCD to VCCD b Readout VCCD c Readout HCCD Hình Mơ hoạt động readout ISIS 57 3.3 Kết luận chương Toàn chương III trình bày chi tiết sơ đồ hệ thống, cách thức điều khiển hoạt động khối điều khiển camera đưa mô theo nguyên lý hoạt động camera Hy vọng tương lai nhóm có sở thực tế để đánh giá tốc độ hay độ nhiễu cách khách quan 58 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Camera xử lý tốc độ cao, ngày ứng dụng rộng nhiều lĩnh vực ngày phát triển đòi hỏi nâng cao tốc độ xử lý hình ảnh Vì nghiên cứu thiết kế camera tốc độ cao cần thiết thực tế Việc nghiên cứu thiết kế phần cứng điều khiển cảm biến tăng tốc độ xử lý giảm thiểu nhiễu read-out thực hóa thành sản phẩm thực tế hướng phát triển Qua trình nghiên cứu, tác giả luận văn với tư cách thành viên nhóm nghiên cứu nhận thấy luận văn làm số công việc sau: - Nghiên cứu cơng nghệ cảm biến hình ảnh CCD CMOS - Nghiên cứu thiết kế phần cứng camera - Nghiên cứu lập trình điều khiển camera đồng với khả thu hình cảm biến CCD ISIS V16 Tuy nhiên thời gian nghiên cứu chưa đủ dài bên cạnh kiến thức nhiều hạn chế nên nhóm nghiên cứu nói chung, đặc biệt tác giả nói riêng hiểu nguyên lý với cách thức điều khiển tín hiệu chạy mơ tín hiệu với nguyên lý hoạt động thực tế ISIS-camera Nhóm hy vọng thời gian tới đạt cải thiện đáng kể mặt tốc độ, diện tích hay độ nhiễu từ kế thừa kết đạt từ nghiên cứu trước đề tài liên quan để chế tạo mạch phần cứng tương tự số hệ thống camera xử lý tốc độ cao Hy vọng thời gian tới nhóm nghiên cứu tập trung vào chế tạo đo kiểm để đánh giá tính khả thi, thành công hiệu suất làm việc hệ thống 59 TÀI LIỆU THAM KHẢO [1] T G Etoh et al., A CCD image sensor of Mframes/s for continuous image capturing of 103 frames, Digest of Technical Papers, ISSCC’02, pp.46-47, 2002 [2] T G Etoh, V T S Dao, H D Nguyen, K Fife, M Kureta, M Segawa, M Arai and T Shinohara, Progress of Ultra-high-speed Image Sensors with In-situ CCD Storage (2011), INTERNATIONAL IMAGE SENSOR WORKSHOP [3] Nick Waltham, CCD and CMOS sensors (2013), Volume of the series ISSI Scientific Report Series pp 423-442 [4] Lecture 11: CMOS Imaging Sensor, George Yuan, Hong Kong University of Science and Technology Fall 2010 [5] T Goji Etoh, et al, “Ultra-high-speed Bio-nano scope” for Cell and Microbe Imaging (Plenary paper), Proc of SPIE Vol 7126 712605-1 [6] Nguyen, H D., Etoh, T G., Dao, V T S., Vo, L C., Tanaka, M., 16-Mfps extremely high sensitivity video camera (2010), Proceedings of the 29th International Congress on High-Speed Imaging Photonics, pp A04-1-6 [7] T Goji Eto, D Poggemann et al, A CCD Image Sensor of 1Mframes/s for Continuous Image Capturing of 103 Frames (2002), IEEE International Solid-State Circuits Conference 2002/ Session 2/ Image sensor/2.7 [8] Elloumi, Fauvet et al, P The Study of a Photosite for Snapshot Video (1994), In Proceeding of SPIE: International Congress on High Speed Imaging and Photonics (ICHSIP) Taejon, Korea, Volume 2513, pp 259-267 [9] Tochigi, Y., et al, A Prototype high-speed CMOS image sensor with 10,000,000 fps burst-frame rate and 10,000 fps continuous-frame rate (2011), in Proceeding of SPIE-IS&T, Vol 7876, pp 78760-1-8 60 PHỤ LỤC Bảng lệnh tín hiệu CAin (input of Decoder Block) từ máy tính Ý nghĩa Lệnh mã hóa 00000 camera start command 00001 frame rate1 high command 00010 frame rate1 middle command 00011 frame rate1 low command 00100 frame rate2 high command 00101 frame rate2 middle command 00111 frame rate2 low command 01000 trigger delay1 command 01001 trigger delay2 command 01010 trigger delay3 command 01011 frame number after trigger command 01100 frame number after frame speed chage point command 01101 type(illumination,trigger) command 10110 illumination start-stop command 10111 AD9824 select command 11000 CCM MODE command 11001 CCM GAIN A command 61 PHỤ LỤC Bảng chuyển trạng thái khối Controller State Condition s0 = State s54 = (start_a = – ON) s0 =0 s55 = s54 =0 s55 = s56 = (start_b = – ON) s55 =0 s56 = s57 = s56 =0 s57 = s58 = (start_c = – ON) s57 =0 s58 = s59 = s58 =0 s59 = s1 = s59 =0 s62 = (v_clean_ena = 1) s1 =0 s63 = ; s62 =0 v_end_clean = s4 = (v_start = 1) s63 =0 s_expwait = s5 = (trig_ena = 1; mask_ena s4 = = 1) else s54 = s1 = t_endb = (timer 6ms) n_wait = s62 = s63 = s4 = trig_mode = 01 & c_md t_safe_start = ~ usedoubletrig 62 =1 t_safe_start = s5 = s30 = t_safe_end = & c_md = s_reset_req = 1 v_end = s30 = h_end = or c_md = s6 = (t_startb = 1) - wait s30 shutter close =0 s6 = s7 = s7 = s6 =0 t_endb = or c_md = s29 = s7 =0 h_end = or c_md = s8 = (v_start = 1) : start 20VCCDs dummy s29 = s8 = s9 = s32 = s29 =0 s9 = s8 = s23 = (t_startc = ) s9 = s24 = s23 =0 t_endc = s32 = (loop_cntd = ) s24 =0 ccm_md(2) = s33 = (v_start = 1; v_num = 5) ccm_md(2) = s47 = v_end = s23 = s24 = s5 = loop_cntb = ccm_md(2) = s10 = (loop_cnta = 0, s32 =0 63 loop_cntb # s33 = loop_cnte = ) s34 = s33 =0 s35 = (t_startc = ) s34 =0 s36 = s35 =0 s37 = (mask_bs = ) s36 =0 s37 = s60 = (start_c = – ON) s37 =0 s60 = s64 = s60 =0 s34 = v_end = s35 = s36 = s64 = t_endc = set_end = s38 = s39 = v_end = s40 = s41 = t_endc = s38 = (v_start = 1; v_num = s64 ) =0 s39 = (mask_bg = ) s38 =0 s40 = (t_startc = ) s39 =0 s41 = s40 =0 s42 = s41 =0 s42 = s43 = (v_start = 1; v_num = s42 1) =0 s43 = s44 = (mask_ccmb ccm_md(2) ) s44 = v_end = s45 = (t_startc = 1) = s43 =0 s44 =0 64 s45 = s46 = t_endc = s46 = s45 =0 s47 = s46 =0 s47 = s48 = (h_read = 1; mask_rg = s47 1) =0 s48 = s49 = mask_ccma = s49 = h_end = s50 = s51 = s50 = (t_startc = 1; mask_rg s49 =0) =0 s51 = t_endc = s48 =0 s50 =0 s10 = (loop_cnta = 0; s51 loop_cnte = ) =0 s10 = s11 = (h_shift = 1; mask_rg = s10 1) =0 s11 = s12 = s11 =0 s31 = (mask_rg = ) s12 =0 s12 = h_end = s31 = s13 = (v_start = 1) - start s31 transfer data from VCCD to = HCCD s13 = s14 = (mask_c = 1) s13 =0 s25 = (t_startc = ) s14 =0 s26 =1 s25 =0 s14 = s25 = v_end = 65 s26 = t_endc = s15 = s26 =0 s15 = s16 = (h_read = 1; mask_rg = s15 1) =0 s16 = s17 = (w_ena = 1; mask_ad s16 =0) =0 s17 = h_end = s27 = (t_startc = 1; mask_rg s17 =0) =0 s27 = eq(4) = s28 = eq(4) = s11 = (h_shift = ) s27 =0 mask_rg = s28 = s52 = t_endc = s52 = ccm_md(2) = s53 = ccm_md(2) = and eq(3) s53 = =1 ccm_md(2) = s53 = s18 = s19 = s52 =0 s37 = s18 = s53 =0 eq(1) = s19 = eq(1) = s32 = s18 =0 c_md = s20 = (v_start = 1) c_md = s0 = (lreset = ) s20 = s21 = s28 =0 v_end = s19 =0 s21 = s20 =0 s22 = s21 =0 66 s22 = s61 = eq(2) = s61 = & mem_start = eq(2) = s8 = (v_start = ) mem_start = tr_end = s2 = (t_startd = 1) s61 =0 s3 = (cpu_end = - OFF ) s2 =0 s0 = s3 =0 s2 = s3 = t_endd = & s22 =0 ... tới nghiên cứu, kế thừa kết đạt từ ISIS-V12, V16 phát triển đề tài: “ Nghiên cứu thiết kế hệ thống camera xử lý tốc độ cao? ?? với mục đích Để giải vấn đề nêu nhóm nghiên cứu sử dụng phương pháp thiết. .. hiệu suất tốc độ cao, kiểm soát tốc độ hoạt động hoạt động hệ thống phần mềm theo cách thức rõ ràng FPGA xử lý tín hiệu kỹ thuật số giải pháp tốt cho xử lý số lượng lớn liệu với tốc độ cao Sự phát... sau quay chậm lại hình ảnh với tốc độ cao (> 1000 hình/giây) để đánh giá trình diễn nào, camera tốc độ cao ứng dụng để xử lý, giải toán Hiện nay, camera tốc độ cao áp dụng cho nhiều lĩnh vực