Nghiên cứu thiết kế các hệ thống cảm biến cho hệ thống camera tốc độ cao

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - Nguyễn Chí Dũng NGHIÊN CỨU THIẾT KẾ CÁC HỆ THỐNG CẢM BIẾN CHO HỆ THỐNG CAMERA TỐC ĐỘ CAO Chuyên ngành: Kỹ thuật viễn thông LUẬN VĂN THẠC SĨ KHOA HỌC Kỹ thuật viễn thông NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Nguyễn Hoàng Dũng Hà Nội – 2016 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI Nguyễn Chí Dũng NGHIÊN CỨU THIẾT KẾ CÁC HỆ THỐNG CẢM BIẾN CHO HỆ THỐNG CAMERA TỐC ĐỘ CAO Chuyên ngành: Kỹ thuật viễn thông LUẬN VĂN THẠC SĨ KHOA HỌC Kỹ thuật viễn thông NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Nguyễn Hoàng Dũng Hà Nội – 2016 MỤC LỤC DANH MỤC HÌNH VẼ DANH MỤC BẢNG BIỂU LỜI CAM ĐOAN 10 MỞ ĐẦU 11 CHƯƠNG CÔNG NGHỆ CMOS VÀ CCD 14 I Cảm biến hình ảnh 14 1.1 Định nghĩa 14 1.2 Kiến trúc cảm biến thu thập hình ảnh 15 II Cảm biến CCD CMOS 18 2.1 Cảm biến CCD [1] 18 2.2 Cảm biến CMOS [2] 26 III So sánh CCD CMOS 32 CHƯƠNG II CẢM BIẾN CCD CHO CAMERA TỐC ĐỘ CAO – ISIS CCD 36 I Giới thiệu 36 II Cấu hình cảm biến 37 2.1 Cấu trúc tổng thể 37 2.2 Cấu trúc pixel 39 2.3 Vertical Readout Switching CCDs 41 III Đánh giá ISIS 42 3.1.Đánh giá camera điều kiện 42 3.2 Tỷ lệ khung hình khả xử lý điện nạp 43 3.3 Đánh giá nhiễu ISIS-V12 45 3.4 Cải thiện 45 CHƯƠNG THIẾT KẾ HỆ THỐNG CẢM BIẾN PHÁT HIỆN SỰ KIỆN Ở TỐC ĐỘ CAO VÀ ĐỒNG BỘ VỚI ISIS-V16 CAMERA [6] 48 I Cơ sở lý thuyết 48 1.1 Ý tưởng 48 1.2 Cơ sở thực 48 1.3 Công cụ sử dụng 49 1.4 Chỉ tiêu kỹ thuật 50 II Thiết kế hệ thống 50 2.1 Sơ đồ khối hệ thống 50 2.2 Khối cảm biến 50 2.3 Khối điều khiển 53 2.4 Khối hiển thị 64 III Mô Modelsim 64 3.1 Các thông số công cụ để mô 64 3.2 Tạo trễ 80ns 65 3.3 Tạo trễ 1us 66 3.4 Nguyên nhân gây sai số độ trễ 67 IV Thiết kế mạch phần cứng CPLD EPM240T100C5N TQFP100 67 4.1 Khối nạp 67 4.2 Khối cảm biến xử lý tương tự 67 4.3 Khối nguồn 67 4.4 Khối hiển thị vào 69 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 71 TÀI LIỆU THAM KHẢO 72 DANH MỤC HÌNH VẼ Hình Chip CMOS CCD thực tế 14 Hình Sơ đồ tổng quan chip CCD 16 Hình Sơ đồ khối cảm biến CCD 16 Hình Sơ đồ khối cảm biến CMOS 17 Hình Cấu tạo chíp CCD 18 Hình Ánh sáng bề mặt chip CCD 19 Hình Cấu trúc đơn giản chiều dọc – ngang chip CCD 19 Hình Cấu trúc cảm biến CCD 21 Hình Hoạt động cảm biến CCD 21 Hình 10 Electron điện cực 22 Hình 11 Hai dạng cấu trúc CCD 23 Hình 12 (a) Bộ khuếch đại tín hiệu đầu CCD (b) Tương quan lấy mẫu đôi 24 Hình 13 Cấu trúc cảm biến ảnh CMOS 26 Hình 14 Ánh sáng vào pixel đưa khuếch đại pixel 27 Hình 15 Mô hình CMOS APS (a) cấu trúc mảng (b) 29 Hình 16 Layout điểm ảnh CMOS điển hình 29 Hình 17 Thiết kế điển hình CMOS camera 32 Hình 18 Xu hướng phát triển CMOS CCD 34 Hình 19 Cấu trúc ISIS – V16 38 Hình 22 Mặt cắt A-A’ hình 20 39 Hình 22 Sơ đồ mạch phía trước 39 Hình 22 Mô trường điện từ quanh trục X-Z 39 Hình 23 Hoạt động kênh CCD liền phase truyền 41 Hình 24 ISIS-V16 camera hệ để đánh giá hiệu 42 Hình 27 Quạt điều khiển lase có 200 cánh 43 Hình 27 Một phần cánh quạt chụp ISIS-V16 camera 43 Hình 27 Mối quan hệ tốc độ bắt hình quay cánh quạt 43 Hình 28 Bốn ảnh liên tiếp xung tạo ảnh sáng từ LED (a) truyền thành công (b) truyền không hiệu 44 Hình 29 Mối quan hệ khả chứa điện tích tối đa ứng với tốc độ bắt hình khác 44 Hình 30 Sơ đồ khối hệ thống nhận biết phát kiên tốc độ cao 49 Hình 31 Sơ đồ nguyên lý mạch khuếch đại tín hiệu sử dụng IC INA118 51 Hình 32 Sơ đồ nguyên lý khối cảm biến ánh sáng 51 Hình 33 Sơ đồ luồng liệu khối tạo trễ 52 Hình 34 Kiến trúc bên khối tạo trễ 54 Hình 35 Luồng liệu vào chốt tín hiệu 55 Hình 36 Kiến trúc chốt tín hiệu 55 Hình 37 Mô hoạt động chốt tín hiệu 56 Hình 38 Sơ đồ luồng liệu tạo trễ 56 Hình 39 Kiến trúc tạo trễ 57 Hình 40 Sơ đồ luồng liệu vào chia tần số 59 Hình 41 Kiến trúc chia tần số 10 lần 59 Hình 42 Hoạt động chia tần số 10 lần 60 Hình 43 Sơ đồ luồng liệu vào tạo chu kỳ trễ 60 Hình 44 Kiến trúc tạo chu kỳ trễ 61 Hình 45 Sơ đồ luồng liệu hình LCD 16 x 62 Hình 46 Sơ đồ nguyên lý mạch mắc hình LCD 64 Hình 47 Vị trí thông số kết hình mô Modelsim 65 Hình 48 Kết mô trễ 80ns 66 Hình 49 Kết mô trễ us 66 Hình 50 Khối nạp theo chuẩn JTAG 67 Hình 51 Khối cảm biến xử lý tương tự 68 Hình 52 Khối nguồn 68 Hình 53 Sơ đồ nguyên lý khối hiển thị LCD khối vào 69 Hình 54 Sơ đồ mạch 3D sau thiết kế 69 DANH MỤC BẢNG BIỂU Bảng Bảng so sánh CCD CMOS 33 Bảng Thông số kỹ thuật ISIS-V12 so với ISIS-V16 37 Bảng Bảng mô tả luồng vào 53 Bảng Bảng mô tả luồng vào chốt tín hiệu 55 Bảng Bảng mô tả luồng vào tạo trễ 57 Bảng Bảng mô tả luồng vào chia tần số 59 Bảng Bảng mô tả luồng liệu vào tạo chu kỳ trễ 61 Bảng Bảng mô tả chân tín hiệu LCD 63 LỜI CAM ĐOAN Tôi xin cam đoan luận văn công trình nghiên cứu thực phối hợp với nhóm nghiên cứu, thực hướng dẫn khoa học TS Nguyễn Hoàng Dũng Các số liệu, kết nghiên cứu luận văn trung thực Tôi xin chịu trách nhiệm nghiên cứu Học viên Nguyễn Chí Dũng 10 b Thiết kế phần cứng Kiến trúc tạo trễ trình bày hình 39 c Mô tả hoạt động - Tín hiệu thu từ chốt đẩy vào chân data in khối create delay - select frequency: -  + 00 tần số chia 10 + 01 tần số chia 100  + 10 tần số chia 1000 + 11 tần số chia 10000 Select delay clk:  + 000 trễ clk  …  + 111 trễ clk - Ví dụ: có xung clk với tần số vào 100MHz tương ứng chu kì 10ns  Muốn trễ 0,06ms tương ứng với 60000 ns - Chọn tần chia cho 10000  select frequency : 11 - Chọn trễ clk  select delay clk : 110 2.3.5 Bộ chia tần số ( divide frequency 10 ) - Cấu tạo: Các đếm 2, đếm 4, đếm 8, đếm 10 đếm 16 - Với đếm 4, 8, 16 cần xác định bit MSB để tạo xung đồng hồ ( nửa số lượng giá trị đếm có bit MSB nửa lại có bit MSB tương ứng với nửa dương nửa âm xung đồng hồ) - Với đếm 10, giá trị từ tới cho tín hiệu tới cho tín hiệu Khi giá trị nhảy lên 10 bị reset tiếp tục đếm a Luồng liệu vào Bảng mô tả luồng vào chia tần số minh họa hình 40 58 Hình 40 Sơ đồ luồng liệu vào chia tần số Bảng Bảng mô tả luồng vào chia tần số Signals clk clk_out I/O Active Reg Bit range Description I Xung đồng hồ hệ thống O Xung đồng hồ sau chia tần số xuống 10 lần b Thiết kế phần cứng Kiến trúc chia tần số 10 lần trình bày hình 41 Hình 41 Kiến trúc chia tần số 10 lần 59 c Mô tả hoạt động - Bộ đếm xung clk với độ rộng bit - Giá trị từ tới 4, output = - Giá trị từ tới 10, output = - Sau giá trị 10, đếm bị reset lại - Sau 10clk tạo clk output Hình 42 mô tín hiệu đầu chia 10 Hình 42 Hoạt động chia tần số 10 lần 2.3.5 Bộ tạo chu kỳ trễ Cấu tạo: gồm ghi dịch ghép nối tiếp với kết hợp Mux để lựa chọn trễ chu kỳ đồng hồ a Luồng liệu vào Bảng mô tả luồng vào tạo chu kỳ trễ minh họa hình 43 b Thiết kế phần cứng Kiến trúc phần cứng tạo chu kỳ trễ trình Hình 43 Sơ đồ luồng liệu vào tạo chu kỳ trễ bày hình 44 60 Bảng Bảng mô tả luồng liệu vào tạo chu kỳ trễ Signals I/O Active Reg Bit range Description I Xung đồng hồ rst I Tín hiệu đưa tín hiệu khác trạng thái ban đầu data in I clk select clk delay data delay Low Tín hiệu delay I Yes [1:0] Lựa chọn tần số hoạt động Tín hiệu trễ theo chu kỳ đồng hồ O Hình 44 Kiến trúc tạo chu kỳ trễ c Mô tả hoạt động - Bộ đệm D-FF nối tiếp có độ trễ tương ứng từ tới clk - Dữ liệu sau đẩy vào chân data in lựa chọn chu kỳ trễ cho bus select delay clk tạo độ trễ từ tới chu kỳ đồng hồ 61 Hình 45 Sơ đồ luồng liệu hình LCD 16 x 2.3.6 Bộ điều khiển hiển thị - Từ tần số đo vi điều khiển tín hiệu từ khối vào (bàn phím) mà vi điều khiển tính toán sai số tần số thông qua khuếch đại mạch LC, trạng thái mạch IC thu lại hiển thị 62 Bảng Bảng mô tả chân tín hiệu LCD Chân Ký hiệu Vss VDD VEE Mô tả Chân nối đất cho LCD, thiết kế mạch ta nối chân với GND mạch điều khiển Chân cấp nguồn cho LCD, thiết kế mạch, nối chân với VCC=5V mạch điều khiển Điều chỉnh độ tương phản LCD RS R/W E - 14 DB0 - DB7 15 - Chân chọn ghi (Register select) Nối chân RS với logic “0” (GND) logic “1” (VCC) để chọn ghi + Logic “0”: Bus DB0-DB7 nối với ghi lệnh IR LCD (ở chế độ “ghi” - write) nối với đếm địa LCD (ở chế độ “đọc” - read) + Logic “1”: Bus DB0-DB7 nối với ghi liệu DR bên LCD Chân chọn chế độ đọc/ghi (Read/Write) Nối chân R/W với logic “0” để LCD hoạt động chế độ ghi, nối với logic “1” để LCD chế độ đọc Chân cho phép (Enable) Sau tín hiệu đặt lên bus DB0-DB7, lệnh chấp nhận có xung cho phép chân E + Ở chế độ ghi: Dữ liệu bus LCD chuyển vào(chấp nhận) ghi bên phát xung (high-tolow transition) tín hiệu chân E + Ở chế độ đọc: Dữ liệu LCD xuất DB0-DB7 phát cạnh lên (low-to-high transition) chân E LCD giữ bus đến chân E xuống mức thấp Tám đường bus liệu dùng để trao đổi thông tin với MPU Có chế độ sử dụng đường bus : + Chế độ bit : Dữ liệu truyền đường, với bit MSB bit DB7 + Chế độ bit : Dữ liệu truyền đường từ DB4 tới DB7, bit MSB DB7 Nguồn dương cho đèn 16 - GND cho đèn 63 - Tín hiệu từ vi điều khiển đẩy hình LCD cách lập trình nạp xuống 2.4 Khối hiển thị 2.4.1 Sơ đồ kiến trúc hình LCD 16x2 HD44780 Bảng mô tả luồng vào hình LCD 16 x2 minh họa hình 45 2.4.2 Sơ đồ mạch nguyên lý Hình 46 Sơ đồ nguyên lý mạch mắc hình LCD 2.4.3 Khối vào Các nút bấm nối với nguồn Vcc để dẫn vào chip CPLD Với lần nút bấm chức riêng biệt tiếp xúc, mạch CPLD nhận lệnh tương ứng để đưa tín hiệu trễ với độ trễ thiết kế mong muốn III Mô Modelsim 3.1 Các thông số công cụ để mô - Signal: 20,000ps tới 30,000ps  clk - Chu kì 2,000 ps  2ns 64 - Công cụ để mô phần mềm Modelsim: Đây công cụ dùng để mô cho môi trường đa ngôn ngữ mô tả phần cứng phát triển Mentor Graphics Trong khuôn khổ luận văn này, tác giả mô ngôn ngữ mô tả phần cứng viết Verilog sử dụng phần mềm Quartus II hãng Altera làm môi trường minh họa Hình 47 Vị trí thông số kết hình mô Modelsim 3.2 Tạo trễ 80ns  Tín hiệu điều khiển Bus select frequency = select delay =  Tần out chia 10, trễ clk ( – )  Chu kì sau 20ns => Tạo trễ 80ns  Thời điểm xuất tín hiệu: 100ns  100,000 ps Kết mô trình bày hình 48 65 Hình 48 Kết mô trễ 80ns  Thời điểm xuất trễ 108,000 ps Hình 49 Kết mô trễ us 3.3 Tạo trễ 1us  Tín hiệu điều khiển Bus select frequency = select delay =  Tần out chia 100, trễ clk ( – ) 66  Chu kì sau 200ns => Tạo trễ 1000ns  Thời điểm xuất tín hiệu: 1020ns  1,020,000 ps  Thời điểm xuất trễ: 860,000 ps 3.4 Nguyên nhân gây sai số độ trễ  Nguyên nhân: Trong số clk chia tần bị tăng giảm vài clk nên gây chênh lệch - Bộ đếm tần bị hụt khoảng thời gian đầu mạch chưa ổn định tần số  Khắc phục: - - Cần phải đợi khoảng chục chu kỳ để mạch chia tần số vào hoạt động ổn định IV Thiết kế mạch phần cứng CPLD EPM240T100C5N TQFP100 4.1 Khối nạp Khối nạp theo chuẩn JTAG cho mạch CPLD trình bày hình 50 Các chân tín Tdi, Tdo, TCK TMS đưa chân Jump JP4 trước Hình 50 Khối nạp theo chuẩn JTAG file tổng hợp đuôi sof pof nạp trực tiếp từ máy tính xuống mạch CPLD 4.2 Khối cảm biến xử lý tương tự Sơ đồ nguyên lý khối cảm biến xử lý tương tự trình bày hình 51 4.3 Khối nguồn Sơ đồ nguyên lý khối nguồn trình bày hình 52 Khối nguồn lấy từ adapter 12V 2A chuyển qua IC 7805 để nguồn 5V qua LM1117 để nguồn 3.3V nuôi cho chip CPLD EPM240T100C5N TQFP100 67 Hình 51 Khối cảm biến xử lý tương tự Hình 52 Khối nguồn 68 4.4 Khối hiển thị vào Khối hiển thị sử dụng LCD 16 cột hàng Khối vào sử dụng button phím bấm tích cực mức cao Hình 53 minh họa sơ đồ nguyên lý khối hiển thị LCD khối vào Sơ đồ mạch 3D trình bày hình 54 Hình 53 Sơ đồ nguyên lý khối hiển thị LCD khối vào Hình 54 Sơ đồ mạch 3D sau thiết kế 69 Kết luận chương Như toàn chương trình bày thiết kế hệ thống nhận biết kiện tốc độ cao đồng với bắt hình camera ISIS-V16 camera Toàn hệ thống bao gồm khối cảm biến, khối điều khiển khối nguồn đề cập cách chi tiết Tuy nhiên việc thiết kế dừng mức mô Hy vọng tương lai thiết kế thực hóa thông qua mạch tương tự, mạch số để có hội đánh giá chi tiết sử dụng phần thiếu hệ thống camera tốc độ cao 70 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Sau thời gian thực nhóm nghiên cứu hoàn thành đề tài đáp ứng yêu cầu đặt Thiết kế hệ thống nhận biết kiện tốc độ cao đồng với khả bắt hình ISIS-V16 camera giúp cho việc thực nghiên cứu, thí nghiệm trở nên dễ dàng Nhóm nghiên cứu tiếp tục xây dựng hoàn thiện phần chế tạo thử đo kiểm đánh giá hiệu làm việc hệ thống nhận biết Qua trình nghiên cứu, tác giả luận văn với tư cách thành viên nhóm nghiên cứu nhận thấy luận văn làm số công việc sau: - Nghiên cứu lý thuyết chung cảm biến hình ảnh Đi sâu vào nghiên cứu phân tích ưu, nhược điểm loại cảm biến ảnh CMOS CCD - Đi sâu nghiên cứu loại cảm biến CCD đặc biệt ISIS-CCD Loại cảm biến nghiên cứu phòng thí nghiệm Hydraulic, trường Kinki hướng dẫn Giáo sư T G Etoh cộng - Nghiên cứu thiết kế hệ thống nhận biết kiện tốc độ cao đồng với khả bắt hình ISIS-V16 camera Tuy nhiên thời gian nghiên cứu chưa đủ dài bên cạnh kiến thức nhiều hạn chế nên nhóm nghiên cứu nói chung, đặc biệt tác giả nói riêng chế tạo mạch phần cứng tương tự số hệ thống nhận biết kiện Hy vọng thời gian tới nhóm nghiên cứu tập trung vào chế tạo đo kiểm để đánh giá tính khả thi, thành công hiệu suất làm việc hệ thống thông qua mạch chế tạo 71 TÀI LIỆU THAM KHẢO [1] CCD and CMOS Imaging Array Technologies: Technology Review, Stuart A Taylor, Technical Report EPC-1998-106 [2] Lecture 11: CMOS Imaging Sensor, George Yuan, Hong Kong University of Science and Technology Fall 2010 [3] Cuong Vo Le, T Goji Etoh, H D Nguyen, V T S Dao, H Soya, M Lesser, D Ouellette, H van Kuijk, J Bosiers, and G Ingram: A Backside-Illuminated Image Sensor with 200,000 Pixels Operating at 250,000 Frames per Second, IEEE Transactions on Electron Devices, Vol 56, No 11, pp.2556-2562, 2009 [4] Etoh, T G., Nguyen, H D., Dao, V T S., Vo, L C., Tanaka, M., Backside illuminated CCD operating at 16,000,000 frame per second with sub-ten-photon sensitivity, Journal of Nuclear Instruments and Methods in Physics Research, A 647 112116, 2011 [5] Nguyen, H D., Etoh, T G., Dao, V T S., Vo, L C., Tanaka, M., 16-Mfps extremely high sensitivity video camera, Proceedings of the 29th International Congress on HighSpeed Imaging Photonics, pp A04-1-6, 2010 [6] Nguyen, H D, Design an Event Detection System for 16-Mfps Extremely-HighSensitivity Video Camera, 2016 IEEE Sixth International Conference on Communications and Electronics, accepted [7] Jon S Wilson, Sensor Technology Handbook [8] Gerald C Holst, CMOS/CCD Sensors and Camera Systems [9] Junichi Nakamura, Image Sensors and Signal Processing for Digital Still Cameras (Optical Science and Engineering) [10] John C Russ, The Image Processing Handbook 72 ... Chương 3: Thiết kế hệ thống cảm biến phát kiện tốc độ cao đồng bắt hình với ISIS-V16 camera Trong chương tác giả với nhóm nghiên cứu đề xuất thiết kế hệ thống cảm biến phát kiên tốc độ cao số kết mô... dựng hệ thống cảm biến nhận biết kiện xảy thời gian ngắn đồng với việc bắt hình camera Định nghĩa, nghiên cứu cấu trúc, phân loại cách thức hoạt động cảm biến, từ đề xuất thiết kế hệ thống cảm biến. .. hàn - Nghiên cứu phân tích quỹ đạo chuyển động Chính tác giả nhóm nghiên cứu hướng dẫn giáo sư T G Etoh TS Nguyễn Hoàng Dũng chọn đề tài Nghiên cứu hệ thống cảm biến cho camera tốc độ cao Mục