Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống
1
/ 111 trang
THÔNG TIN TÀI LIỆU
Cấu trúc
LỜI CẢM ƠN
TÓM TẮT LUẬN VĂN
ABSTRACT
LỜI CAM ĐOAN
MỤC LỤC
CHƯƠNG 1: GIỚI THIỆU TỔNG QUAN VỀ HỆ THỐNG XÁC ĐỊNH HƯỚNG NHÌN CỦA MẮT
1.
1.1. Các khái niệm về việc xác định hướng nhìn của mắt
1.1.1. Cấu tạo và hoạt động của mắt
1.1.1.1. Cấu tạo của mắt
1.1.1.2. Hoạt động của mắt người
1.1.2. Khái niệm về việc xác định hướng nhìn của mắt
1.2. Tổng quan về hệ thống xác định hướng nhìn của mắt và ứng dụng
1.2.1. Tổng quan về hệ thống xác định hướng nhìn của mắt
1.2.2. Hệ thống xác định hướng nhìn của mắt và ứng dụng
1.3. Tình hình nghiên cứu trong nước và thế giới
1.4. Mục tiêu và nhiệm vụ khi thực hiện luận văn
1.4.1. Mục tiêu
1.4.2. Phạm vi và nhiệm vụ của đề tài
1.5. Giới thiệu tổng quát các chương
CHƯƠNG 2: CÁC PHƯƠNG ÁN LỰA CHỌN CHO HỆ THỐNG XÁC ĐỊNH HƯỚNG NHÌN CỦA MẮT
2.
2.1. Phân tích tổng quan các hệ thống xác định hướng nhìn của mắt
2.1.1. Hệ thống xác định hướng nhìn với các thiết bị camera gắn liền với người dùng
2.1.2. Hệ thống xác định hướng nhìn với các thiết bị điện cực đo đạc sự dịch chuyển của mắt
2.1.3. Hệ thống xác định hướng nhìn với các thiết bị camera tách biệt và đặt cách xa người dùng
2.1.4. Yêu cầu chung cho hệ thống và đưa ra kết quả lựa chọn thiết kế tổng quan
2.2. Các phương án thiết kế với hệ thống xác định hướng nhìn của mắt sử dụng camera tách rời và đặt cách xa người dùng
2.2.1. Hệ thống chỉ sử dụng một camera
2.2.2. Hệ thống sử dụng một camera và một nguồn sáng
2.2.3. Hệ thống sử dụng một camera và hai nguồn sáng
2.2.4. Hệ thống sử dụng một camera và nhiều nguồn sáng
2.2.5. Hệ thống sử dụng nhiều camera
2.2.6. Hệ thống sử dụng nhiều camera và một nguồn sáng
2.2.7. Hệ thống sử dụng nhiều camera và nhiều nguồn sáng
2.3. Phương án thiết kế chi tiết cho luận văn
2.3.1. Phân tích lại sự thỏa mãn yêu cầu của các phương án thiết kế
2.3.2. Phương thiết kế được lựa chọn
CHƯƠNG 3: MÔ HÌNH TOÁN ĐỂ XÁC ĐỊNH HƯỚNG NHÌN CỦA MẮT
3.
3.1. Các giả thuyết ban đầu và quy ước cho mô hình toán
3.1.1. Các giả thuyết ban đầu
3.1.2. Các ký hiệu dùng trong mô hình toán
3.1.3. Các hệ trục tọa độ dùng trong mô hình toán
3.2. Mô hình toán áp dụng cho thiết kế đã được lựa chọn
3.2.1. Các phương trình và tính khả thi của bài toán
3.2.2. Giải các phương trình và tìm ra hướng nhìn của mắt
3.2.2.1. Giải các phương trình
3.2.2.2. Tìm ra hướng nhìn của mắt
CHƯƠNG 4: CƠ SỞ LÝ THUYẾT XỬ LÝ ẢNH ÁP DỤNG CHO NGHIÊN CỨU
4.
4.1. Cơ sở lý thuyết xử lý ảnh số
4.1.1. Giới thiệu về ảnh số
4.1.1.1. Ảnh số là gì?
4.1.1.2. Độ phân giải của ảnh số
4.1.2. Giới thiệu về xử lý ảnh số
4.1.3. Chuyển ảnh màu thành ảnh xám hoặc ảnh nhị phân
4.1.3.1. Chuyển ảnh màu thành ảnh xám
4.1.3.2. Chuyển ảnh màu sang ảnh nhị phân
4.1.3.3. Ảnh xám chuyển sang ảnh nhị phân
4.1.4. Các phương pháp lọc nhiễu và làm trơn ảnh
4.1.5. Các công thức toán tổng quan về lọc nhiễu và làm trơn ảnh
4.1.6. Gradient của ảnh số
4.2. Các phương pháp xác định vị trí khuôn mặt và mắt người
4.2.1. Tổng quan về các phương pháp xác định khuôn mặt người trong ảnh số
4.2.2. Thuật toán nhận diện vị trí khuôn mặt người của Viola & Jones
4.2.2.1. Đặc trưng Haar-like
4.2.2.2. Ảnh tích phân - Integral image
4.2.2.3. Thuật toán AdaBoost
4.2.2.4. Hệ thống cascade
4.3. Phương pháp xác định vị trí của tâm đồng tử và các đốm sáng
4.3.1. Giới thiệu về đường isophote
4.3.2. Tâm của các đường isophote
4.3.3. Xác định tâm đường isophote
4.3.4. Cách xác định tâm đồng tử và tâm các đốm sáng
4.3.5. Thuật toán hỗ trợ cho việc xác định vị trí tâm đồng tử và tâm các đốm sáng
4.4. Các thông số của camera và cách hiệu chuẩn các thông số của camera
4.4.1. Mô hình pinhole camera là gì?
4.4.2. Calibrate camera là gì?
4.4.2.1. Tính toán các thông số nội cho camera
4.4.2.2. Tính toán các thông số ngoại cho camera
CHƯƠNG 5: MÔ HÌNH HỆ THỐNG XÁC ĐỊNH HƯỚNG NHÌN CỦA MẮT
5.
5.1. Giới thiệu về các thiết bị dùng trong mô hình
5.1.1. Bộ điều khiển của mô hình
5.1.2. Camera kết nối với board điều khiển
5.1.3. Đèn led hồng ngoại
5.1.4. Màn hình hiển thị
5.2. Sơ đồ lắp đặt và cách xác định vị trí của các thiết bị
5.3. Sơ đồ điện hệ thống xác định hướng nhìn của mắt
5.4. Mô hình của hệ thống khi đã lắp đặt hoàn chỉnh
5.5. Sơ đồ giải thuật hoạt động của mô hình
CHƯƠNG 6: KẾT QUẢ THỰC NGHIỆM VÀ THẢO LUẬN
6.
6.1. Các thông số đầu vào và đầu ra của bài toán
6.2. Thực nghiệm calib camera và xác định tọa độ các thiết bị
6.2.1. Thực nghiệm đo đạc vị trí các bóng led và camera
6.2.2. Thực nghiệm xác định thông số nội cho camera
6.2.3. Thực nghiệm hiệu chuẩn vị trí và hướng của camera
6.3. Thực nghiệm xác định hướng nhìn của mắt
6.3.1. Thực nghiệm xác định vị trí khuôn mặt
6.3.2. Thực nghiệm xác định vị trí của mắt
6.3.3. Thực nghiệm xác định vị trí tâm đồng tử và các đốm sáng trên mắt
6.3.3.1. Thực nghiệm xác định vị trí tâm đồng tử
6.3.3.2. Dùng thuật toán Hough Circle Transform để hiệu chỉnh vị trí tâm đồng tử
6.3.3.3. Thực nghiệm xác định vị trí các đốm sáng
6.3.4. Khảo sát sự ảnh hưởng của các thông số đầu vào đối với kết quả ước lượng hướng nhìn của mắt
6.3.5. Khảo sát sự ảnh hưởng của khoảng cách chụp ảnh đối với kết quả ước lượng hướng nhìn của mắt
6.3.6. Thực nghiệm xác định hướng nhìn của mắt
6.3.7. Thực nghiệm nhúng source code vào máy tính mini Raspberry Pi
6.4. Nhận xét – đánh giá kết quả thực hiện
6.5. Phương hướng phát triển của đề tài
TÀI LIỆU THAM KHẢO
Phụ lục A. CÁC THÔNG SỐ TIÊU CHUẨN
Phụ lục B. CODE XỬ LÝ ẢNH ĐỂ XÁC ĐỊNH VỊ TRÍ CỦA TÂM ĐỒNG TỬ VÀ CÁC ĐỐM SÁNG
Phụ lục C. CÁC NGUY CƠ BỨC XẠ QUANG
PHẦN LÝ LỊCH TRÍCH NGANG
Nội dung
ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA NGÔ TRẦN KHÁNH ĐĂNG HỆ THỐNG XÁC ĐỊNH HƯỚNG NHÌN CỦA MẮT DEVELOP EYE-GAZE DETECTION SYSTEM Chuyên ngành: Kỹ Thuật Cơ Điện Tử Mã số: 60520114 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng 12 năm 2018 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐHQG-HCM Cán hướng dẫn khoa học: TS Đoàn Thế Thảo (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét 1: TS Nguyễn Vĩnh Hảo (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét 2: PGS.TS Nguyễn Thanh Phương (Ghi rõ họ, tên, học hàm, học vị chữ ký) Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 20 tháng 12 năm 2018 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ luận văn thạc sĩ) Chủ tịch Hội đồng: PGS.TS Nguyễn Duy Anh Thư ký: TS Lê Thanh Hải Phản biện 1: TS Nguyễn Vĩnh Hảo Phản biện 2: PGS.TS Nguyễn Thanh Phương Ủy viên: PGS.TS Bùi Trọng Hiếu Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG PGS.TS Nguyễn Duy Anh TRƯỞNG KHOA ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: NGÔ TRẦN KHÁNH ĐĂNG MSHV: 1670051 Ngày, tháng, năm sinh: tháng năm 1992 Nơi sinh: Đồng Tháp Chuyên ngành: Kỹ thuật Cơ Điện Tử Mã số : 60520114 I TÊN ĐỀ TÀI: HỆ THỐNG XÁC ĐỊNH HƯỚNG NHÌN CỦA MẮT (DEVELOP EYE-GAZE DETECTION SYSTEM) II NHIỆM VỤ VÀ NỘI DUNG: - Tổng quan số hệ thống xác định hướng nhìn - Phân tích lựa chọn phương pháp khả thi - Nghiên cứu sở lý thuyết tốn xác định hướng nhìn camera lập trình hệ thống nhúng - Hiện thực hệ thống nhúng Linux, sai số cho phép 0 and (y + Dy[y][x])>0: 96 if (x + Dx[y][x]) < center_map.shape[1] and (y + Dy[y][x]) < cente r_map.shape[0] and k[y][x]= minrad and magnitude_displa cement[y][x] 0 and (y + Dy[y][x])>0: if (x + Dx[y][x]) < center_map.shape[1] and (y + Dy[y][x]) < cente r_map.shape[0] and k[y][x]>0: if magnitude_displacement[y][x] >= minrad and magnitude_displa cement[y][x] 1000𝑠 Tính tốn cho hệ thống: - Cường độ xạ cho LED: Ie(T = 25oC) = 230mW/sr - Cường độ xạ cho 42 LED Ie-42 = 2.3mW/sr 99 Tổng lượng xạ tính theo cơng thức: 𝐸= 𝐼𝑒−42 𝑑2 Trong đó: d khoảng cách từ nguồn sáng tới mắt Ie-42 cường độ xạ tổng Tính được: 𝐸= 𝐼𝑒−42 𝑊 = 18.77 = 0.001877 𝑊/𝑐𝑚2 < 0.01𝑊/𝑐𝑚2 2 𝑑 𝑚 C.2 Xem xét chấn thương nhiệt đến võng mạc mắt Các tiêu chuẩn quốc tế IEC/CIE 62471/S-009E-2006 ANSI RP27.1-2006 an toàn ánh sáng theo nguyên tắc ACGIH TLV(1998) ICNIRP (1997) để bảo vệ võng mạc mắt người chống lại nguy chấn thương nhiệt tính sau (áp dụng với thời gian sử dụng t>1000s): 𝐿𝑁𝐼𝑅 = Σ𝐿𝜆 𝑅(𝜆)Δ𝜆 ≤ 0.6/αW cm−2 sr −1 Trong đó: 𝐿𝜆 spectral radiance, đơn vị: W cm−2 nm−1 sr −1 𝑅(𝜆) Trong dải 700nm 1100nm tính theo cơng thức: 𝑅 (𝜆) = 10 700𝑛𝑚−𝜆 500𝑛𝑚 Δ𝜆 spectral bandwidth, đơn vị: nm Tính tốn cho hệ thống với 𝛼 = 0.011 (𝑡 > 10𝑠): 𝐿𝑁𝐼𝑅 = Σ𝐿𝜆 𝑅(𝜆)Δ𝜆 ≤ 0.6/αW cm−2 sr −1 ≤ 54.5𝑊 𝑐𝑚−2 𝑠𝑟 −1 𝐿𝑁𝐼𝑅 = 68,2 10−3 0,5.40 = 0.1364 ≤ 54,5W cm−2 sr −1 Trong đó: 𝐿𝜆 dựa bước sóng tính từ nguồn www.jensign.com/LEDIntensity 100 PHẦN LÝ LỊCH TRÍCH NGANG Bản thân Họ tên khai sinh: NGÔ TRẦN KHÁNH ĐĂNG Giới tính: Nam Sinh ngày: 04/08/1992 Nơi sinh: Đồng Tháp Dân tộc: Kinh Tôn giáo: Không Địa thường trú: xã Thường Phước 1, huyện Hồng Ngự, tỉnh Đồng Tháp Địa liên lạc: 364 Cộng Hòa, phường 13, quận Tân Bình, Tp Hồ Chí Minh Điện thoại: 0977334022 Email: ngotrankhanhdang@gmail.com Quá trình đào tạo 2.1 Đại học Tốt nghiệp trường/viện: Đại học Bách Khoa Tp.HCM Ngành học: Kỹ thuật Cơ Điện Tử Loại hình đào tạo: Chính quy Thời gian đào tạo: từ năm 2010 đến năm 2015 Xếp loại tốt nghiệp: Giỏi 2.2 Sau đại học Học cao học từ năm 2016 đến năm 2018 trường Đại học Bách Khoa Tp HCM Chuyên ngành: Kỹ thuật Cơ Điện Tử Bảo vệ luận văn thạc sĩ vào ngày: 20/12/2018 Nơi bảo vệ luận văn thạc sĩ: Hội trường B11, Đại học Bách Khoa Tp HCM Quá trình học tập làm việc thân (từ học đại học đến nay) Từ Đến Học tập làm cơng việc gì? 08/2010 04/2015 Sinh viên khoa Cơ Khí, chuyên ngành Kỹ thuật Cơ Điện Tử 08/2016 12/2018 Học viên cao học ngành Kỹ thuật Cơ Điện Tử 04/2015 12/2018 Kỹ sư phần mềm Nơi học tập làm việc Đại học Bách Khoa Tp HCM Thành tích học tập Điểm trung bình tích lũy: 8.08 Đại học Bách Khoa Tp HCM Cơng ty TNHH Robert Bosch Engineering and Business Solutions Việt Nam 101 ... QUAN VỀ HỆ THỐNG XÁC ĐỊNH HƯỚNG NHÌN CỦA MẮT CHƯƠNG 1: GIỚI THIỆU TỔNG QUAN VỀ HỆ THỐNG XÁC ĐỊNH HƯỚNG NHÌN CỦA MẮT 1.1 Các khái niệm việc xác định hướng nhìn mắt 1.1.1 Cấu tạo hoạt động mắt 1.1.1.1... THỐNG XÁC ĐỊNH HƯỚNG NHÌN CỦA MẮT CHƯƠNG 2: CÁC PHƯƠNG ÁN LỰA CHỌN CHO HỆ THỐNG XÁC ĐỊNH HƯỚNG NHÌN CỦA MẮT 2.1 Phân tích tổng quan hệ thống xác định hướng nhìn mắt Như Chương 1, phần Tổng quan hệ. .. nhìn mắt 1.2 Tổng quan hệ thống xác định hướng nhìn mắt ứng dụng 1.2.1 Tổng quan hệ thống xác định hướng nhìn mắt 1.2.2 Hệ thống xác định hướng nhìn mắt ứng dụng 1.3 Tình hình