Ứng dụng xử lý ảnh trong việc xác định chuyển động của tròng mắt người

ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA ………… ĐINH QUANG TRÍ ỨNG DỤNG XỬ LÝ ẢNH TRONG VIỆC XÁC ĐỊNH CHUYỂN ĐỘNG CỦA TRÒNG MẮT NGƯỜI Chuyên ngành: Kỹ thuật Cơ điện tử Mã số: 605268 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng 12 năm 2013 Trang xii Cơng trình hồn thành tại: Trường Đại học Bách Khoa - ĐHQG - HCM Cán hướng dẫn khoa học: TS ĐOÀN THẾ THẢO Ký tên TS Đoàn Thế Thảo Cán chấm nhận xét 1: Ký tên Cán chấm nhận xét 2: Ký tên Trang xiii Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày tháng năm 2013 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA CƠ KHÍ PGS.TS Nguyễn Hữu Lộc Trang xiv ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Đinh Quang Trí MSHV: 11390719 Ngày, tháng, năm sinh: 08/03/1988 Nơi sinh: TP.Tuy Hòa Chuyên ngành: Kỹ thuật Cơ Điện Tử Mã số: 605268 I TÊN ĐỀ TÀI: ỨNG DỤNG XỬ LÝ ẢNH TRONG VIỆC XÁC ĐỊNH CHUYỂN ĐỘNG CỦA TRÒNG MẮT NGƯỜI II NHIỆM VỤ VÀ NỘI DUNG:  Nghiên cứu số thuật toán sử dụng camera để theo vết, xác định hướng     nhìn mắt Nghiên cứu phương pháp xác định điểm đặc trưng khuôn mặt tâm trịng mắt Hiện thực hệ thống xác định vị trí khn mặt, điểm đặc trưng mặt, tâm trịng mắt hướng nhìn mắt Hiện thực hệ thống nhúng lên board ARM Mini210s với nhân Linux Làm thực nghiệm kiểm nghiệm kết thực tế III NGÀY GIAO NHIỆM VỤ : Ngày 02 tháng 07 năm 2012 IV NGÀY HOÀN THÀNH NHIỆM VỤ: Ngày 22 tháng 11 năm 2013 V TS Đoàn Thế Thảo CÁN BỘ HƯỚNG DẪN : Tp HCM, ngày tháng năm 2013 CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MƠN ĐÀO TẠO TS Đồn Thế Thảo TS Phạm Cơng Bằng TRƯỞNG KHOA CƠ KHÍ PGS.TS Nguyễn Hữu Lộc Trang xv LỜI CẢM ƠN Để hoàn thành luận văn này, xin chân thành cảm ơn hướng dẫn tận tình Thầy TS Đồn Thế Thảo góp ý, hỗ trợ tơi suốt q trình thực Xin cảm ơn gia đình người bạn động viên, ủng hộ Xin chân thành cảm ơn! Đinh Quang Trí Trang xvi TĨM TẮT LUẬN VĂN Tóm tắt: Hướng nhìn chứa đựng nhiều thơng tin hữu ích ý định ý người Các nghiên cứu ước lượng hướng nhìn có lịch sử lâu dài nhiều hệ thống đề xuất Tuy nhiên hệ thống cịn hạn chế hầu hết hệ thống phát triển máy tính cá nhân Hạn chế ngăn cản hệ thống sử dụng đời sống ngày Trong luận văn này, khuôn mặt ảnh chụp từ camera phát sử dụng đặc trưng Haar-like Với khuôn mặt phát hiện, phương pháp sử dụng đường Isophote áp dụng để tính vị trí tâm trịng mắt Sau sử dụng thư viện flandmark để phát điểm đặc trưng khuôn mặt áp dụng thuật toán đề xuất J Chen cộng [8] để ước lượng hướng nhìn Để làm cho hệ thống trở nên linh động dễ cài đặt thực tế, hệ thống phát triển nhúng lên board ARM với nhân Linux Abstract: Human gaze contains useful information regarding attention and intention Gaze estimation research has a long history and many systems have been proposed However these systems are still limited because almost these applications are based on PC-desktop system These limitations prevent applications of the system that capture and utilize useful human gaze information in daily situations In this thesis, faces in images from camera were detected by using Haar-like feature, from the images of faces the Isophote Curvature method was employed to calculate the location of the irises center, the facial feature points were detected by using flandmark library and algorithm proposed by J Chen et al [8] was applied to estimate the gaze direction To make the system becomes more portable and easier when setup in real environments, an embedded system for gaze estimation was developed based on an ARM board Linux operating system Trang xvii Luận văn gồm phần với nội dung sau:  Phần 1: Mở đầu Phần mở đầu trình bày lý chọn đề tài, mục đích, đối tượng phạm vi nghiên cứu, ý nghĩa khoa học thực tiễn đề tài nghiên cứu  Phần 2: Tổng quan Phân tích, đánh giá cơng trình nghiên cứu có tác giả nước liên quan đến đề tài; nêu vấn đề tồn tại; vấn đề mà đề tài cần tập trung nghiên cứu, giải  Phần 3: Cơ sở lý thuyết phương pháp thực Trình bày sở lý thuyết, lý luận, giả thuyết khoa học phương pháp nghiên cứu sử dụng luận văn  Phần 4: Thực nghiệm kết đạt Mô tả ngắn gọn công việc nghiên cứu khoa học tiến hành, số liệu thực nghiệm luận văn  Phần 5: Kết luận kiến nghị nghiên cứu Trình bày kết đạt luận văn đưa kiến nghị hướng nghiên cứu dựa kết đạt Trang xviii LỜI CAM ĐOAN Tôi cam đoan rằng, nội dung luận văn kết làm việc hướng dẫn Thầy TS Đoàn Thế Thảo, ngoại trừ phần tham khảo từ tài liệu khác ghi rõ luận văn Tp HCM, Ngày 02 tháng 12 năm 2013 Đinh Quang Trí Trang xix MỤC LỤC LỜI CẢM ƠN xv TÓM TẮT LUẬN VĂN xvi LỜI CAM ĐOAN xviii MỤC LỤC xix DANH MỤC CÁC CHỮ VIẾT TẮT VÀ KÝ HIỆU xxii DANH MỤC HÌNH xxiii DANH MỤC BẢNG xxv Phần MỞ ĐẦU Phần TỔNG QUAN 2.1 Tổng quan khuôn mặt mắt người 2.1.1 Đặc tính sinh học khn mặt 2.1.2 Đặc tính sinh học mắt người 2.1.2.1 Cấu tạo 2.1.2.2 Chức 2.2 Tổng quan số cơng trình nghiên cứu tác giả ngồi nước có liên quan đến đề tài 2.3 Phân tích 2.4 Các vấn đề tồn 2.5 Các vấn đề cần tập trung giải đề tài Phần CƠ SỞ LÝ THUYẾT VÀ PHƯƠNG PHÁP THỰC HIỆN 3.1 Xử lý ảnh số 3.1.1.1 Giới thiệu xử lý ảnh số 11 3.1.1.2 Các ứng dụng công nghệ xử lý ảnh số 19 3.2 Camera calibration 19 3.2.1 Mơ hình pinhole 19 3.2.2 Lý thuyết camera calibration sử dụng mơ hình pinhole 20 3.3 Hai thuật toán phát tâm tròng mắt 23 3.3.1 Thuật toán dựa đường isophote [19] 23 Trang xx 3.3.1.1 Giới thiệu đường isophote 23 3.3.1.2 Tâm đường isophote 24 3.3.1.3 Xác định tâm đường isophote 25 3.3.1.4 Xác định tâm tròng mắt 26 3.3.2 Thuật toán dựa giá trị gradient [21] 26 3.3.2.1 Giới thiệu phương pháp 26 3.3.2.2 Hậu xử lý kết tính 27 3.4 Đặc tính Haar-like khn mặt thuật toán Adaboost 27 3.4.1 Đặc trưng Haar-like 27 3.4.2 Thuật toán Adaboost 29 3.5 Hệ điều hành nhân Linux 30 3.5.1 Linux 30 3.5.2 Các ưu điểm bật Linux 31 3.5.3 Hệ thống nhúng 31 Phần THỰC NGHIỆM VÀ KẾT QUẢ ĐẠT ĐƯỢC 33 4.1 Calib thông số camera 33 4.2 Tiền xử lý ảnh 36 4.3 Phát tâm tròng mắt 39 4.3.1 Phương pháp sử dụng đường Isophote 39 4.3.2 Phương pháp sử dụng giá trị gradient 41 4.3.3 Đánh giá chọn lựa hai phương pháp 41 4.4 Ước lượng góc nhìn 41 4.4.1 Ước lượng hướng đầu 41 4.4.2 Ước lượng hướng nhìn mắt 44 4.5 Nhúng chương trình ứng dụng lên board ARM 46 4.5.1 Cài đặt host toolchain: 49 4.5.2 Cài đặt thư viện OpenCV cho ARM 51 4.5.2.1 Cài đặt thư viện cần thiết cho OpenCV 51 4.5.2.2 Cài đặt thư viện OpenCV cho ARM 53 4.5.3 Kết nhúng chương trình lên board 55 Phần KẾT LUẬN VÀ KIẾN NGHỊ NHỮNG NGHIÊN CỨU TIẾP THEO 57 5.1 Kết luận kết đề tài 57 Trang vào bên mắt Giác mạc hoạt động thấu kính có tác dụng khúc xạ hội tụ ánh sáng từ đối tượng nhìn  Mống mắt: Mống mắt hoạt động màng chắn cửa sập trịn có tác dụng điều chỉnh lượng ánh sáng vào bên mắt Đây phận tạo màu khác mắt  Thủy tinh thể: Thủy tinh thể cấu trúc protein suốt, giúp tập trung hình ảnh điều tiết mắt tùy thuộc vào khoảng cách xa hay gần đối tượng nhìn  Thủy tinh dịch: Đây khối dịch đặc lòng trắng trứng suốt, giúp định hình mắt hỗ trợ cấu trúc bên mắt  Thể mi: Đây bó giúp thay đổi hình dạng thủy tinh thể nhằm tạo điều tiết phù hợp Đây tuyến tiết loại dịch lỏng, gọi thủy dịch Sự cân việc sản sinh dẫn lưu thủy dịch tạo áp lực làm mắt lồi  Võng mạc: Võng mạc mơ thần kinh lót mặt mắt Nó bao gồm mô thần kinh cực mỏng chia thành lớp tinh vi Phần trung tâm võng mạc nơi sử dụng để nhìn vật thể Vị trí gọi hồng điểm Đây nơi tập trung nhiều tế bào nhạy cảm ánh sáng, hay gọi tế bào thụ quang (thụ thể ánh sáng)  Dây thần kinh thị giác: Cấu trúc phận tạo thành sợi thần kinh nhỏ từ toàn vùng võng mạc Chúng hội tụ lại thành bó, xuyên qua mạng lưới lỗ nhỏ vỏ nhãn cầu, phía sau, mang xung điện đến não dây cáp tinh tế Tất mơ có cấu trúc tinh vi Ngoại trừ thành mắt dai, mô khác mảnh cần bảo vệ Vì vậy, nhãn cầu nằm ổ mắt, hốc xương bảo vệ tốt khuôn mặt với phần vững phần khác bị vỡ Mắt bảo vệ nhờ vào chế phản xạ tự nhiên với hệ thống rửa (bằng nước mắt) lau bề mặt (thông qua động tác nháy mi mắt) Trang Hình 1-2: Cấu tạo mắt người [26] 2.1.2.2 Chức Chức mắt để xác định đối tượng nhìn, tập hợp hội tụ tia sáng từ đối tượng, sau truyền hình ảnh rõ nét đến tế bào nhạy cảm ánh sáng nằm đáy mắt, nơi hình ảnh thu nhận bước đầu xử lý Hình ảnh sau chuyển tải xung điện dọc theo dây thần kinh thị giác (là dây thần kinh từ đáy mắt lên não) Các dây thần kinh thị giác liên kết với não cho phép nhìn thấy hình ảnh kết hợp từ hai mắt Phần não ghi nhận tín hiệu thị giác gọi vỏ não thị giác, nằm phía sau não Từ vỏ thị giác, tín hiệu truyền đến nhiều phần khác não Các xung điện ban đầu phải trải qua trình xử lý phức tạp để tạo hình ảnh mà nhìn thấy 2.2 Tổng quan số cơng trình nghiên cứu tác giả ngồi nước có liên quan đến đề tài 2.3 Phân tích Trong thời gian gần đây, có nhiều tài liệu tác giả nghiên cứu vấn đề ứng dụng thị giác máy tính để xác định hướng nhìn mắt [3-14] Trong [3,4] việc xác định hướng nhìn dựa vào phản chiếu ánh sáng giác mạc Một nguồn sáng hồng ngoại dùng để chiếu vào mắt tạo nên điểm sáng Trang giác mạc Khi đó, việc phát vị trí tâm trịng mắt điểm sáng phản chiếu, tác giả ước lượng hướng nhìn qua vị trí tương đối điểm J.-G Wang E Sung [5] tính tốn hướng nhìn cách ước lượng hình dạng đồng tử trịng mắt phát thơng qua việc khớp hình elip, sử dụng đồng tử ước lượng hình elip trịng mắt để suy hướng nhìn Sự xác phương pháp khơng cao bị ảnh hưởng mi mắt hướng khuôn mặt Hơn thuật tốn địi hỏi phải sử dụng hình ảnh từ camera độ phân giải cao Để giải vấn đề này, phương pháp phát nghiên cứu dựa đặc tính khn mặt [6,7] Vị trí trịng mắt góc mắt xác định ảnh sử dụng để ước lượng hướng nhìn Năm 2008, tác giả Hirotake Yamazoe cộng [7] áp dụng xử lý ảnh để xác định hướng nhìn mắt, sử dụng camera mà không dùng thêm nguồn sáng thiết bị hỗ trợ khác Tác giả tiến hành mơ hình hóa đầu mắt chủ thể dựa vào chuỗi ảnh từ camera, sau sử dụng mơ hình để ước lượng hướng nhìn mắt Độ xác đạt phương pháp 6o với ảnh độ phân giải thấp 320x240 Cùng năm đó, tác giả Jixu Chen Qiang Ji [8] sử dụng điểm khuôn mặt để ước lượng hướng đầu Kết hợp với việc mơ hình hóa mắt dựa đặc tính sinh học đầu người tính tốn hướng nhìn với độ xác nhỏ 3o Tác giả Matsumoto cộng [9] sử dụng hệ thống camera để ước lượng vị trí 3D mắt từ tính tốn hướng nhìn khơng gian Về đề tài nghiên cứu nước có tác giả Nguyễn Hữu Cường, giảng viên đại học Cần Thơ chế tạo xe lăn điều khiển mắt, với webcam đeo vào đầu để theo dõi chuyển động mắt Tác giả Huỳnh Thái Hoàng Trường Đại học Bách Khoa TP HCM chế tạo xe lăn điều khiển mắt [15] với phương pháp khác: Camera lắp đặt phía trước ghế ngồi xe lăn để thu ảnh mặt người sử dụng, sau sử dụng kỹ thuật xử lý ảnh để tách vùng chứa ảnh mắt người, tiếp sử dụng mạng thần kinh với ngõ vào đặc trưng đặc trưng PCA ảnh mắt để xác định hướng nhìn mắt Trang 2.4 Các vấn đề tồn Tất hệ thống xây dựng máy tính Sẽ bất tiện đem ứng dụng vào sống Vì vậy, nhóm nghiêm cứu muốn tìm hiểu xây dựng hệ thống phát hướng nhìn nhúng thiết bị nhỏ gọn 2.5 Các vấn đề cần tập trung giải đề tài Đề tài tập trung vào việc phát vị trí tâm trịng mắt để làm điều kiện cho việc ước lượng hướng nhìn Tiến hành calib thơng số cho camera, sau xác định điểm đặc trưng khn mặt tính tốn hướng khn mặt Từ kết hợp với tâm trịng mắt để suy hướng nhìn Thực việc nhúng toàn hệ thống vào board Mini210s ARM Cortex A8 nhân Linux Trang Phần CƠ SỞ LÝ THUYẾT VÀ PHƯƠNG PHÁP THỰC HIỆN 3.1 Xử lý ảnh số Giới thiệu ảnh số: Một ảnh số biểu diễn hàm chiều, ( , ), với , hệ tọa độ không gian độ lớn điểm tọa độ ( , ) gọi cường độ mức xám ảnh vị trí Khi , giá trị độ lớn đại lượng rời rạc hữu hạn, gọi ảnh ảnh số Mỗi điểm ảnh tọa độ ( , ) ảnh số với độ xám độ màu định gọi pixel Đặc tính hàm ( , ) cho pixel phụ thuộc vào loại ảnh (ảnh nhị phân, ảnh xám, ảnh màu…) Một ảnh số gồm pixel xếp mảng hình chữ nhật (hoặc gọi bitmap) Mức Hình 3-1: Biểu diễn cấu trúc ảnh số chiều xám ảnh L = 2n Bit pixel: Giá trị màu sắc đại diện số lượng bit pixel (bpp) Mỗi bpp ảnh sử dụng bit cho pixel, pixel bật tắt (ảnh nhị phân) Mỗi bit bổ sung thêm làm tăng gấp đơi số lượng màu, ví dụ ảnh 2bpp có màu, ảnh 3bpp có màu… 1bpp = 21= màu (đen trắng) 2bpp = 22= màu 8bpp = 28 = 256 màu 16bpp = 216 = 65.536 màu (Highcolor) 24bpp = 224 = 16,8 triệu màu (Truecolor) Trang 10 Một số kiểu ảnh số thường gặp: Ảnh nhị phân (binary image): Ảnh nhị phân kiểu ảnh số mà pixel nhận hai giá trị đặc trưng cho màu trắng (mức 1) đen (mức 0) Ảnh nhị phân có ưu điểm đơn giản, kích thước nhỏ gọn, thuận tiện cho việc lưu trữ, xử lý, phân tích ảnh Hình 3-2: Mơ tả ảnh nhị phân Ảnh xám (grayscaledigital image): Ảnh xám kiểu ảnh 8bit (256 màu), giá trị pixel lưu trữ byte Ảnh xám dạng ảnh đen trắng với giá trị độ lớn pixel thay đổi từ đến 255 (với ảnh 8bit) tương ứng với mức thay đổi từ màu đen đến màu trắng Hình 3-3: Thang màu mức xám ảnh bit Hình 3-4: Biểu diễn ảnh xám [16] Ảnh màu (color image): Để thể hình ảnh cách trực quan, pixel phải thể kênh màu không gian màu Các không gian màu thường Trang 11 sử dụng RGB (Red, Green and Blue), YCbCr, HSV (Hue, Saturation and Value) Ảnh màu ảnh 4bit, 8bit, 32bit…Trong đó, khơng gian màu RGB sử dụng phổ biến xử lý ảnh Không gian RGB kết hợp màu màu đỏ, xanh xanh dương (Red – Green - Blue) Mỗi pixel ảnh màu biểu diễn sau: = Khi phối hợp màu này, ta có nhiều màu mong muốn Ví dụ với ảnh màu bit: màu đỏ (256,0,0), xanh (0,256,0), xanh dương (0,0,256), vàng (256, 256,0), tím (256,0,256), xanh lơ (0, 256, 256), trắng (256, 256, 256) 3.1.1.1 Giới thiệu xử lý ảnh số Xử lý ảnh số thường biết đến với tên viết tắt DIP (Digital Image Proccessing) DIP sử dụng thuật tốn máy tính để phân tích ảnh kỹ thuật số Dưới sơ đồ trình xử lý ảnh: Hình 3-5: Sơ đồ xử lý ảnh số [17] Các thiết bị thu nhận ảnh phổ biến máy ảnh kỹ thuật số, máy quay phim, thiết bị scan, webcam…Nhìn chung hệ thống thu nhận ảnh thực trình biến đổi lượng quang học thành lượng điện (cảm biến) tổng hợp lượng điện thành ảnh Có loại cảm biến hình ảnh sử dụng phổ biến loại CCD CMOS.Loại cảm biến CCD có đặc điểm độ nhạy sáng cao, cho độ phân giải lớn thể dải màu liên tục Loại CMOS có độ nhạy sáng thấp nên loại CCD sử dụng phổ biến cho loại máy ảnh kỹ thuật số camera Tuy nhiên, với Trang 12 phát triển khoa học kỹ thuật đại, loại CMOS dần chiếm lại ưu khả tích hợp cao (ADC, cân sáng…) loại cảm biến Xử lý ảnh:  Gradient ảnh: Gradient véctơ có thành phần biểu thị tốc độ thay đổi giá trị điểm ảnh Trong đó: Với , =∆ = ∇ = ( , ) , ( , ) , =∆ = , ( , ) : khoảng dịch chỉnh theo x y; ảnh số = ∆ = ( + 1, ) − ( , ) , ∆ = ( , + 1) − ( , ) =1 Gradient điểm ảnh với hướng thay đổi cường độ sáng: ∇ =[∆ ,0] ∇ =[0,∆ ] ∇ =[∆ ,∆ ] Hướng gradient xác định công thức: ∆ = ∆ Độ lớn gradient điểm ảnh xác định cơng thức: ‖∇ ‖ = + = (∆ ) + ∆ Gradient tính thơng qua việc trượt ma trận mặt nạ (nxn) lên ảnh phân tích Mặt nạ gọi mặt nạ cuộn hay kernel Tính gradient ảnh thật hữu ích cho việc tách biên dạng vật, từ khoanh vùng phân đoạn ảnh phục vụ cho việc xử lý, phân tích Trang 13  Làm mượt ảnh lọc nhiễu  Mặt nạ cuộn ảnh: Xét ảnh ( ) = ( , )có kích thước ( )và mặt nạ có kích thước Giá trị ( , ) xác định cách trượt mặt nạ qua pixel ảnh vị trí ( , ), có cơng thức tổng qt: ( , )= ⨂ = ( , )∗ ( + , + ) VD: với mặt nạ cuộn có kích thước 3x3 1 1 ⨂ 10 11 12 13 14 15 20 21 22 23 24 25 30 31 32 33 34 35 40 41 42 43 44 45 50 51 52 53 54 55 60 61 62 63 64 65 ( , ) = ∗ 21 + ∗ 22 + ∗ 23 + ∗ 31 + ∗ 32 + ∗ 33 + ∗ 41 + ∗ 42 + ∗ 43 = 128  Lọc ảnh: có nhiều phương pháp lọc ảnh khác lọc trung vị (median), lọc tuyến tính (linear), lọc Gaussian… Trong đó, lọc Gaussian sử dụng phổ biến.Hàm gaussian bản: Với ( )= chiều ( = = √2 ) trị trung bình vị trí đỉnh, tiêu chuẩn ( , )= 2 chiều (( ) ( ) ) phương sai Hàm gaussian Trang 14 Hình 3-6: Biểu đồ Gauss Lọc gaussian sử dụng mặt nạ cuộn với kích thước 3x3, 5x5, 7x7… ( , )= (, ) ( + , + )= = ( + , + ) ( ) ( + , + ) Thông thường lọc gaussian cho ảnh I với mặt nạ cuộn kích thước nxn tiến hành theo bước: 1- Tạo mặt nạ cuộn gaussian chiều có kích thước n 2- Trượt mặt nạ qua cột I IN 3- Sau trượt mặt nạ qua hàng IN, ta thu kết Hình 3-7: Mặt nạ cuộn gaussian chiều  Chuyển ảnh màu sang ảnh xám, nhị phân  Chuyển sang ảnh xám: có cách sau áp dụng để chuyển từ ảnh màu sang ảnh xám: Lightness: Lấy trung bình giá trị màu cao màu thấp ( , ) = [max( , , ) + min( , , )]/2 Trang 15 Average: Lấy giá trị màu trung bình ( , ) = ( , , )/3 Luminosity: Nhân theo hệ số ( , )= ( , ) = ( , ) ∗ 30% + ( , ) ∗ 21% + Ảnh gốc ( , ) ∗ 59% + ( , ) ∗ 71% + ( , ) ∗ 11%hoặc ( , ) ∗ 7% Trung bình max-min Trung bình RGB Nhân hệ số Hình 3-8: Chuyển từ ảnh màu sang ảnh xám [18]  Chuyển sang ảnh nhị phân:Chuyển sang ảnh nhị phân thực thơng qua việc đặt ngưỡng (Thresholding T) Ví dụ với ảnh xám bit: Với ảnh gốc, ( , )= 0, ( , )≤ 1, ( , )> ảnh nhị phân sau chuyển đổi Ảnh gốc Ảnh nhị phân Hình 3-9: Chuyển từ ảnh xám bit sang ảnh nhị phân Trang 16  Histogram Histogram biểu đồ thể số lượng cường độ màu pixel Số lượng toàn ảnh Cường độ Hình 3-10: Giản đồ histogram ảnh xám  Thay đổi độ sáng, độ tương phản Độ sáng độ tương phản ảnh thay đổi cách thay đổi giá trị Với pixel ảnh gốc ( , )= ( , )+ > hệ số thay đổi độ tương phản, Trong đó, ảnh ban đầu, Độ sáng cao hệ số thay đổi độ sáng ảnh ảnh sau hiệu chỉnh Histogram Hình 3-11: Tăng độ sáng giản đồ histogram Trang 17 Độ sáng thấp Histogram Hình 3-12: Giảm độ sáng giản đồ histogram Độ tương phản cao Histogram Hình 3-13: Tăng độ tương phản giản đồ histogram Độ tương phản thấp Histogram Hình 3-14: Giảm độ tương phản giản đồ histogram Dựa vào biểu đồ histogram, ta nhận thấy thay đổi độ sáng giá trị biểu đồ histogram dịch sang trái sang phải, thay đổi độ tương phản giá trị biểu đồ giản biên co Trang 18  Phát biên: Biên ảnh đường biên giới hay đường bao (contour) mà xuất thay đổi đáng kể vài tính chất vật lý ảnh.Thay đổi tính chất vật lý biểu nhiều cách, bao gồm thay đổi cường độ, màu sắc, kết cấu bề mặt Phát biên có việc nhận dạng, phân vùng ảnh… Có số phương pháp phát biên phương pháp Gradient, Roberts, Sobel, Canny… Trong đó, phương pháp sobel canny sử dụng phổ biến Ảnh gốc Sobel Canny Hình 3-15: Tách biên phương pháp Sobel Canny Phương pháp Canny thực qua bước: 1- Tìm gradient: Làm mờ ảnh để loại nhiễu Sử dụng lọc Gaussian để loại bỏ nhiễu tần số cao mặt nạ cuộn 5x5 = = Với Trong đó, ( , ) ∗ ∗ ( , ) =− = = ∗ ∗ ( , ), ⎡4 ⎢ = 159 ⎢ ⎢4 ⎣2 =− 12 12 15 12 12 4⎤ ⎥ 5⎥ 4⎥ 2⎦ ( , ) ảnh xét, ( , ) hàm gaussian với mặt nạ cuộn 2- Tính độ lớn gradient: Biên phát thơng qua thay đổi lớn gradient Trang 19 ∇ = = , , , 3- Xác định hướng điểm biên: ‖∇ ‖ = ( ) + = 4- Phát điểm cực đại địa phương 5- Liên kết điểm biên 3.1.1.2 Các ứng dụng công nghệ xử lý ảnh số  Trong y học: Sử dụng phổ biến chụp cộng hưởng từ MRI, quét biên dạng, làm rõ nét biên dạng, ảnh X quang…  Nhận dạng: Công nghệ xử lý ảnh sử dụng rộng rải việc nhận dạng dấu vân tay, nhận dạng chữ viết, nhận dạng khuôn mặt…  Trong công nghiệp sản xuất: Phân loại sản phẩm, theo dõi sản phẩm, hệ thống…với độ tin cậy cao  Robot: Công nghệ xử lý ứng dụng cho robot nhằm tạo hệ thống có khả tương tác với môi trừng xung quanh cách linh hoạt hơn, đảm nhận nhiệm vụ thị giác người 3.2 Camera calibration 3.2.1 Mơ hình pinhole Về mặt hình học, mơ hình bao gồm mặt phẳng ảnh C nằm mặt phẳng tiêu cự tâm điểm Hình 3-16: Mơ hình Pinhole Một đặc điểm mơ hình tất điểm ảnh phẳng ảnh tạo thành điểm qua thẳng hàng với mặt , có ... ĐỀ TÀI: ỨNG DỤNG XỬ LÝ ẢNH TRONG VIỆC XÁC ĐỊNH CHUYỂN ĐỘNG CỦA TRÒNG MẮT NGƯỜI II NHIỆM VỤ VÀ NỘI DUNG:  Nghiên cứu số thuật toán sử dụng camera để theo vết, xác định hướng     nhìn mắt Nghiên... mặt [6,7] Vị trí trịng mắt góc mắt xác định ảnh sử dụng để ước lượng hướng nhìn Năm 2008, tác giả Hirotake Yamazoe cộng [7] áp dụng xử lý ảnh để xác định hướng nhìn mắt, sử dụng camera mà không... người sử dụng, sau sử dụng kỹ thuật xử lý ảnh để tách vùng chứa ảnh mắt người, tiếp sử dụng mạng thần kinh với ngõ vào đặc trưng đặc trưng PCA ảnh mắt để xác định hướng nhìn mắt Trang 2.4 Các vấn