TÌM HIỂU PHƯƠNG PHÁP NHẬN DẠNG CÁC ĐỐI TƯỢNG 3D VÀ ĐỀ XUẤT ĐỊNH HƯỚNG ỨNG DỤNG CÔNG NGHỆ NHẬN DẠNG 3D TRONG THỰC TẾ

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH ĐẠI HỌC CÔNG NGHỆ THÔNG TIN  TIỂU LUẬN MÔN HỌC CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG Tên đề tài: TÌM HIỂU PHƯƠNG PHÁP NHẬN DẠNG CÁC ĐỐI TƯỢNG 3D VÀ ĐỀ XUẤT ĐỊNH HƯỚNG ỨNG DỤNG CÔNG NGHỆ NHẬN DẠNG 3D TRONG THỰC TẾ Giáo viên HD : GS.TSKH. Hoàng Văn Kiếm Họ tên học viên : Nguyễn Trọng Ngân Mã số học viên : CH1101107 Cao học : Khóa 6 Chuyên ngành : Khoa học máy tính - Mã số: 60.48.01 Tháng 05/2012 LỜI CÁM ƠN Trong quá trình thực hiện bài tiểu luận, với sự hướng dẫn nhiệt tình của thầy Hoàng Văn Kiếm và những ý kiến đóng góp của bạn bè đã cho em nguồn động viên lớn để hoàn thành nhiệm vụ của bài tiểu luận. Qua đó, bản thân đã đạt được nhiều tiến bộ về kiến thức và hoạch định được hướng nghiên cứu, tìm hiểu để phát triển thành luận văn tốt nghiệp trong tương lai. Em chân thành cám ơn quý Thầy Cô trong khoa Khoa học máy tính, phòng đào tạo sau đại học, trường đại học Công nghệ thông tin – đại học Quốc gia Tp Hồ Chí Minh đã tận tình giảng dạy, hướng dẫn, giúp đỡ và tạo điều kiện cho em thực hiện tiểu luận này. Mặc dù rất cố gắng, song tiểu luận vẫn còn nhiều thiếu sót. Em mong nhận được nhiều sự thông cảm và góp ý của thầy Hoàng Văn Kiếm. Xin chân thành gửi lời cám ơn sâu sắc đến quý thầy. Tp.Hồ Chí Minh, ngày 31 /5 / 2012 NHẬN XÉT CỦA GIẢNG VIÊN NHẬN XÉT CỦA GIẢNG VIÊN NHẬN XÉT CỦA GIẢNG VIÊN MỤC LỤC LỜI CÁM ƠN ii NHẬN XÉT CỦA GIẢNG VIÊN iii MỤC LỤC iv DANH MỤC CÁC HÌNH v 1. CHƯƠNG 1 – GIỚI THIỆU CHUNG 1 1.1. Thông tin chung về môn học 1 1.2. Giới thiệu về đề tài tiểu luận và lý do chọn đề tài 1 2. CHƯƠNG 2 - CƠ SỞ LÝ THUYẾT 3 2.1. Giới thiệu về kỹ thuật đồ họa 2D, 2.5D và 3D 3 2.2. Thuật toán ICP (Iterative Closest Point) và nhận dạng gương mặt 3D 8 2.3. Nhận dạng gương mặt 3D trên nền tảng thuật toán ICP 8 3. CHƯƠNG 3 – ĐỀ XUẤT HƯỚNG NGHIÊN CỨU VÀ CÁC HƯỚNG ỨNG DỤNG TRIỂN KHAI TRONG THỰC TẾ 12 3.1. Ứng dụng triển khai trong thực tế 12 3.2. Đề xuất hướng nghiên cứu, phát triển 13 4. TÀI LIỆU THAM KHẢO 15 DANH MỤC CÁC HÌNH DANH MỤC CÁC HÌNH Hình 1-1 Các điểm tương đồng và điều kiện xuất hiện của các đối tượng 3D 2 Hình 2-2 Thu thập ảnh 2.5D 9 Hình 2-3 Quy trình nhận dạng gương mặt 3D 9 Hình 2-4 Tinh chỉnh thô giữa mô hình thăm dò và mô hình bên trong Database 10 Hình 3-5 Mô hình giám sát an ninh 12 TIỂU LUẬN MÔN CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG 1. CHƯƠNG 1 – GIỚI THIỆU CHUNG 1.1. Thông tin chung về môn học Môn học Công nghệ tri thức và ứng dụng là một môn học thuộc dạng bắt buộc trong nội dung chương trình khung đào tạo cao học tại trường đại học Công nghệ thông tin. Môn học cung cấp cho học viên các khái niệm về công nghệ tri thức, nền tảng nghiên cứu, nâng cao hiệu quả ứng dụng máy tính thông qua các hệ thống máy tính thông minh, có thể xữ lý một phần các công việc như con người. 1.2. Giới thiệu về đề tài tiểu luận và lý do chọn đề tài 1.2.1. Tình hình nghiên cứu nhận dạng đối tượng 3D trên thế giới Hiện nay, việc nghiên cứu nhận dạng trên các đối tượng đồ họa 2D và đã có nhiều ứng dụng được triển khai phát triển trên nền tảng công nghệ này như ứng dụng trong việc xác thực người dùng trong các máy tính xách tay, ứng dụng trong lĩnh giám sát. Tuy nhiên, việc tham gia nghiên cứu công nghệ nhận dạng trên các đối tượng 3D chỉ đang triển khai trong các phòng thí nghiệm và chưa đưa ra phổ biến trong các ứng dụng trên thực tế. 1.2.2. Tình hình nghiên cứu ảnh nhận dạng đối tượng 3D trên trong nước Nghiên cứu nhận dạng đối tượng đồ họa 3D tại Việt Nam chưa được phổ biến rộng rãi. Gần như không có hoặc có rất ít công trình nghiên cứu được công bố thông qua các tạp chí khoa học trong nước. 1.2.3. Lý do chọn đề tài Nhận dạng đối tượng nói chung là một phạm vi nghiên cứu khá rộng. Vì vậy trong đề tài này, em chỉ giới hạn tìm hiểu các kỹ thuật, phương pháp và thao tác nhận dạng gương mặt người. Công nghệ nhận dạng gương mặt 2D đã được ứng dụng trong rất nhiều lĩnh vực như xác thực người dùng trong máy tính cá nhân, ứng dụng trong các tài liệu điện tử như passport, Identity card, phát hiện mặt người trong các máy ảnh số… Tuy nhiên, công nghệ này đã bộc lộ một số điểm yếu như: - Các đối tượng có các đăt điểm tương đồng, xuất hiện với các đặc điểm tương tự như: cha-con trai, anh-em song sinh…. Vì vậy, để máy tính có thể tạo ra những mô tả cho các đối tượng này để nhận dạng một cách chính xác là một điều khó khăn. - Điều kiện xuất hiện của các đối tượng (ánh sáng, sắc thái, biểu lộ của nét mặt)ảnh hưởng rất lớn đến kết quả nhận. Minh họa theo hình bên dưới. Trong thực tế, việc điều chỉnh ảnh đầu vào của các hệ thống nhận dạng thông qua kỹ thuật xữ lý ảnh số không làm tăng đáng kể hiệu quả nhận dạng của máy tính. TIỂU LUẬN MÔN CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG Hình 1-1 Các điểm tương đồng và điều kiện xuất hiện của các đối tượng 3D - Máy tính không thể phân biệt được ảnh đầu vô được chụp hay đang phân tích trực tiếp từ gương mặt người dùng. Năm 2008, trung tâm Bkis đã công bố kết quả kiểm định trên các chương trình xác thực mặt người của một số hãng máy tính nỗi tiếng (Asus, Lenovo và Toshiba). Hàng rào xác thực người dùng thông qua kỹ thuật nhận dạng gương mặt (được thiết lập ở mức an ninh cao nhất) đã dễ dàng bị đánh lừa bằng các hình chụp của người sử dụng [L-1] Vì các hạn chế đã phân tích ở trên và sự phát triển của các thiết bị công nghệ thông tin hiện nay ( có nhiều thiết bị hỗ trợ ảnh 3D…), đề tài này em sẽ tập trung và việc nghiên cứu, tiếp thu công nghệ nhận dạng gương mặt trên nền tảng ảnh 3D nhằm khắc phục được các nhược điểm của công nghệ nhận dạng gương mặt trên ảnh 2D đồng thời đề xuất các xu hướng áp dụng công nghệ nhận dạng 3D vào trong việc phát triển các ứng dụng thực tế. TIỂU LUẬN MÔN CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG 2. CHƯƠNG 2 - CƠ SỞ LÝ THUYẾT 2.1. Giới thiệu về kỹ thuật đồ họa 2D, 2.5D và 3D 2.1.1. Đồ họa 2D và nhận dạng ảnh trên ảnh 2D Đồ họa máy tính 2D là một thế hệ ảnh kỹ thuật số trên nền tảng máy tính. Đồ họa 2D là dạng biểu diễn các điểm, mô hình trên không gian 2 chiều. Nghiên cứu về đồ họa 2D là một nhánh của ngành khoa học máy tính. Hiện nay, đồ họa máy tính 2D đã có được nhiều công trình nghiên cứu và được áp dụng khá phổ biến trong cuộc sống. Đồ họa 2D chủ yếu được sử dụng trong các ứng dụng được phát triển theo công nghệ in ấn truyền thống và vẽ: kiểu chữ, bản đồ, bản vẽ kỹ thuật, quảng cáo… Trong vài thập kỷ gần đầy, việc phân tích, đo lường, mô tả, phát hiện gương mặt thông qua các đặc điểm sinh trắc học đã được áp dụng rộng rãi trong nhiều ứng dụng như: tài liệu điện tử như passport, Identity card, phát hiện mặt người trong các máy ảnh số… Từ năm 2002, công nghệ xác định gương mặt đã nâng độ chính xác lên khá cao (khoảng từ 90%95%) và được ứng dụng rộng rãi trong các máy chụp ảnh kỹ thuật số. Để nhận dạng mặt người, trước hết phải tiến hành phát hiện gương mặt và chụp lại ảnh gương mặt và so sánh với các hình ảnh lưu trong cơ sở dữ liệu. Việc chụp ảnh này ảnh hưởng rất lớn đến kết quả nhận dạng (độ sang, nét mặt ). Độ chính xác này chỉ đạt khoảng 30% 35%,bộ lộ nhiều khiếm khuyết do các đặc điểm sinh trắc học con người để nhận dạng không được thể hiện trên không gian hai chiều. Vì vậy, các phần mềm nhận dạng mặt người được áp dụng trong các dòng máy tính xách tay tung ra thị trường đã bộ lộ nhiều lỗ hỏng về mặt an ninh [L-1] . 2.1.1.1 Nhận dạng dựa trên các đặc trưng khuôn mặt Đây là phương pháp nhận dạng khuôn mặt dựa trên việc xác định các đặc trưng hình học của các chi tiết trên một khuôn mặt (như vị trí, diện tích, hình dạng của mắt, mũi, miệng,…), và mối quan hệ giữa chúng (như khoảng cách của hai mắt, khoảng cách của hai lông mày,…). Ưu điểm của phương pháp này là nó gần với cách mà con người sử dụng để nhận biết khuôn mặt. Hơn nữa với việc xác định đặc tính và các mối quan hệ, phương pháp này có thể cho kết quả tốt trong các trường hợp ảnh có nhiều nhiễu như bị nghiêng, bị xoay hoặc ánh sáng thay đổi. Nhược điểm của phương pháp này là cài đặt thuật toán phức tạp do việc xác định mối quan hệ giữa các đặc tính đòi hỏi các thuật toán phức tạp. Mặt khác, với các ảnh kích thước bé thì các đặc tính sẽ khó phân biệt do đó khó tính toán được các đặc trưng trên khuôn mặt. TIỂU LUẬN MÔN CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG 2.1.1.2 Nhận dạng dựa trên xét toàn diện khuôn mặt: Nhận dạng đựa trên toàn diện khuôn mặt, có nghĩa mình sẽ không đi xét đến từng thành phần đặc trưng trên khuôn mặt nữa… Khuôn mặt là một không gian cụ thể và có thể tìm những đặc trưng, những đặc điểm chính trên không gian đó. Nội dung chính của hướng tiếp cận này là xem mỗi ảnh có kích thước RxC là một vector trong không gian RxC chiều. Ta sẽ xây dựng một không gian mới có chiều nhỏ hơn sao cho khi biểu diễn trong không gian đó các đặc điểm chính của một khuôn mặt không bị mất đi. Trong không gian đó, các ảnh của cùng một người sẽ được tập trung lại thành một nhóm gần nhau và cách xa các nhóm khác. Hai phương pháp thường được sử dụng là trong hướng tiếp cận này: • PCA (Principle Components Analysis) • LDA (Linear Discriminant Analysis) Ngoài ra, hiện nay đã có nhiều phương pháp kết hợp mạng neural và thuật toán PCA để làm tăng độ chính xác của nhận dạng. 2.1.2. Đồ họa 2.5D, 3D Đồ họa máy tính 3D là một dạng đồ họa máy tính dựa trên không gian 3 chiều để biểu diễn một đối tượng hình học 3D lưu trữ trong máy tính và được thể hiện cho người xem trong thời gian thực. Đồ họa máy tính 3D cũng dựa trên các thuật toán cơ bản của đồ họa 2D. 2.1.2.1 Lưu trữ các file đồ họa 3D Hiện nay có rất nhiều định dạng cho phép lưu trữ các file dạng số trong máy tính như định dạng PLY, OBJ, VRML…Tuy nhiên, trong bài báo cáo( và trong định hướng thực hiện luận văn về sau), em sẽ tập trung thao tác trên dạng dữ liệu PLY và sẽ thực hiện chuyển đổi từ các dạng dữ liệu khác về dạng PLY để tiến hành nhận dạng, so sánh… 2.1.2.2 Cấu trúc file đồ họa 3D dưới định dạng .PLY PLY là một dạng file số lưu trữ trong máy tính để biểu diễn, lưu trữ thông tin của cá đối tượng đồ họa 3D. Kỹ thuật nhận dạng các ảnh 3D (được trình bày ở phần sau) sẽ tập trung xữ lý các đối tượng 3D được lưu trữ dạng file .PLY. Cấu trúc file PLY còn được biết đến như là Polygon File Format hay là Stanford Triangle Format. File PLY được phát triển bởi Greg Turk và các cộng sự tại phòng thí nghiệm Stanford graphics vào giữa những thập niên 90. Các tập tin được tổ chức gồm phần tiêu đề(header), các yếu tố xác định thuộc tính của các Mesh như danh sách đỉnh(Vertex), danh sách các mặt (Face). Ngoài ra còn có thể kèm theo các tập hợp các yếu tố riêng. Thông thường các yếu tố riêng này là các cạnh, mẫu của các vùng bản đồ, các dải tam giác … Cấu trúc file PLY cơ bản bao gồm các thành chính: TIỂU LUẬN MÔN CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG - Header: chứa các thông tin chung của file - Vertex List: danh sách các đỉnh - Face List: Danh sách các mặt của đối tượng đồ họa - Lists of other elements: các danh sách về các thuộc tính khác. Hiện tại, có 2 dạng phiên bản của file .PLY: file dạng nhị phân (binary file) và file dạng ký tự mã ASCII. Sau đây là mô tả cho một file PLY đơn giản: ply format ascii 1.0 comment made by anonymous element vertex 8 property float32 x property float32 y property float32 z element face 6 property list uint8 int32 vertex_index end_header 0 0 0 0 0 1 0 1 1 0 1 0 1 0 0 1 0 1 1 1 1 1 1 0 4 0 1 2 3 4 7 6 5 4 4 0 4 5 1 4 1 5 6 2 4 2 6 7 3 4 3 7 4 0 2.1.2.2.1. Header [...]... một nhánh rẽ khác biệt và em chưa nghiên cứu tài liệu và các bài báo liên quan nên chưa thể đánh giá toàn diện về xu hướng này TIỂU LUẬN MÔN CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG 3 CHƯƠNG 3 – ĐỀ XUẤT HƯỚNG NGHIÊN CỨU VÀ CÁC HƯỚNG ỨNG DỤNG TRIỂN KHAI TRONG THỰC TẾ 3.1 Ứng dụng triển khai trong thực tế 3.1.1 Ứng dụng trong lĩnh vực giám sát an ninh, xác thực người dùng Trong các ứng dụng về giám sát an ninh... khái quát của phương pháp thu thập và nhận dạng gương mặt 3D được mô tả ở hình bên dưới: Hình 2-3 Quy trình nhận dạng gương mặt 3D TIỂU LUẬN MÔN CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG 2.3.2 Ứng dụng ICP cho nhận dạng gương mặt Việc nhận dạng mặt người thông qua ảnh 3D cơ bản sử dụng các chiều thông tin mà ảnh 2D không thể hiện được để nâng cao độ chính xác và khắc phục các bất lợi của việc nhận dạng trên nền... đoán, dự đoán các chiều hướng phát triển của bệnh tật thông qua sự biến đổi kích cỡ, hình dạng các đối tượng nội tạng, các cơ quan bên trong cơ thể người… 3.2 Đề xuất hướng nghiên cứu, phát triển Ngày nay, có càng nhiều sản phẩm hỗ trợ định dạng 3D như TV 3D, camera 3D [L-3] …Do đó cần đầu tư nghiên cứu nhiều hơn về các kỹ thuật tương tác và nhận dạng trên nền tảng ảnh 3D Hiện nay việc nhận dạng này dang... hình và phát hiện ra đối tượng khả nghi Tuy nhiên hạn chế của các hệ thống giám sát này phụ thuộc rất lớn vào yếu tố con người Người giám sát không thể tìm kiếm trong kho các dữ liệu khổng lồ về con người, TIỂU LUẬN MÔN CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG tội phạm để nhận biết khi có đối tượng khả nghi rơi vào vùng giám sát Với hệ thống nhận dạng gương mặt 3D, các camera hỗ trợ chụp ảnh người dưới dạng. .. xác định đối tượng thông qua màu hoặc thông qua các đường cảm biến được thiết kế sẵn để di chuyển, thực hiện các lệnh được lập trình sẵn Tuy nhiên nếu được trang bị hệ thống nhận dạng đối tượng 3D, robot có thể thực hiện các thao tác này mà không phụ thuộc màu sắc của đối tượng, không phụ thuộc các đường line cảm biến để dẫn đường… Ngoài ra, công nghệ này còn có ý nghĩa thực tiễn rất quan trong trong... sở dữ liệu ảnh 3D, tài liệu nghiên cứu… Tuy nhiên em vẫn quyết tâm theo đuổi mục tiêu vì các lý do: TIỂU LUẬN MÔN CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG - Thiết bị hỗ trợ công nghệ 3D đang được chú tâm phát triển từ các nhà sản xuất phần cứng - Việt Nam có rất ít/chưa có công trình nghiên cứu nào liên quan - Công nghệ này đang được nghiên cứu trên thế giới, nếu thành công đưa vào ứng dụng thì các nhà khoa học... hành nhận dạng Hình sau sẽ mô tả cách thức tiến hành tinh chỉnh Hình 2-4 Tinh chỉnh thô giữa mô hình thăm dò và mô hình bên trong Database 2.3.4 Tinh chỉnh lại, nhận dạng Sau khi các mô hình thăm dò đã được tinh chỉnh sơ bộ, việc tinh chinh lại và nhận dạng sẽ sử dụng thuật toán ICP đã được đề cập ở trên Thuật toán ICP sẽ lập lại các thao TIỂU LUẬN MÔN CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG tác làm giảm thiểu... 2.5D trong vùng giám sát Sau đó, các dữ liệu đầu vào sẽ được chuyển tải về hệ thống máy tính trung tâm để tìm kiếm và làm phép toán so sánh các ảnh trong Cơ sở dữ liệu (ví dụ như CSDL về tội phạm…) và sẽ gửi các thông tin đến bộ phận an ninh 3.1.2 Ứng dụng trong lĩnh vực điều khiển, robot thông minh, các hệ chuyên gia trong y tế Ngoài lĩnh vực giám sát an ninh, công nghệ nhận dạnh ảnh 3D còn có thể ứng. .. ứng dụng trong việc phát triển robot và các hệ máy học thông minh Robot được thiết kế với 2 camera (tương tự 2 mắt của con người) để thu thập ảnh 2.5D Ngoài ra, cần bố trí một hệ thống vi xữ lý mạnh để có thể xữ lý các ảnh đầu vô và nhận dạng với các đối tượng có trong cơ sở dữ liệu Sau khi xác định được đối tượng, robot có thể thao tác với các đối tượng theo các chỉ thị được lập trình Ví dụ, các cuộc... Hiện nay việc nhận dạng này dang là nghiên cứu trong các phòng phòng thí nghiệm của các trường đại học Đối với Việt Nam, hầu như chưa có công trình nghiên cứu nào đề cập đến vấn đề này Trong bài thu hoạch này, em chỉ phát thảo sơ bộ về nhận dạng 3D Ngoài ra, thời gian thực hiện tương đối ít nên chưa thể đào sâu tìm hiểu Trong tương lai việc theo đuổi định hướng này, em có thể gặp nhiều khó khăn, thậm . CÔNG NGHỆ THÔNG TIN  TIỂU LUẬN MÔN HỌC CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG Tên đề tài: TÌM HIỂU PHƯƠNG PHÁP NHẬN DẠNG CÁC ĐỐI TƯỢNG 3D VÀ ĐỀ XUẤT ĐỊNH HƯỚNG ỨNG DỤNG CÔNG NGHỆ NHẬN DẠNG 3D TRONG. CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG 3. CHƯƠNG 3 – ĐỀ XUẤT HƯỚNG NGHIÊN CỨU VÀ CÁC HƯỚNG ỨNG DỤNG TRIỂN KHAI TRONG THỰC TẾ 3.1. Ứng dụng triển khai trong thực tế 3.1.1. Ứng dụng trong lĩnh vực giám. 3D 8 2.3. Nhận dạng gương mặt 3D trên nền tảng thuật toán ICP 8 3. CHƯƠNG 3 – ĐỀ XUẤT HƯỚNG NGHIÊN CỨU VÀ CÁC HƯỚNG ỨNG DỤNG TRIỂN KHAI TRONG THỰC TẾ 12 3.1. Ứng dụng triển khai trong thực tế