Các phương pháp xác Định vị trí khuôn mặt trong hệ thống nhận dạng khuôn mặt

1L Giới thiệu Bài luận này sẽ nghiên cửu về qui trình nhận dạng khuôn mặt, kỹ thuật rút trích đặc trưng hình ảnh và một trong số các phương pháp LBP Local Binary Pattern.. Bước phát hiện

BỘ GIÁO DỤC VÀ ĐÀO TẠO

EBHUTECH Bai hoc Gong nghé ToHIGM TRUONG DAI HQC CONG NGHE TP HO CHi MINH | none ye ne

ĐỎ ÁN MÔN HỌC

CÁC PHƯƠNG PHÁP XÁC ĐỊNH VỊ TRÍ KHUÔN MAT TRONG HE THONG NHAN DANG KHUON MAT

Ngành: CÔNG NGHỆ THÔNG TIN

Môn học: TRÍ TUỆ NHÂN TẠO

TP Hồ Chí Minh, <2023>

MỤC LỤC

“SN 3 2.4 Hệ thống xác minh xác thực khuôn mặt 22-52 S1 2112111212111111112212212222212 212221212211 yg 4 2.5 Các bước trong quá trình nhận dạng khuôn mặt 5-5 525222 2222212211121111211122111221112111 1112112120, 5 2.6 Các kỹ thuật rút trích đặc trưng hình ảnh 522225252 2222221222212121111111121121112111111111111221121 1111122 xL2 6

3.1 Dinh on 00t s ồ A Ả.Ả.ẢẢẢẢ 7 3.2 Cách LBP hoạt động để đo độ tương phản cục bộ của ảnh 52 2 1212121221122 221g re § 3.3 Ứng dụng của LBP trong nhận dạng khuôn mặt, phân loại kết cầu và xử lý ảnh 22-52 2125222222 8

kh a0 a,, AHAA Ả ẢẢ ÔÒ 9

kẽ ẽ.ốốẽ 13 KN.0{ 1o 0002.0900 ẽ.x+ HẢ 14

4.3 So sánh hiệu suất phương pháp LBP với các phương pháp khác cece S2 1922122112222211271222222 20

Danh sách hình ản

Chú

LBP

Hình 2 tập hợp các điểm xung quanh Pt( 2-5 22s 12142111222111211111212111122211221112122221212222 2e 9

Hình 3 Các biến thê của LBP LBP đồng dạng 22 S222 222 22111221112111112122211222112212121222212222s6 10

Hình 4: Bảng thông kê các mẫu của uniform LBE 2-22 S22S2215211122111212112121121112212221121212x 56 10 Hình 5 Minh họa các trường hợp của LBP khi quay với góc lỗ độ c2 22H re, 11 Hinh 6: Vi du về quá trình tính toán đặc trưng -2- S222 222122112121222112221121212122221222121222 6 12 Hình 7: Kết quả sau khi rút trích đặc trưng - 22 S2+S22121212221112211112111111222112112112221211222 226 17

In 018 €0 Tin NA N.4144d ,ÔỎ 19

thích

Pattern

Linear Discriminant Convolutional Neural Network

1L Giới thiệu

Bài luận này sẽ nghiên cửu về qui trình nhận dạng khuôn mặt, kỹ thuật rút trích đặc trưng hình ảnh và một trong số các phương pháp LBP (Local Binary Pattern) Nhận dạng khuôn mặt là một bải toán quan trọng trong thị giác máy tính, có nhiều ứng đụng trong an ninh, giáo đục, giải trí và nhiều lĩnh vực khác Đề nhận dạng khuôn mặt, ta cần thực hiện ba bước chính: phát hiện khuôn mặt, rút trích đặc trưng và phân loại Trong bước rút trích đặc trưng, ta cần tìm ra những thông tin quan trong về khuôn mặt tử hình ảnh, như vị trí, hình dạng, kích thước, mau sắc, biểu cảm và những đặc điểm riêng biệt khác Có nhiều kỹ thuật rút trích đặc trưng hình ảnh được đề xuất, như phân vùng ảnh, bộ mô tả màu chủ đạo, phát hiện biên đối tượng và nhiều phương pháp khác Trong bài luận nay, ta sé tim hiểu về phương pháp LBP, là một kỹ thuật đơn giản nhưng hiệu quả

dé biéu diễn khuôn mặt dựa trên các mẫu nhị phân cục bộ của các điểm ảnh Phương pháp LBP có thê chịu

được sự thay đổi ánh sang va biểu cảm của khuôn mặt Mục tiêu của bài luận này là tìm hiểu cách á ap dụng

phương pháp LBP để nhận đạng khuôn mặt và so sánh hiệu suất của nó với các phương pháp khác Ngày nay, cùng với những tiễn bộ vượt bậc của khoa học kỹ thuật nói chung, bộ môn khoa học xử lý ảnh đã

va dang thu được những thành tựu lớn lao và chứng to vai tro không thê thiểu với những ứng dụng sâu rộng trong khoa học kỹ thuật cũng như đời sống xã hội Một bộ phận của khoa học xử lý ảnh là lĩnh vực thị giác máy tính hiện đang thu hút rất nhiều sự quan tâm của các nhà nghiên cứu xử lý ảnh với mục tiêu xây dựng nên một thế giới trong đó hệ thông thị giác kỳ điệu của con người có thể được mô phỏng bởi các hệ thống máy tính, đem lại khả năng cảm nhận bằng thị giác cho các hệ thông về môi trd|ờng xung quanh Mơ ước về một hệ thống máy tính có thê hoả nhập vào thế giới con ngdiời với đầy đủ các giác quan trong đó thị giác đóng vai trò quan trọng đang đần đần đươjc hiện thực hoá với những đóng góp nghiên cứu của các nhà khoa

học trên phạm vi toàn thé gIỚI

Nhận đạng khuôn mặt là một bài toán quan trọng và thú vị trong lĩnh vực thị giác máy tính Nó có nhiều ứng dụng trong an ninh, giáo dục, giải trí và nhiều lĩnh vực khác Để nhận dạng khuôn mặt, ta cần thực hiện ba bước chính: phát hiện khuôn mặt, rút trích đặc trưng và phân loại Trong bước phát hiện khuôn mặt, ta cần xác định vị trí và kích thước của các khuôn mặt xuất hiện trong hình ảnh hoặc video Đây là bước tiền để cho việc nhận đạng khuôn mặt, vì nêu không phát hiện được khuôn mặt, ta không thê rút trích đặc trưng hay phân loại được Có nhiều phương pháp xác định vị trí khuôn mặt được đề xuất, như sử dụng các bộ lọc Harr, HOG + Linear SVM, deep learning (MTCNN ) Mỗi phương pháp có những ưu điểm và nhược điểm riêng, tùy thuộc vào độ chính xác, tốc độ và khả năng chịu nhiễu Mục tiêu của dé tai nay là tìm hiểu các phương pháp

xác định vị trí khuôn mặt trong hệ thống nhận dạng khuôn mặt, so sánh và đánh giá hiệu quả của chúng trên các bộ đữ liệu khác nhau

Sinh trắc học là một lĩnh vực khoa học nghiên cứu về các đặc điểm sinh học của con người, như dấu vân tay, mống mắt, khuôn mặt, giọng nói, DNA và các yếu tô di truyền khác Sinh trắc học có thê được sử dụng để

xác định danh tính, tính cách, sở thích, khả năng và sức khỏe của một cá nhân Sinh trắc học cũng có thể

được áp dụng trong các lĩnh vực như an ninh, v tê, giáo dục, tâm lý học và pháp lý

Mội số ứng dụng phố biên của sinh trắc học là:

Su dung đấu vân tay, méng mắt hoặc khuôn mặt để mở khóa điện thoại, máy tính hoặc cửa ra vào

Sử dụng giọng nói hoặc khuôn mặt đề giao tiếp với các trợ lý ảo như Siri, Cortana hoặc Alexa

Su dung DNA để xác định quan hệ họ hàng, nguồn sốc dân tộc hoặc bệnh di truyền

Sử dung sinh trac học đề phát hiện và ngăn chặn các hành vi phạm pháp hoặc khủng bố

Sinh trắc học là một lĩnh vực đầy tiềm năng và thách thức, đòi hỏi SỰ kết hợp giữa các kiến thức về toán học, tin hoc, sinh hoc va xã hội Sinh trắc học cũng đặt ra các vấn đẻ về đạo đức, pháp lý và bảo mật, khí có thê ảnh hưởng đến quyền riêng tư và tự do của con người

2.2 Nhận dạng khuôn mat

Nhận dạng khuôn mặt là Trình phân tích khuôn mặt là phần mềm xác định hoặc xác nhận danh tỉnh của một

người qua khuôn mặt của họ Công nghệ này hoạt động bằng cách xác định và đo lường các đặc điểm khuôn

mặt trong hình ảnh Công nghệ nhận dạng khuôn mặt có thể xác định khuôn mặt người trong hình ảnh hoặc video, xác định xem khuôn mặt xuất hiện trong hai hình ảnh có phải là cùng một người không hoặc tìm kiếm

khuôn mặt trong một bộ sưu tập đỗ sộ các hình ảnh hiện có Các hệ thống bảo mật sinh trắc học sử đụng công nghệ nhận dang khuôn mặt để nhận dạng cá nhân độc nhất trong lúc triển khai người dùng hoặc đăng nhập, cũng như đề tăng cường cho hoạt động xác thực người dùng Các thiết bị di động và cá nhân cũng thường sử dụng công nghệ phân tích khuôn mặt để bảo mật thiết bị

Công nghệ nhận diện khuôn mặt là công nghệ cho phép xác định danh tính của một người dựa trên hình ảnh hoặc video của khuôn mặt

Công nghệ này hoạt động theo ba bước chính: phát hiện, phân tích và nhận dạng

Bước phát hiện: Hệ thông sử đụng các thuật toán thị giác máy tính dé tìm kiếm và xác định vị trí của khuôn mặt trong hình ảnh hoặc video Hệ thống có thê phát hiện được nhiều khuôn mặt cùng một lúc và xác định các điểm nút trên khuôn mặt, chẳng hạn như khoảng cách giữa hai mắt, chiều rộng của mũi, hình đạng của Xương gò má, v.V

Bước phân tích: Hệ thống sử dụng các thuật toán học máy để trích xuất các đặc trưng từ khuôn mặt đã phát hiện Các đặc trưng này là những thông tim về kích thước, hình dạng, màu sắc, vân da, biểu cảm và cảm xúc

của khuôn mặt Các đặc trưng này được mã hóa thành một vector số gọi là bản in khuôn mặt (faceprint), tương tự như dẫu vân tay

Bước nhận dạng: Hệ thông sử dụng các thuật toán so sánh đề đối chiéu ban in khuôn mặt với các bản in khuôn mặt đã lưu trữ trong co sở đữ liệu Nếu có sự trùng khớp, hệ thông sẽ trả về tên hoặc thông tin khác của người đó Nếu không có sự trùng khớp, hệ thống sẽ thông báo không nhận ra người đó

Công nghệ nhận điện khuôn mặt có nhiều ứng dụng trong các lĩnh vực khác nhau, chẳng hạn như an ninh, giáo dục, y tế, giải trí, v Y Tuy nhiên, công nghệ này cũng có thé gây ra những vẫn đề về quyền riêng tư, đạo đức và pháp lý Do đó, cần có sự quản lý và kiểm soát hợp lý để bảo vệ lợi ích của người dùng và xã hội

pIxel, các giá trị số đại diện cho các sắc độ của màu đỏ, xanh lá cây và xanh dương

Thị giác con người có lợi thé trong việc lưu trữ, phân tích bối cảnh Thị giác máy tính cần được huấn luyện

đề thực hiện những chức năng này trong thời gian rất ngắn

Một hệ thống ứng dụng thị giác máy tính được đào tạo để kiểm tra sản phâm có thể phân tích hàng nghin san phẩm hoặc quy trình cùng lúc, phát hiện lỗi hoặc những vẫn đề mà con người chưa kịp nhận thầy

Thị giác máy tính là một lĩnh vực nghiên cứu liên quan đến việc xây đựng các hệ thông máy tính có khả năng hiểu và xử lý các hình ảnh và video như con người Thị giác máy tính có thê được coi là một phân ngành của trí tuệ nhân tạo, bởi vì nó sử đụng các kỹ thuật và thuật toán của trí tuệ nhân tạo đề giải quyết các bài toán thị giác

Một trong những kỹ thuật quan trọng nhất trong thị giác máy tính là học sâu, một phương pháp học máy dựa trên việc sử dụng các mạng nơ-ron tích chập (CNN) hoặc các mạng nơ-ron tuần hoàn (RNN) dé trich xuat va học hỏi các đặc trưng từ các hình ảnh và viđeo Các mô hình học sâu đã đạt được những kết quả ân tượng

trong nhiều bài toán thị giác máy tính, ví dụ như phân loại hình ảnh, nhận điện khuôn mặt, phát hiện đối tượng, phân đoạn hinh ảnh, phục hồi hình ảnh, sinh hình ảnh, địch hình ảnh và video

Một số ví dụ nỗi bật về các mô hình học sâu trong thị giác máy tính là: Neocogmitron, một mạng nơ-ron tích chập hai lớp đầu tiên được đề xuất bởi Kunihiko Fukushima vào năm 1980 đề nhận dạng các ký tự viết tay;

AlexNet, một mạng nơ-ron tích chập tám lớp được đề xuất bởi Alex Krizhevsky và cộng sự vào năm 2012 để

phân loại hình ảnh trên tập đữ liệu ImageNet với độ chính xác cao; OCR và ICR, hai kỹ thuật nhận dạng ký

tự quang học và nhận đạng ký tự thông minh được sử dụng đề chuyên đổi các văn bản in hoặc viết tay thành

các văn bản điện tử

Thị giác máy tính có rất nhiều ứng dụng trong khoa học kỹ thuật cũng như đời sống xã hội, bao gồm: an ninh

và giám sát, y tế và chăm sóc sức khỏe, giáo dục và giải trí, giao thông và vận tải, công nghiệp và sản xuất, nông nghiệp và môi trường, nghệ thuật và thiết kế, Trong đó, một sô ứng dụng tiêu biểu là: nhận diện

khuôn mặt để mở khóa điện thoại hoặc xác minh danh tính; phát hiện ung thư da hoặc phôi từ các ảnh chụp X-quang hoặc MRI; tạo ra các trò chơi video hoặc phím ảnh sinh động và thực tê; điêu khiên xe tự lái hoặc

nhận biết biên bảo giao thông; kiêm tra chất lượng sản phẩm hoặc phát hiện lỗi trong quá trình sản xuất; phân

tích mùa vụ hoặc dự báo thời tiết từ các ảnh vệ tĩnh; tạo ra các tác phâm nghệ thuật hoặc thiết kê đỗ họa tử

các hình ảnh đầu vào

Cách hoạt động thị giác máy tính:

Cách hoạt động thị giác máy tính bao gồm ba bước chính: nhận dạng, phân tích và hiểu các hình ảnh và video

Bước nhận dạng là quá trình chuyển đổi các hình ảnh và video thành các dỡ liệu số có thê được xử lý bởi

máy tính Đề làm được điều này, thị giác máy tính sử dụng các thiết bị đâu vào nhự camera, quét hoặc cảm

biến dé thu thập các hình ảnh va video từ môi trường xung quanh

Bước phân tích là quá trình trích xuất và học hỏi các đặc trưng từ các đữ liệu sô Đề làm được điều nay, thi giác máy tính sử đụng Các kỹ thuật và thuật toán của máy học và học sâu đề phát hiện các cạnh, góc, đường cong, hình đạng, màu sắc, khuôn mặt, đối tượng, chữ viết và các yếu tô khác trong các hỉnh ảnh và video Bước hiểu là quá trình điễn giải và đưa ra các kết luận từ các đặc trưng đã được phân tích Đề làm được điều này, thị giác máy tính sử dụng các kỹ thuật và thuật toán của trí tuệ nhân tạo đề nhận biết, phân loại, phát

hiện, theo dõi, phân đoạn, phục hôi, sinh, dịch và tương tác với các hình ảnh và video

2.4 Hệ thống xác minh xác thực khuôn mặt

Hệ thống xác minh xác thực khuôn mặt là một ứng dụng của công nghệ nhận đạng khuôn mặt, có khả năng

xác định hoặc xác nhận danh tính của một người dựa trên hình ảnh hoặc video của khuôn mặt đó Hệ thông này có nhiều ứng dụng trong các lĩnh vực như an ninh, bảo mật, thanh toán, giáo dục, v tê và giải trí Cách thức hoạt động của hệ thong xác mình xác thực khuôn mặt gồm các bước sau:

Bước 1: Thu thập hỉnh ảnh hoặc video của khuôn mặt cần xác minh Hình ánh hoặc video có thể được

Bước 2: Phát hiện và cắt khuôn mặt ra khỏi nên Hệ thông sử đụng các thuật toán để tìm kiểm các đường viền và các điểm đặc trưng của khuôn mặt, như mắt, mũi, miệng và tai Sau đó, hệ thống cắt khuôn mặt ra khỏi nền và chuẩn hóa kích thước, góe nghiêng và ánh sáng

Bước 3: Trích xuất các đặc trưng của khuôn mặt Hệ thông sử dụng các thuật toán đề biến đổi khuôn mặt

thành một vector số, gọi là mã vân tay khuôn mặt (facial fngerprint) Mã vân tay khuôn mặt là một tập hợp

các số biểu diễn các đặc điểm riêng biệt của khuôn mặt, như khoảng cách giữa hai mắt, chiều rộng của mũi, hình dạng xương gò má và cằm

Bước 4: So sánh mã vân khuôn mặt với cơ sở đữ liệu Hệ thống sử dụng các thuật toán để tìm kiếm và so sánh mã vân khuôn mặt với các mã vân khuôn mặt đã được lưu trữ trong cơ sở đữ liệu Cơ sở dữ liệu có thể chứa các hỉnh ảnh hoặc video của khuôn mặt đã được xác minh trước đó, như giấy tờ tuỳ thân, hộ chiếu, bằng lái xe hoặc ảnh chụp tự sướng

Bước 5: Trả về kết quả xác minh Hệ thống sử dụng các thuật toán để tính toán độ tương đồng giữa mã vân tay khuôn mặt và cơ sở đữ liệu Nêu độ tương đông cao hơn ngưỡng cho phép, hệ thông trả về kết quả là

“Giống” Nếu độ tương đồng thấp hơn ngưỡng cho phép, hệ thống trả về kết quả là “Khác” Nếu không có

Nhận dạng khuôn mặt có thể được sử dụng trong nhiều trường hợp khác nhau, ví dụ:

An minh: Nhận dạng khuôn mặt có thể được sử dụng để kiểm soát ra vào ở các cơ sở quan trọng, như sân

bay, ngân hàng, trường học Nhận dạng khuôn mặt cũng có thé được sử dụng đề phát hiện tội phạm, nghĩ phạm hoặc người mất tích băng cách so sánh khuôn mặt với cơ sở dữ liệu của cơ quan thực thi pháp luật

Ÿ /ế: Nhận đạng khuôn mặt có thê được sử đụng để truy cập vào bệnh án Công nghệ này có thể hợp lý hóa quá trình đăng ký bệnh nhân tại cơ sở chăm sóc sức khỏe cũng như tự động phát hiện cảm giác đau và

cảm xúc của bệnh nhân

Giáo dục: Nhận đạng khuôn mặt có thể được sử đụng để kiêm tra điểm danh và chấm công của học sinh

và giáo viên, cũng nhự đề đánh giá hiệu quả học tập của học sinh băng cách phân tích sự chú ý và hứng thú

trên khuôn mặt

Giải trí: Nhận dạng khuôn mặt có thể được sử dụng để tạo ra các hiệu ứng đặc biệt, như thay đổi khuôn mặt, làm đẹp khuôn mặt, hoặc tạo ra các nhân vật hoạt hình giông người thật Nhận dạng khuôn mặt cũng có

thê được sử dụng để tạo ra các trò chơi, ứng đụng hoặc quảng cáo tương tác với người dùng qua khuôn mặt

Kiểm soát sân bay và biên giới: Nhiều sân bay sử dụng đữ liệu sinh trắc học làm hộ chiếu, cho phép hành

khách không phải xép hang dai va co thé đi qua một ga tu động dé dén cong của mình nhanh hơn Công nghệ nhận dạng khuôn mặt dưới dạng Hộ chiêu điện tử giúp giảm thời gian chờ và cải thiện tính bảo mật Nhận dạng khuôn mặt là một công nghệ tiên tiễn và hữu ích, nhưng cũng có những hạn chế và rủi ro Một số hạn chế của nhận dạng khuôn mặt là:

Độ chính xác: Nhận đạng khuôn mặt có thé bị ảnh hưởng bởi các yêu tổ như ánh sáng, góc nhìn, chat

lượng hình ảnh, biến đổi khuôn mặt (như trang điểm, râu, kính .) hoặc sự giống nhau giữa các khuôn mặt Nhận dạng khuôn mặt cũng có thé bi sai lầm hoặc thiên vị do thiểu đa đạng trong cơ sở đữ liệu hoặc do lỗi của thuật toán

Bảo mật: Nhận dạng khuôn mặt có thê bị lợi dụng cho các mục đích xấu, như giả mạo danh tính, đánh cắp thông tin cá nhân, theo đõi hoặc quấy rồi người khác Nhận dạng khuôn mặt cũng có thé bi tân công bằng cách sử đụng các phương pháp như ảnh giả, video giả, hoặc các thiết bị giả lập khuôn mặt

Quyên riêng tư: Nhận dạng khuôn mặt có thê ví phạm quyền riêng tư của người dùng, nêu không được sự

đồng ý hoặc thông báo trước khi thu thập, lưu trữ hoặc sử dụng hình ảnh khuôn mặt Nhận dạng khuôn mặt cũng có thể gây ra các vấn đề về đạo đức, nêu được sử dụng dé phan biệt chúng tộc, giới tính, tuổi tác hoặc

các thuộc tính khác của người dùng

Quy trình nhận đạng khuôn mặt là một bài toán phức tạp trong lĩnh vực thị giác máy tính, có nhiều ứng đụng trong an ninh, giáo dục, giải trí và nhiều lĩnh vực khác Quy trình nhận đạng khuôn mặt có thể được chia thành các bước sau:

Bước 1: Phát hiện khuôn mặt Hệ thống sử đụng các thuật toán dé tim kiếm các vùng trong hình ảnh hoặc

video có chứa khuôn mặt người Các thuật toán này có thê dựa trên các đặc điểm hình học, các đặc trưng

cạnh, các đặc trưng góc, các đặc trưng màu sắc hoặc các đặc trưng học sâu

Bước 2: Cắt và chuân hóa khuôn mặt Hệ thống sử dụng các thuật toán đề cắt ra các khuôn mặt từ nền và chuẩn hóa kích thước, góc nghiêng và ánh sáng của chúng Các thuật toán này có thê đựa trên các phép biển đối hình học, các phép lọc và cân bằng màu sắc hoặc các phép tăng cường ảnh

Bước 3: Trích xuất đặc trưng khuôn mặt Hệ thống sử dụng các thuật toán đề biến đổi khuôn mặt thành một vector số, gọi là mã vân tay khuôn mặt (facial fingerprint) Mã vân tay khuôn mặt là một tập hợp các số

biểu điễn các đặc điểm riêng biệt của khuôn mặt, như khoảng cách giữa hai mắt, chiều rộng của mũi, hình

dạng xương gò má và cằm Các thuật toán này có thể dựa trên các phương pháp thông kê, các phương pháp học máy hoặc các phương pháp học sâu

Bước 4: So sảnh mã vân tay khuôn mặt với cơ sở đữ liệu Hệ thống sử dụng các thuật toán để tìm kiếm và

so sánh mã vân tay khuôn mặt với các mã vân tay khuôn mặt đã được lưu trữ trong cơ sở đữ liệu Cơ sở đữ liệu có thể chứa các hình ánh hoặc viđeo của khuôn mặt đã được xác minh trước đó, như giấy tờ tuỳ thân, hộ

chiếu, bằng lái xe hoặc ảnh chụp tự sướng

Bước 5: Trả về kết quả nhận đạng Hệ thống sử dụng các thuật toán đề tính toán độ tương đồng giữa mã vân tay khuôn mặt và cơ sở đữ liệu Nếu độ tương đồng cao hơn ngưỡng cho phép, hệ thống trả về kết quả là

“Giống” Nếu độ tương đồng thấp hơn ngưỡng cho phép, hệ thống trả về kết quả là “Khác” Nếu không có

mã vân tay khuôn mặt nào trong cơ sở đữ liệu khớp với mã vân tay khuôn mặt đầu vào, hệ thông trả về kết quả là “Không xác định”

Trích xuất đặc trưng cạnh là một trong những bước quan trọng trong quá trình xử lý ảnh Mục tiêu của kỹ thuật này là phát hiện các điểm nơi độ sáng của ảnh thay đôi đột ngột, gọi là cạnh Các cạnh thường tương ứng với ranh giới của các đối tượng trong ảnh, đo đó có thể giúp nhận đạng và phân loại chúng Đề trích xuất đặc trưng cạnh, ta cần ap dung các toán tử ví phân lên anh dé tính toán đạo hàm riêng theo hai hướng x và y Các toán tử vi phân phô biến như Sobel, Prewitt, Canny hoặc LoG (Laplaee of Gaussian) sẽ cho ra một ảnh mới, gọi là ảnh cạnh, nơi các điểm có giá trị cao là các điểm thuộc cạnh Sau đó, ta có thê sử đụng các phương pháp khác để liên kết các điểm cạnh lại thành các đường thẳng hoặc cong, gọi là biên Các biên này

sẽ mô tả hình đạng và kích thước của các đối tượng trong ảnh

Trích xuất đặc trưng góc là một quá trình dé phat hiện các điểm trong hình ảnh có độ biến thiên lớn về độ sáng khi xoay hoặc thay đổi quan sát Các điểm này thường là các góc của các đối tượng trong hình ảnh, và chúng có thê được sử dụng đề nhận dạng, phân loại, khớp nối và theo dõi các đối tượng Có nhiều toán tử

khác nhau đẻ trích xuất đặc trưng góc, nhự Harris, Shi-Tomasi hoặc FAST Mỗi toán tử có những ưu và nhược điểm riêng, và chúng có thể được lựa chọn tùy theo mục đích và yêu cầu của bài toán Trong bài viết

nay, chúng tôi sẽ giới thiệu về các toán tử trích xuất đặc trưng góc phô biến và cách áp dụng chúng trong thực tê

SIFT (Scale-Invariant Feature Transform) là một phương pháp trích xuất đặc trưng tử hình ảnh dựa trên việc tìm kiếm các điểm quan trọng bằng cách áp đụng các bộ loc Gaussian ở nhiều cập độ khác nhau Các điểm quan trọng này có khả năng duy tri tinh chất của chúng khi hình ảnh bị biển đổi theo phép xoay, phóng

to, thu nhỏ hay chiếu sáng Các đặc trưng SIFT có thể được dùng để nhận dạng và so sánh các hình ảnh khác nhau một cách hiệu quả và chính xác SIFT là một kỹ thuật quan trọng trong lĩnh vực thị giác máy tính và đã được ứng dụng rộng rãi trong nhiều bài toán như nhận đạng vật thé, ghép ảnh, tạo mô hình 3D và thực tế ảo SURF (Speeded Up Robust Features) là một phương pháp trích xuất đặc trưng từ các hình ảnh dựa trên ý tưởng của SIFT (Scale-Invariant Feature Transform) Tuy nhiên, SURF có thể hoạt động nhanh hơn và hiệu

quả hơn so với SIFT bằng cách sử dụng các bộ lọc Hessian thay vì các bộ lọc Gaussian để xác định các điểm

quan trọng trong hình ảnh Các điểm quan trọng này là những điểm có tính bất biến với quy mô, xoay và chiếu Các đặc trưng SURF cũng có thé được sử đụng đề nhận đạng và so khớp các hình ảnh khác nhau bằng cach tinh toán các vector đặc trưng cho mỗi điểm quan trọng và so sánh chúng với các vector đặc trưng của hình ảnh khác

Trích xuất đặc trưng ORB (Oriemed FAST and Rotated BRIEF): là kỹ thuật kết hợp giữa FAST và BRIEE (Binary Robust Independent Elementary Features) FAST 1a mét toán tử đề tìm ra các điểm quan trọng nhanh chóng, còn BRIEE là một toán tử dé mã hóa các điểm quan trọng thành các chuỗi nhị phân ORB cai tiễn FAST bang cach thém théng tin về góc xoay của các điểm quan trong và cải tiễn BRIEF bang cach xoay lại cac chudi nhi phan theo góc xoay Các đặc trưng ORB có thê được sử dụng để nhận đạng và so khớp các hình ảnh với chỉ phí tính toán thấp

Trích xuất đặc trưng màu sắc là một bước quan trọng trong xử lý hình ảnh số Mục tiêu của kỹ thuật này

là tạo ra một biểu điễn ngắn gọn và có ý nghĩa của màu sắc của hỉnh ảnh, bỏ qua những chỉ tiết không cần thiết Có nhiều cách đề trích xuất đặc trưng màu sắc, tùy thuộc vào không gian màu sắc được chọn và phương pháp tính toán Một số không gian màu sắc phô bién la RGB, HSV, LAB, YCbCr, v.v Mỗi không gian màu sắc có những ưu và nhược điểm riêng, và có thể phủ hợp với những ứng dụng khác nhau Các đặc trưng màu

sắc có thể được sử dụng cho nhiều mục đích, như phân loại hình ảnh theo chủ đề, phân đoạn hình ảnh theo

vùng màu sắc, tìm kiếm hình ảnh tương đồng hoặc nén hình ảnh để giảm dung lượng

Trích xuất đặc trưng kết cầu là một trong những bước quan trọng trong quá trình xử lý hình ảnh Mục tiêu của trích xuất đặc trưng kết cầu là tìm ra những đặc điểm nội bật của kết câu, ví dụ như sự lặp lại, sự đồng nhất, sự đối xứng, v.v và biểu điễn chúng bằng các giá trị số hoặc các vector Các đặc trưng kết cầu có thé giúp cho việc phân biệt các vùng khác nhau trong hình ảnh, hoặc giữa các hình ảnh khác loại Các đặc trưng kết cầu cũng có thể được sử đụng đề giải quyết các bài toán như phân loại hình ảnh, phân đoạn hình ảnh, tìm

kiểm hình ảnh và nén hình ảnh

Đề trích xuất đặc trưng kết cau, có nhiều phương pháp khác nhau được đề xuất trong lĩnh vực xử lý hình ảnh Một số phương pháp phô biến là:

Phương pháp dựa trên ma trận xám cấp độ (GLCM}: là một phương pháp thông kê, dựa trên việc tính toán

tân sô xuât hiện của các cặp điểm ảnh có giá trị xám nhật định trong một vùng lân cận GLCM có thể biêu diễn các đặc tính kết cầu như độ tương phản, độ ngược sáng, độ thông nhật, v.v

Phương pháp đựa trên biển đôi Fourier: là một phương pháp dựa trên tan số, dựa trên việc chuyển đối hình ảnh từ miễn không gian sang miền tần số bằng công thức toán học Biển đổi Fourier có thé biểu diễn các thành phần kết cầu của hình ảnh bằng các thành phần giao thoa và quang sai

Phương pháp đựa trên biển đối wavelet: là một phương pháp dựa trên tần số và không gian, dựa trên việc chia nhỏ hình ảnh thành các vùng con có kích thước khác nhau và áp dụng biển đôi wavelet cho từng vùng Biển déi wavelet co thé biéu điễn các chỉ tiết kết cầu của hình ảnh bằng các hệ số wavelet ở các mức tỉ lệ và hướng khác nhau

Kỹ thuật dựa trên kiến thức là những kỹ thuật sử dụng các công thức toán học hoặc các quy tắc logie để

biên đối một hình ảnh thành một vector đặc trưng Ví dụ như:

Sử dựng phép biển đổi Fourier dé chuyển một hình ảnh từ miền không gian sang miền tần số, và lẫy các giá trị biên độ hoặc pha của các thành phần tần số làm đặc trưng

Sử dụng phép biến doi wavelet dé phân tích một hình ảnh thành các lớp tỉ lệ khác nhau, và lây các giá trị hệ

số wavelet làm đặc trưng

Sử dụng phân tích thành phân chính (PCA) đề giảm chiều của một hình ảnh bằng cách tìm các vector riêng của ma trận hiệp phương sai của hình ảnh, và lây các giá trị thành phan chính làm đặc trưng

Kỹ thuật dựa trên học máy là những kỹ thuật sử đụng các mô hình học máy đề tự động học cách rút trích

đặc trưng từ một tập đữ liệu hình ảnh có nhãn Ví dụ như:

Sử dụng mạng nơ-ron tích chập (CNN) đề xây dựng các lớp tích chập và gộp, có thể phát hiện được các đặc trưng cấp thấp, cấp cao và cao nhất của một hình ảnh, và lây vector đầu ra của lớp kết nối đầy đủ cuối cùng

LBP là viết tắt của Local Binary Pattern, một kỹ thuật trích xuất đặc trưng ảnh đựa trên các mẫu nhị phân cục

bộ LBP có thể được sử dụng đề nhận đạng khuôn mặt, phân loại vật liệu, phát hiện đối tượng và nhiều ứng dụng khác LBP hoạt động bằng cách so sánh giá trị của một điểm ảnh với các điểm ảnh xung quanh nó trong một vùng lân cận nhất định, và gán cho nó một mã nhị phân tương ứng Ví dụ, nếu giá trị của điểm ảnh trung

tâm là 100, và các điểm ảnh xung quanh nó là 90, 95, 105, 110, 115, 120, 125 va 130 theo chiều kim đồng hồ,

thi ma LBP của điểm ảnh trung tâm là 00111111 Bằng cách lặp lại quá trình nay cho tat ca các điểm ảnh

trong ảnh, ta có thê thu được một biểu diễn LBP của ảnh Biêu diễn LBP có thé được sử dụng đề tính toán các histogram hoac cac ma tran đông xuất hiện để đo lường sự phân bố của các mẫu nhị phân trong ảnh Các histogram hoặc các ma trận đồng xuất hiện này có thê được sử dụng làm đặc trưng cho các thuật toán học

máy để phân loại hoặc so sánh các ảnh khác nhau

LBP được OJala trình bày vào năm 1996 như là một cách đo độ tương phản cục bộ của ảnh Phiên bản đầu tiên của LBP được dùng với 8 điểm ảnh xung quanh và sử dụng giá trị của điểm ảnh ỏ Ở trung tâm làm ngưỡng Giá trị LBP được xác định bằng cách nhân các giá trị ngưỡng với trọng số ứng với mỗi điểm ảnh sau đó cộng tông lại Hình dưới minh họa cách tính độ tương phản trực giao (C) là hiệu cấp độ xám trung bình của các điểm ảnh lớn hơn hoặc bằng ngưỡng với các điểm ảnh thấp hơn ngưỡng

Phương pháp LBP là một kỹ thuật rút trích đặc trưng hình ảnh đơn giản và hiệu quả, được sử dụng trong nhiều bài toán nhận dạng khuôn mặt, phân loại kết câu và xử lý ảnh Phương pháp LBP gắn nhãn cho mỗi điểm ảnh của ảnh bằng cách so sánh giá trị cấp độ xám của nó với các điểm ảnh lân cận trên một đường tròn

có bán kính R và số điểm P Kết quả là một số nhị phân biểu điễn độ tương phản cục bộ của ảnh Phương pháp LBP có ưu điểm là bất biển với sự thay đôi ánh sáng đơn điệu, có chí phí tính toán thấp và đễ đàng mở rộng cho các không gian nhiều chiều Phương pháp LBP cũng có nhiều biến thé dé cải thiện khả năng biểu

diễn và chống nhiễu, như LBP xoay, LBP đồng nhất, LBP hướng và LBP hình

3.2 Cách LBP hoạt động để đo độ tương phản cục bộ của ảnh

LBP (Local Binary Pattern) là một kỹ thuật trích xuất đặc trưng ảnh dựa trên độ tương phản cục bộ của các

Chọn một vùng lân cận xung quanh một điểm ảnh trung tâm, ví dụ như 3x3 hoặc 5x5

So sánh giá trị của điểm ảnh trung tâm với giá trị của các điểm ảnh lân cận Nếu giá trị của điểm ảnh lân cận lớn hơn hoặc bằng giá trị của điểm ảnh trung tâm, gán cho nó một bit 1, ngược lại gán cho nó một bít 0

Tạo một chuỗi bít từ các bit được gán cho các điểm ảnh lân cận theo thứ tự xác định, ví dụ như theo chiều kim dong ho hoặc ngược chiêu kim đồng hô

Chuyên đôi chuỗi bit thành một số nguyên, gọi là LBP code, bằng cách sử đụng hệ cơ số 2 LBP code biểu diễn độ tương phản cục bộ của điểm ảnh trung tâm

Lặp lại các bước trên cho tất cả các điểm ảnh trong ảnh va tao ra mét ma tran LBP code

Tính toán histogram của các LBP code để có được vector đặc trưng LBP của ảnh

LBP có thể được sử dụng để nhận dạng khuôn mặt, phân loại vật liệu, phát hiện đối tượng và nhiều ứng dụng

khác liên quan đên độ tương phản cục bộ của ảnh

3.3 Ứng dụng của LBP trong nhận dạng khuôn mặt, phân loại kết cấu và xử lý ảnh

LBP (Local Binary Pattern) là một kỹ thuật trích xuất đặc trưng ảnh dựa trên sự so sánh giá trị cường độ của các điểm ảnh lân cận LBP có nhiều ú ứng dụng trong nhận dạng khuôn mặt, phân loại kết câu và xử lý ảnh Trong nhận dạng khuôn mặt, LBP có thê biêu điễn các đặc trưng hình học và sắc thái của khuôn mặt một cách hiệu quả và bất biến với ánh sáng Trong phân loại kết cau, LBP cé thé phân biệt các loại kết câu khác nhau đựa trên các mẫu nhị phân cục bộ của ảnh Trong xử lý ảnh, LBP có thê được sử dụng đề nâng cao chất lượng ảnh, giảm nhiễu, phân đoạn ảnh và phát hiện cạnh

Kế từ khi được đưa ra, theo định nghĩa là bất biển với những thay đổi đơn điệu trong ảnh đen trắng Đề cải tiễn phương pháp, bỗ sung thêm phương pháp tương phản trực giao địa phương Hình dưới minh họa cách tính độ tương phản trực giao (C) là ký hiệu cấp độ xám trung bình của các điểm ảnh lớn hơn hoặc bằng ngưỡng với các điểm ảnh thấp hơn ngưỡng Phân phối hai chiều của mã LBP và độ tương phản cục bộ được lây làm đặc trưng gọi là LBP/C

Vidu Lay ngưỡng Trong số

Paid R=25 P=id, R=4.0

‘ttt DN

Hinh 2 tap hop cac diém xung quanh Ptt

Không mất thông tin, có thê trừ øp đi một lượng là ge

Tt ( (8 — &e),-.-, (Berl — ge)

Mặc đù tính bất biển ngược với độ thay đôi tỷ lệ xám của điểm ảnh, SỰ khác biệt ảnh hưởng bởi tỷ lệ Dé thu được đặc điểm bất biến với bắt kỳ một sự thay đối nào của anh den trang (gray scale) chi quan tâm đến đầu

của độ lệch:

Tt (S (go — €:), ,8 (gạ~ Í — ge)

Poe Ros

Voislaham (1x >o loifx<0 dau:

Trọng số 2p được đùng cho các hàm dấu, s (ø; — ø.) để chuyển sự khác biệt giữa các điểm ảnh bên cạnh về

một giá trị duy nhật

Với Ppixel thì có 2; giá trị LBPP,R trong khoảng [0,2,1 ] nhưng để đơn giản ta có thể chọn một số giá trị

trong 2, giá trị ký hiệu là ›:; „„

Thuật toán LBP: Thông tin LBP của pixel tại trung tâm của mỗi khối ảnh sẽ được tính đựa trên thông tin của

các pixel lận cận Có thê tóm tắt các bước tiên hành như sau:

Bước 1: Xác định bán kính làm việc

Bước 2: Tính giá trị LBP cho pixel ở trung tâm (x., y.) khối ảnh dựa trên thông tin của các pixel lân cận: Trong đó, (gạ) là gia tri grayscale cua cac pixel lân can, (g.) la gia tri grayscale của các trung tâm và (s) là hàm nhị phân được xác định như sau: s (z) = l nêu giá trị z >0