Báo cáo bài tập lớn truyền thông đa phương tiện

Báo cáo tập lớn Truyền thông đa phương tiện Giảng viên hướng dẫn : Vũ Hữu Tiến Đề tài: Thuật tốn phát khn mặt Danh sách sinh viên:  Đào Duy Khánh - B18DCDT108  Phạm  Trần Phú Phúc - B18DCDT187 Long Thành - B18DCDT236 Lý chọn đề tài: Bài tốn nhận dạng khn mặt đóng vai trò quan trọng nhiều lĩnh vực đời sống ngày người hệ thống giám sát, quản lý vào ra, tìm kiếm thơng tin người tiếng, đặc biệt an ninh, bảo mật 1 Chức app  Vẽ đồ thị điểm ảnh  Phát khuôn mặt  Lưu ảnh  Nhận diện khuôn mặt (đang cập nhật bổ sung) Sơ đồ thuật toán Nguyên lý hoạt động  Bộ phân loại Haar Cascade OpenCV hoạt động phương pháp tiếp cận cửa sổ trượt Trong phương pháp này, cửa sổ (kích thước mặc định 20 x 20 pixel) trượt hình ảnh (từng hàng) để tìm đặc điểm khn mặt Sau lần lặp, hình ảnh thu nhỏ (thay đổi kích thước) theo yếu tố định (được xác định tham số ' scaleFactor ') Kết đầu lần lặp lưu trữ thao tác trượt lặp lại hình ảnh nhỏ hơn, thay đổi kích thước Q trình thu nhỏ mở rộng cửa sổ tiếp tục hình ảnh nhỏ so với cửa sổ trượt Giá trị scaleFactor nhỏ độ xác lớn chi phí tính tốn cao Dị biên (Phương pháp canny)  Giảm nhiễu: Làm mờ ảnh, giảm nhiễu dùng lọc Gaussian kích thước 5x5 Kích thước 5x5 thường hoạt động tốt cho giải thuật Canny Dĩ nhiên bạn thay đổi kích thước lọc làm mờ cho phù hợp  Tính Gradient hướng gradient: ta dùng lọc Sobel X Sobel Y (3x3) để tính ảnh đạo hàm Gx Gy Sau đó, ta tiếp tục tính ảnh Gradient góc Gradient theo công thức Ảnh đạo hàm Gx Gy ma trận (ví dụ: 640x640), kết tính ảnh đạo hàm Edge Gradient ma trận (640x640), pixel ma trận thể độ lớn biến đổi mức sáng vị trí tương ứng ảnh gốc Dò biên (Phương pháp canny)  Tương tự, ma trận Angle có kích thước (640x640), pixel Angle thể góc, hay nói cách khác hướng cạnh Ví dụ dễ hiểu, góc gradient độ, cạnh ta ảnh đường thẳng đứng (tức tạo góc 90 độ so với trục hồnh) (vng góc hướng gradient) Khi tính tốn, giá trị hướng gradient nằm đoạn [-180, 180] độ, ta không giữ nguyên góc mà gom giá trị bin đại diện cho hướng: hướng ngang (0 độ), hướng chéo bên phải (45 độ), hướng dọc (90 độ) hướng chéo trái (135 độ) Dò biên (Phương pháp canny)  Non-maximum Suppression (viết tắt NMS): loại bỏ pixel vị trí khơng phải cực đại tồn cục Ở bước này, ta dùng filter 3x3 chạy qua pixel ảnh gradient Trong trình lọc, ta xem xét xem độ lớn gradient pixel trung tâm có phải cực đại (lớn cục - local maximum) so với gradient pixel xung quanh Nếu cực đại, ta ghi nhận giữ pixel lại Cịn pixel khơng phải cực đại lân cận, ta set độ lớn gradient zero Ta so sánh pixel trung tâm với pixel lân cận theo hướng gradient Dò biên (Phương pháp canny)  Lọc ngưỡng: ta xét pixel dương mặt nạ nhị phân kết bước trước Nếu giá trị gradient vượt ngưỡng max_val thì pixel đó chắc chắn cạnh Các pixel có độ lớn gradient nhỏ ngưỡng min_val sẽ bị loại bỏ Còn pixel nằm khoảng ngưỡng xem xét có nằm liền kề với pixel cho "chắc chắn cạnh" hay khơng Nếu liền kề ta giữ, cịn khơng liền kề pixel cạnh ta loại Sau bước ta áp dụng thêm bước hậu xử lý loại bỏ nhiễu (tức pixel cạnh rời rạc hay cạnh ngắn) muốn.  Làm mịn ảnh (Bộ lọc Bilateral)  cv.bilateralFilter() : Là lọc hiệu cao công việc loại bỏ nhiễu mà giữ lại đường viền (cạnh) ảnh  Bộ lọc Gauss định giá trị điểm ảnh cách lấy trung bình thap hàm Gauss giá trị điểm ảnh xung quanh điểm Hàm trọng số Gauss phụ thuộc vào khoảng cách không gian so với trung tâm điểm ảnh, không quan tâm đến tương quan mức xám điểm trung tâm với điểm xung quanh Nó khơng quan tâm điểm ảnh trung tâm có nằm đường biên ảnh khơng, làm nhịe đường biên ảnh Làm mịn ảnh (Bộ lọc Bilateral)  Bộ lọc Bilater sử dụng lọc Gauss với khoảng cách đến điểm trung tâm, đảm bảo có điểm gần vào giá trị điểm trung tâm Tuy sử dụng thêm hàm Gauss cho mức xám , đảm bảo điểm ảnh có mức xám tương đồng với điểm ảnh trung tâm tham gia vào trình làm mịn Vì lọc mức xám rõ ràng Hơn nữa, thay hoạt động kênh màu cách riêng lẻ lọc trung bình hay lọc Gauss, lọc Bilater thi hành việc đo đạc màu sắc có chủ đích khơng gian màu CIE – Lab, làm mượt màu bảo toàn biên theo hướng phù hợp với nhận thức người Kết chạy demo ...  Nhận diện khuôn mặt (đang cập nhật bổ sung) Sơ đồ thuật toán Nguyên lý hoạt động  Bộ phân loại Haar Cascade OpenCV hoạt động phương pháp tiếp cận cửa sổ trượt Trong phương pháp này, cửa sổ... cửa sổ tiếp tục hình ảnh nhỏ so với cửa sổ trượt Giá trị scaleFactor nhỏ độ xác lớn chi phí tính tốn cao Dị biên (Phương pháp canny)  Giảm nhiễu: Làm mờ ảnh, giảm nhiễu dùng lọc Gaussian kích... tính ảnh đạo hàm Edge Gradient ma trận (640x640), pixel ma trận thể độ lớn biến đổi mức sáng vị trí tương ứng ảnh gốc Dị biên (Phương pháp canny)  Tương tự, ma trận Angle có kích thước (640x640),