bài tập lớn môn hệ cơ sở dữ liệu đa phương tiện đề tài xây dựng hệ csdl lưu trữ và tìm kiếm ảnh món ăn

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG KHOA CƠNG NGHỆ THƠNG TIN BÀI TẬP LỚN Mơn: Hệ sở liệu đa phương tiện Đề tài: Xây dựng hệ CSDL lưu trữ tìm kiếm ảnh ăn Giảng viên : Nhóm btl : Thành viên : Nguyễn Đình Hóa 01 Phạm Minh Quốc - B17DCCN519 Bùi Bích Phương - B17DCCN493 Lê Thị Ngân - B17DCCN457 Hà Nội 2021 I Giới thiệu chung Đã bạn muốn tìm kiếm vật bạn khơng biết từ khóa liên quan đến vật để tìm kiếm thơng tin liên quan Hiện với phát triển công nghệ kỹ thuật cho phép bạn tìm kiếm thơng tin ảnh Ví dụ rõ ràng cho việc áp dụng kĩ thuật tìm kiếm hình ảnh trang thương mại điện tử Trên Taobao (nền tảng thương mại điện tử lớn Trung Quốc), bạn có mẫu áo muốn mua mà khơng biết shop bán mẫu đó, đơn giản cần nhập hình ảnh lên, hệ thống trả kết mẫu sản phẩm có hình ảnh tương tự hình ảnh áo bạn muốn tìm kiếm Lợi ích đem lại cho người dùng tiện lợi, bạn không cần phải ngồi nghĩ từ khóa tìm kiếm, cách giúp bạn tiết kiệm thời gian mà kết trả ln xác Hiện với bùng nổ thông tin mạng, công nghệ 4.0 lượng ảnh lưu trữ web gia tăng cách nhanh chóng Các cơng cụ tìm kiếm ảnh thường dựa vào đặc trưng ảnh như: nội dung ảnh, văn kèm, Một số cơng cụ tìm kiếm ảnh nay: Google image search, MSN, Google Image Swirl, Bing, Tiltomo Họ xây dựng kho liệu ảnh khổng lồ, áp dụng thuật toán liên quan đến học máy, học sâu… để xử lý tìm kiếm hình ảnh AI Các kỹ thuật xử lý tìm kiếm ảnh hành Các kỹ thuật xử lý ảnh ❖ Phát biên ● Phát biên trình sử dụng phương pháp xử lý nhằm phát / định vị điểm ảnh nằm biên vùng ảnh/ đối tượng ● Các kỹ thuật phát biên: ○ Kỹ thuật phát biên Gradient ○ Phương pháp Marr-Hildreth ○ Phương pháp Canny ○ Kỹ thuật phát biên dựa vào trung bình cục ○ Phát biên theo quy hoạch động ❖ Phân vùng ảnh số ● Phân vùng ảnh số trình chia ảnh thành vùng cấu thành (tương đối đồng nhất) thành đối tượng thỏa mãn điều kiện cho trước ● Các kỹ thuật phân vùng ảnh số ○ Phân vùng ảnh phát biên ○ Phân vùng ảnh theo ngưỡng biên độ: sử dụng thuật toán Tam giác, Otsu, đối xứng ○ Phân vùng ảnh theo ngưỡng biên độ ❖ Nén ảnh ● Nén liệu ảnh tìm kiếm phương pháp nhằm biểu diễn thông tin ảnh với lượng liệu nhỏ ● Một số phương pháp nén ảnh ○ Mã hóa Huffman ○ Mã hóa từ điển LZW ❖ Tăng cường chất lượng ảnh ● Tăng cường chất lượng ảnh số trình thao tác ảnh số cho ảnh kết phù hợp với mục đích/ yêu cầu cụ thể so với ảnh gốc ● ● Mục tiêu: ○ Làm bật chi tiết, khía cạnh cần quan tâm ảnh ○ Loại bỏ nhiễu ○ Làm cho ảnh trở nên hấp dẫn mặt trực giác Các kỹ thuật tăng cường ảnh: ○ Tăng cường ảnh miền không gian ○ Tăng cường ảnh miền tần số ❖ Trích rút đặc trưng ● Trích rút đặc trưng hình dạng phương pháp HOG ( Histogram of Oriented Gradients) ○ HOG viết tắt Histogram of Oriented Gradient - loại “feature descriptor” Mục đích “feature descriptor” trừu tượng hóa đối tượng cách trích xuất đặc trưng đối tượng bỏ thơng tin khơng hữu ích Vì vậy, HOG sử dụng chủ yếu để mơ tả hình dạng xuất đối tượng ảnh ○ Bản chất phương pháp HOG sử dụng thông tin phân bố cường độ gradient (intensity gradient) hướng biên (edge directions) để mô tả đối tượng cục ảnh Các toán tử HOG cài đặt cách chia nhỏ ảnh thành vùng còn, gọi “tế bào” (cells) với cell, ta tính tốn histogram hướng gradients cho điểm nằm cell Ghép histogram lại với ta có biểu diễn cho ảnh ban đầu Để tăng cường hiệu nhận dạng, histogram cục chuẩn hóa độ tương phản cách tính ngưỡng cường độ vùng lớn cell, gọi khối (blocks) sử dụng giá trị ngưỡng để chuẩn hóa tất cell khối Kết sau bước chuẩn hóa vector đặc trưng có tính bất biến cao thay đổi điều kiện ánh sáng ○ Các bước trích chọn đặc trưng HOG: Tiền xử lý liệu, đưa hết ảnh kích thước Tính Gradient Tính vector đặc trưng cho cell Chuẩn hóa khối (blocks) Các kỹ thuật tìm kiếm ảnh ❖ Image meta search: Sử dụng siêu liệu ảnh để tìm kiếm ❖ Search by example: Sử dụng thơng tin trích xuất từ ảnh để tìm kiếm ❖ Hybrid search: kết hợp phương pháp III Xác định toán Sơ đồ khối hệ thống quy trình thực a Sơ đồ khối b Quy trình thực ● Tạo tập liệu ảnh: gồm tối thiểu 100 ảnh ăn khau ○ Với ăn giống : sưu tầm ảnh gần giống nhau, có giống nhau, hình dạng giống nhau, màu sắc tương đồng, khơng lẫn vật thể khác ○ Với ăn khác : Hình dạng khác nhau, màu sắc khác ● Phân tích đặc điểm ảnh để rút thơng số, thuộc tính quan trọng ● Tìm hiểu thuật tốn để trích rút đặc trưng (dựa vào khác biệt điểm ảnh) ○ Trong q trình tìm hiểu thuật tốn, thử chạy liệu với thuật toán Các thuộc tính sử dụng để nhận dạng tìm kiếm ăn hệ thống, kỹ thuật trích rút đặc trưng a Đặc trưng liệu ảnh ăn ❖ Các ăn khác có hình dạng màu sắc khác cấu tạo đặc trưng ăn khác → nên sử dụng thuộc tính hình dạng màu sắc ăn để nhận dạng VD: Hình dạng: cơm (hạt dài, thon, nhỏ), mì (dạng sợi,dài) Màu sắc : cơm (màu trắng), mì (Màu trắng, nâu đậm) b Kỹ thuật trích rút đặc trưng ❖ Lược đồ tần suất RGB: ➢ Đối với ảnh 256 màu, lược đồ màu ảnh tương đương với lược đồ màu ảnh xám Đối với ảnh 24 bit màu, lược đồ miêu tả khả kết nối cường độ ba kênh màu R, G, B Lược đồ màu định nghĩa sau: Trong N số lượng điểm có ảnh ➢ Lược đồ màu tính cách rời rạc hóa màu ảnh, sau đếm số điểm ảnh màu Khi mà số lượng màu có hạng, để thuận tiện hơn, người ta thường chuyển đổi ba kênh màu thành biến giá trị Một cách khác để tính lược đồ màu ảnh RGB ta phân làm lược đồ riêng biệt hR[], hG[] , hB[] Khi đó, lược đồ tính cách đếm kênh màu tương ứng điểm ảnh ❖ HOG (Histogram of Oriented Gradients) ➢ HOG loại “feature descriptor” để trừu tượng hóa đối tượng cách trích xuất đặc trưng đối tượng bỏ thơng tin khơng hữu ích → sử dụng HOG để trích xuất hình dạng xuất đối tượng ảnh ➢ HOG tập trung vào cấu trúc hình dạng ảnh HOG cung cấp cách trích xuất biên tốt Điều thực cách trích xuất gradient hướng cạnh Hình ảnh chia thành vùng nhỏ vùng độ dốc hướng tính tốn ➢ Sau đó, HOG tạo biểu đồ cho vùng riêng biệt Biểu đồ tạo cách sử dụng độ dốc hướng giá trị pixel ➢ Các bước trích chọn đặc trưng HOG: Bước 1: Tiền xử lý ○ + Với ảnh đầu vào cần nhận dạng, ta quay lần, lần góc 90⁰, thu ảnh đầu vào + Sử dụng phân ngưỡng OTSU để phân ngưỡng, tách vật thể với + Tách vật ra, đưa tất ảnh kích thước (224x224) + Nếu kích cỡ khác độ dài ảnh khác (không so sánh được) nên phải xử lý đưa tất ảnh kích cỡ + Tạo viền ảnh pixel bên (cạnh ảnh chưa hết thông tin nên phải đệm bên để trượt vùng bên ảnh khơng bị thơng tin) Bước 2: Tính Gradients (biên) ○ + Dùng mặt nạ: Dx = [-1 1] đặt lên điểm ảnh theo chiều ngang → Nhân nhập ma trận Dx với ma trận điểm ảnh tương ứng → Tính Gx + T Dùng mặt nạ: Dy = [-1 1] đặt lên điểm ảnh theo chiều dọc → Nhân nhập ma trận Dy với ma trận điểm ảnh tương ứng → Tính Gy 2 + Tính biên độ: G = Gx + Gy + Tính góc biên: Φ = actan(Gy/Gx) + Với kênh màu RGB, ta tính gồm giá trị G Φ Chúng ta lấy có giá trị G lớn trog để làm biên độ góc biên cho điểm ảnh Bước 3: Tính vectơ đặc trưng cho (cells) ○ + Chia hình ảnh thành block (16x16), block lại chia thành cell (8x8) Để xác định số block, sử dụng cơng thức: + + Các block xếp chồng lên nhau: Sau xác định số block kích thước block, cell, để tính tốn vector đặc trưng cho cell, cần: → Chia không gian hướng thành bin (số chiều vecto đặc trưng 0 ô Hướng Gradient chạy từ đến 180 , trung bình 20 bin → Rời rạc hóa góc hướng nghiêng điểm ảnh vào bin + Giá trị bin định lượng với tổng cường độ biến thiên pixcels thuộc bin + Tại cell, xây dựng vector đặc trưng cách vote pixel vào bin Trọng số vote pixel phụ thuộc vào hướng cường độ (được tính bước 2) pixel + Sau tính tốn đặc trưng cell có kích thước 1x9, ta nối vector đặc trưng cell block để thu vector đặc trưng Block ○ Bước 4: Chuẩn hóa vector block + Một vector đặc trưng block có kích thước 1x36 dạng V = [a1, a2, a3, ….a36] Ta tính tổng bình phương: = √ 12 + + ○ 22 + + 36 Chia tất phần tử vector cho k ta vector chuẩn hóa có dạng: V’ = [ 1/ , 2/ , , 36/ ] Bước 5: Đưa vector đặc trưng HOG ảnh cách nối vector đặc trưng block lại với Cách lưu trữ quản lý thuộc tính ảnh ăn cách nhận dạng ● Cách lưu trữ quản lý thuộc tính ảnh ăn: bảng gồm: id, tên ảnh, đường dẫn, đặc trưng trích xuất ● Cách nhận dạng: sử dụng khoảng cách Cosine để tính độ tương đồng thuộc tính Cơng thức: ... tin mạng, công nghệ 4.0 lượng ảnh lưu trữ web gia tăng cách nhanh chóng Các cơng cụ tìm kiếm ảnh thường dựa vào đặc trưng ảnh như: nội dung ảnh, văn kèm, Một số cơng cụ tìm kiếm ảnh nay: Google... Tiltomo Họ xây dựng kho liệu ảnh khổng lồ, áp dụng thuật toán liên quan đến học máy, học sâu… để xử lý tìm kiếm hình ảnh AI Các kỹ thuật xử lý tìm kiếm ảnh hành Các kỹ thuật xử lý ảnh ❖ Phát... vùng ảnh số ○ Phân vùng ảnh phát biên ○ Phân vùng ảnh theo ngưỡng biên độ: sử dụng thuật toán Tam giác, Otsu, đối xứng ○ Phân vùng ảnh theo ngưỡng biên độ ❖ Nén ảnh ● Nén liệu ảnh tìm kiếm phương