Trong chương này, luận văn đã trình bày một số phương pháp tìm kiếm ảnh dựa trên biểu đồ màu thông thường và biểu đồ màu mờ. Trong đó, biểu đồ màu mờ là phương pháp mới đã được nghiên cứu và phát triển trên thế giới cho thấy sự hiệu quả trong việc tìm kiếm ảnh dựa theo nội dung. Các thuật toán phân cụm Fuzzy C - mean, hệ thống liên kết mờ trong không gian màu
L*a*b* được ứng dụng để tính toán và tạo ra biểu đồ màu mờ. Độ đo khoảng cách Euclide và Quaratic được sử dụng để đo khoảng cách và độ tương đồng giữa các biểu đồ màu.
Chương tiếp theo, luận văn sẽ trình bày cách thức tổng hợp các nghiên cứu từ các chương trước để xây dựng chương trình tìm kiếm ảnh thử nghiệm với CSDL ảnh thử nghiệm và đánh giá kết quả của hệ thống tìm kiếm ảnh.
CHƯƠNG 3: THỬ NGHIỆM 3.1. Giới thiệu bài toán thử nghiệm
Tìm kiếm ảnh theo nội dung là bài toán đã được ứng dụng thành công trong nhiều lĩnh vực, trong đó có lĩnh vực y học. Hiện nay, các ngành, cơ sở y tế, bệnh viện sử dụng thường xuyên và lưu trữ thông tin hình ảnh được tạo ra từ siêu âm, nội soi, X-quang, chụp cộng hưởng từ hay MRI (Magnetic Resonance Imaging) hoặc các hình ảnh quét khác. Việc tìm kiếm ảnh y tế là rất cần thiết trong y học lâm sàng về các bệnh lý giúp ích trong việc chẩn đoán bệnh và trong việc đào tạo, giảng dạy lâm sàng, tiền lâm sàng giúp người học có cái nhìn trực quan của các hình ảnh thực tế về dấu hiệu của bệnh nhất là bệnh da liễu.
Bài toán: Từ một ảnh truy vấn trong tập dữ liệu ảnh thử nghiệm, hệ thống thực hiện tìm kiếm trong kho dữ liệu ảnh những ảnh có liên quan với ảnh truy vấn nhất dựa trên CCH, FCH và hiển thị kết quả tìm kiếm.
Dựa vào cơ sở lý thuyết và các thuật toán đã trình bày trong chương 1 và chương 2 của luận văn, học viên lựa chọn xây dựng chương trình thử nghiệm tìm kiếm ảnh dựa trên cơ sở biểu đồ màu thông thường trong không gian màu RGB, HSV và biểu đồ màu mờ theo hệ thống suy luận mờ trong không gian màu L*a*b*.
3.2. Dữ liệu thử nghiệm
Hệ thống được thử nghiệm trên 2 bộ sưu tập hình ảnh gồm:
- 1000 hình ảnh của CSDL ảnh WANG2, là CSDL ảnh Corel đã được chọn thủ công và chia làm 10 thư mục (lớp) mô tả các chủ đề khác nhau, mỗi thư mục gồm 100 hình ảnh được đánh số từ 00 đến 99, ở định dạng JPEG có
kích thước 384 × 256 và 256 × 386. 10 thư mục này được sử dụng để ước tính mức độ liên quan: cho hình ảnh truy vấn, giả định rằng người dùng đang tìm kiếm hình ảnh từ một lớp, do đó 99 hình ảnh còn lại từ một lớp được coi là liên quan và hình ảnh từ các lớp khác là không liên quan.
- 1200 hình ảnh y tế do học viên thu thập được chia theo chủ đề ảnh bệnh học (chủ yếu về bệnh da liễu); các ảnh siêu âm, nội soi tai - mũi - họng tại phòng khám đa khoa trường Cao đẳng Y tế Thái Bình.
Các thư mục ảnh theo các chủ đề được lưu vào thư mục Images cùng với thư mục chương trình thử nghiệm.
3.3. Mô tả hệ thống thử nghiệm
Nhiệm vụ của bài toán là xây dựng hệ thống thử nghiệm với các chức năng chính là:
- Xây dựng CSDL đặc trưng từ thư mục ảnh thử nghiệm.
- Tìm kiếm ảnh trên cơ sở biểu đồ màu thông thường trong không gian màu RGB, HSV.
- Tìm kiếm ảnh trên cơ sở biểu đồ màu mờ với hệ thống suy luận mờ trong không gian màu L*a*b*.
3.3.1. Xây dựng CSDL đặc trưng
Hệ thống tiến hành trích chọn đặc trưng bằng cách tính toán biểu đồ màu thông thường trong không gian màu RGB, HSV với số bin màu lần lượt là 32, 64, 128, 256 và biểu đồ màu mờ với hệ thống liên kế mờ gồm 10 bin màu trong không gian màu L*a*b* của 2200 ảnh trong thư mục ảnh thử nghiệm bằng cách duyệt qua từng ảnh, các biểu đồ màu (véc tơ đặc trưng) sau khi được tính toán được lưu vào CSDL đặc trưng của hệ thống. Quá trình này chỉ cần thực hiện một lần cho toàn bộ ảnh có trong thư mục ảnh và được thực hiện ngoại tuyến (offline).
3.3.2. Chức năng tìm kiếm ảnh
Để tìm kiếm ảnh, người sử dụng chạy chương trình thử nghiệm và thực hiện theo các bước sau:
Bước 1: Chọn ảnh truy vấn từ thư mục thử nghiệm.
Bước 2: Chọn tìm kiếm theo CCH trong không gian màu RGB hoặc HSV và chọn số bin màu tương ứng hoặc chọn tìm kiếm theo FCH.
Bước 3: Chọn độ đo khoảng cách trong danh sách và chọn số lượng ảnh kết quả trả về (mặc định là 10).
Bước 4: Nhấp chọn nút Retrieve (tìm kiếm), ảnh truy vấn sẽ được tính toán CCH và FCH giống với khi xây dựng CSDL đặc trưng và được thực hiện online (trực tuyến). Sau đó, hệ thống tiến hành so sánh độ tương đồng giữa biểu đồ màu của ảnh truy vấn với biểu đồ màu của các ảnh trong CSDL đặc trưng tương ứng với CCH và FCH bằng độ đo khoảng cách đã chọn.
Bước 5: Kết thúc quá trình so sánh biểu đồ màu, hệ thống đưa ra những hình ảnh có độ đo khoảng cách được sắp xếp tăng dần (giảm dần độ tương đồng) với ảnh truy vấn theo từng chức năng được chọn và hiển thị kết quả tìm được cho người sử dụng. Quá trình tìm kiếm có thể lặp lại nhiều lần với ảnh truy vấn khác nhau.
3.4. Môi trường và công cụ sử dụng xây dựng thử nghiệm
Chương trình thử nghiệm được thiết kế, xây dựng và thực hiện trên môi trường hệ điều hành Windows với phần mềm MATLAB R2012b v8.0. MATLAB (MATrix LABoratory) là phần mềm cung cấp môi trường tính toán số và lập trình, do công ty MathWorks thiết kế. MATLAB cho phép tính toán số với ma trận, vẽ đồ thị hàm số hay biểu đồ thông tin, thực hiện thuật toán, tạo các giao diện người dùng và liên kết với những chương trình máy tính viết trên nhiều ngôn ngữ lập trình khác. MATLAB giúp đơn giản hóa việc giải
quyết các bài toán tính toán kĩ thuật so với các ngôn ngữ lập trình truyền thống như C, C++, và Fortran.
MATLAB được sử dụng trong nhiều lĩnh vực, bao gồm xử lý tín hiệu và ảnh, truyền thông, thiết kế điều khiển tự động, đo lường kiểm tra, phân tích mô hình tài chính, hay tính toán sinh học. Với hàng triệu kĩ sư và nhà khoa học làm việc trong môi trường công nghiệp cũng như ở môi trường hàn lâm, MATLAB là ngôn ngữ của tính toán khoa học.
Với thư viện công cụ (Toolbox), MATLAB cho phép mô phỏng tính toán, thực nghiệm nhiều mô hình trong thực tế và kỹ thuật. Chương trình thử nghiệm trong luận văn, học viên sử dụng công cụ Fuzzy Logic có sẵn để tạo ra hệ thống suy luận mờ FIS (Fuzzy Inference System).
3.5. Thiết kế chương trình thử nghiệm
Kiến trúc của chương trình thử nghiệm trong luận văn được thiết kế như trong hình 3.1 dưới đây:
Hình 3.1 Kiến trúc hệ thống tìm kiếm ảnh theo nội dung trong luận văn
Phương pháp cổ điển của việc tính biểu đồ màu của ảnh tạo ra biểu đồ màu rất lớn. Thực tế, mỗi không gian màu bao gồm ba thành phần màu tạo ra biểu đồ 3 chiều (3-Dimension - 3-D) như RGB, HSV, L*a*b*... Việc điều khiển và so sánh biểu đồ 3-D là một thủ tục phức tạp và tính toán rất lớn. Do
Tập ảnh thử nghiệm
Trích chọn nội dung trực quan của ảnh Tính biểu đồ màu RGB, HSV Tính biểu đồ màu mờ CSDL đặc trưng Lập chỉ mục đặc trưng Giao diện người sử dụng Quá trình xử lý ảnh truy vấn Tính biểu đồ màu RGB, HSV Tính biểu đồ màu mờ So sánh độ tương đồng
đó, khi xây dựng chương trình thử nghiệm trong luận văn, thay vì sử dụng biểu đồ màu 3-D của hình ảnh, học viên chuẩn hóa biểu đồ CCH trong không gian RGB và HSV từ 3D về 1-D với số lượng bin màu lần lượt là 32, 64, 128, 256 (trong Matlab cho phép tạo tối đa 256 bin màu). Đồng thời, sử dụng hệ thống suy luận mờ (FIS) để tạo biểu đồ FCH 1-D gồm 10 bin màu và giá trị mỗi bin màu được chuẩn hóa là một số trong khoảng [0-1].
Thiết kế chương trình thử nghiệm gồm các công đoạn:
3.5.1. Chức năng xây dựng CSDL đặc trưng
3.5.1.1. Thiết kế CSDL đặc trưng
CSDL đặc trưng của chương trình thử nghiệm được tạo bằng phần mềm MATLAB. CSDL đặc trưng này được lưu tại thư mục của chương trình dưới dạng tệp *.mat và được gọi là Mat-file.
Trong luận văn này, học viên dùng kiểu dữ liệu Struct (cấu trúc mảng) để lưu giá trị biểu đồ màu của mỗi ảnh trong bộ sưu tập ảnh thử nghiệm vào tệp .mat. Mỗi Struct là một nhóm các dữ liệu liên quan bằng cách sử dụng các trường dữ liệu (fields). Mỗi trường có thể chứa bất kỳ loại dữ liệu nào.
3.5.1.2. Biểu đồ hoạt động của chức năng xây dựng CSDL đặc trưng a. Biểu đồ hoạt động tạo CSDL đặc trưng CCH
Hình 3.2 Biểu đồ hoạt động của chức năng xây dựng CSDL đặc trưng CCH trong không gian màu RGB, HSV
b. Biểu đồ hoạt động tạo CSDL đặc trưng FCH
Hình 3.3 Biểu đồ hoạt động chức năng xây dựng CSDL đặc trưng
Bắt đầu
Duyệt các thư mục ảnh trong thư mục Images (dùng vòng lặp for)
Duyệt ảnh trong từng thư mục (dùng vòng lặp for)
Tính CCH trong RGB, HSV với số bin màu (32,64,128,256) sử dụng colorhist(image)
Lưu CSDL *.mat
Kết thúc
Kết thúc Bắt đầu
Duyệt từng ảnh trong thư mục (dùng vòng lặp for)
Chuyển đổi ảnh từ RGB sang L*a*b* (dùng rgb2lab(image)
Lưu CSDL *.mat
Chuẩn hóa ảnh trong khoảng [0 1] (dùng double(image)/255)
Tính FCH gồm 10 bin màu dựa trên FIS (dùng hist(image,10)
Duyệt thư mục ảnh trong thư mục
Xây dựng hàm (Function) ExtractCCH_FCH.m trong Matlab để thực hiện trích chọn đặc trưng của ảnh. Tất cả các ảnh trong thư mục Images sẽ được tính giá trị biểu đồ CCH và FCH và được lưu vào tệp
test_CCH_FCH_WANG.mat và test_CCH_FCH_YTE.mat trong thư mục của chương trình thử nghiệm, mỗi tệp CSDL này có dạngnhư trong hình 3.2.
3.5.2. Xây dựng chức năng tìm kiếm ảnh trên cơ sở CCH theo RGB hoặc HSV và FCH hoặc HSV và FCH
Chức năng tìm kiếm ảnh được xây dựng bằng các hàm thực hiện tính biểu đồ màu CCH (colorhist.m) và FCH (fuzzy_color_histogram.m) của ảnh truy vấn và hàm tính toán khoảng cách (calcDist.m) để so sánh biểu đồ của ảnh truy vấn và các ảnh trong CSDL đặc trưng. Hàm chuyển đổi không gian màu từ RGB sang HSV (rgb2hsv.m) và không gian màu RGB sang L*a*b
(rgb2lab.m) sử dụng hàm có sẵn trong Matlab.
a. Biểu đồ hoạt động tìm kiếm ảnh trên cơ sở CCH
Hình 3.4 Biểu đồ hoạt động chức năng tìm kiếm ảnh trên cơ sở CCH theo RGB hoặc HSV
Bắt đầu
Đọc ảnh truy vấn
Tính biểu đồ màu RGB, HSV của ảnh truy vấn
So sánh với biểu đồ màu RGB, HSV của ảnh trong CSDL đặc trưng
Hiển thị kết quả
Sắp xếp ảnh theo thứ tự giảm dần độ tương đồng
b. Biểu đồ hoạt động tìm kiếm ảnh trên cơ sở FCH
Hình 3.5 Biểu đồ hoạt động của chức năng tìm kiếm ảnh trên cơ sở FCH
3.5.3. Thiết kế giao diện của chương trình thử nghiệm
- Giao diện chính của chương trình thử nghiệm sử dụng GUI (Graphical User Interface) của phần mềm MATLAB và được thiết kế như hình sau:
Bắt đầu
Đọc ảnh truy vấn
Chuyển đổi ảnh từ RGB sang L*a*b*
Chuẩn hóa ảnh
Sắp xếp ảnh theo thứ tự giảm dần độ tương đồng
Kết thúc Hiển thị kết quả
Tính FCH
Hình 3.6 Giao diện chính của chương trình thử nghiệm
Người sử dụng có thể chọn ảnh truy vấn từ danh sách các ảnh trong thư mục test trong mỗi thư mục ảnh theo từng chủ đề của thư mục Images.
Khi chọn tham số đầu vào xong và nhấn nút Retrieve để tìm kiếm. Sau khi chương trình chạy xong, các ảnh kết quả tìm thấy hiển thị trong phần Results (kết quả). Người dùng có thể thay đổi số ảnh cần tìm sau khi chương trình trả về trong khoảng từ 1-20 hình ảnh bằng cách kéo thanh cuộn Number of Results (số lượng ảnh trả về).
Hình 3.7 Giao diện tìm kiếm và hiển thị ảnh kết quả của chương trình
3.6. Đánh giá kết quả thử nghiệm
3.6.1. Đo lường hiệu suất trong hệ thống tìm kiếm ảnh
Hiệu suất của hệ thống CBIR thông thường được phân tích bằng cách tính toán giá trị precision (chính xác) và recall (thu hồi) [2],[7]. Các đo lường
này được sử dụng để cải thiện quá trình tìm kiếm ảnh với các phương pháp khác nhau.
Precision cho biết tỷ lệ giữa số ảnh tìm đúng (n1) trong tổng số ảnh lấy ra (n) và được tính theo công thức:
precision = n1/n
Recall cho biết tỷ lệ giữa số ảnh được tìm đúng (n1) trong tổng số ảnh liên quan đến ảnh truy vấn trong CSDL (n2) có công thức:
recall = n1/n2
Trong đó:
- n1 là số ảnh liên quan được lấy ra. - n là tổng số ảnh được lấy ra.
- n2 là tổng số ảnh liên quan đến ảnh truy vấn trong CSDL.
Precision và Recall là các phép đo thông dụng trong tìm kiếm ảnh. Một
hệ thống có precision và recall càng cao thì hệ thống đó càng tốt. Tuy nhiên hai tham số này thường tỷ lệ nghịch với nhau, precision cao thì recall thấp và ngược lại. Người ta thường kết hợp chúng lại trong một biểu đồ gọi là biểu đồ P-R. Hoặc tính precision và recall tại số lượng ảnh lấy ra cụ thể, ví dụ: P(10), P(20) tức là precision tại 20 hay 50 ảnh được lấy ra.
3.6.2. Kết quả thử nghiệm
Trong chương trình thử nghiệm, mỗi bin màu của FCH đại diện là một hàm thành viên mờ, do đó sự dịch chuyển từ một bin màu này sang một bin màu bên cạnh xảy ra dần dần (so với CCH thì xảy ra tức thì). Hơn nữa, mỗi pixel trong một ảnh có một mức độ thành viên cho nhiều bin của các dải FCH giữa khoảng [0, 1]. Do đó, bất kỳ thay đổi nào về giá trị từ ba thành phần đầu vào của pixel ảnh thì biểu đồ màu thay đổi không đáng kể trên nhiều bin màu. Kỹ thuật này đảm bảo việc tìm kiếm các hình ảnh liên quan đến hình ảnh truy vấn tốt hơn CCH. Những kết quả thử nghiệm dưới đây cho thấy FCH mạnh
mẽ hơn với nhiễu và thay đổi độ sáng so với CCH. Hiệu suất hệ thống tìm kiếm ảnh theo FCH tốt hơn so với CCH trên CSDL ảnh thử nghiệm WANG và y tế.
3.6.2.1. FCH mạnh mẽ hơn với nhiễu (Noise)
Học viên tiến hành thử nghiệm bằng cách thêm 15% nhiễu gaussian vào hình ảnh xe bus 340.jpg trong thư mục Images/Buses trong Matlab (ảnh gốc trong hình 3.8). Trong hình 3.8, chương trình thử nghiệm trích xuất biểu đồ màu CCH và FCH của hai hình ảnh này và lưu hình ảnh sau khi thêm nhiễu với tên là 340_noise15.jpg.
Hình 3.8 Biểu đồ màu CCH và FCH của ảnh bus 340.jpg và ảnh đã thêm 15% nhiễu gaussian
Để đánh giá hiệu suất của chương trình thử nghiệm với hai phương pháp CCH và FCH, học viên sử dụng ảnh 340_noise15.jpg làm ảnh truy vấn để tìm kiếm ảnh gốc và các ảnh liên quan bằng chương trình thử nghiệm trên CSDL ảnh đặc trưng WANG với số lượng ảnh lấy ra là 10 và độ đo khoảng cách Euclide. Kết quả thử nghiệm trình bày theo bảng 3.1.
Nhận xét: Về nhận thức hai hình ảnh này giống nhau, nhưng về độ chính xác dựa trên CCH không vượt quá 60%. Khi áp dụng với FCH, kết quả
là tỷ lệ thuận với nhận thức của con người. Đối với hình ảnh xe bus 340.jpg độ chính xác tìm kiếm là 80%.
3.6.2.2. FCH mạnh mẽ hơn với thay đổi độ sáng
Với hình ảnh xe bus 340.jpg ở trên, học viên thay đổi độ sáng 15% so với ảnh gốc và trích xuất biểu đồ màu CCH và FCH của hai ảnh này. Bất kỳ thay đổi nhỏ nào về ánh sáng dẫn đến sự thay đổi lớn trong biểu đồ CCH như được biểu diễn trong hình 3.9. Do đó, hiệu suất của hệ thống CBIR sẽ giảm xuống mức tối thiểu.
Với biểu đồ FCH sự thay đổi rất nhỏ, vì tất cả các cường độ màu sắc được biểu diễn bởi chỉ một bin màu sử dụng hàm thành viên mờ.