Nghiên cứu phương pháp tra cứu ảnh dựa trên nội dung và xây dựng hệ thống tra cứu cây thuốc

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG NGUYỄN HUY HOÀNG NGHIÊN CỨU PHƯƠNG PHÁP TRA CỨU ẢNH DỰA TRÊN NỘI DUNG VÀ XÂY DỰNG HỆ THỐNG TRA CỨU CÂY THUỐC Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số: 60.48.01 TÓM TẮT LUẬN VĂN THẠC SĨ HÀ NỘI – 2013 Luận văn được hoàn thành tại: HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG Người hướng dẫn khoa học: ……………………………… (Ghi rõ học hàm, học vị) Phản biện 1: ……………………………………………… Phản biện 2: …………………………………………… Luận văn sẽ được bảo vệ trước Hội đồng chấm luận văn thạc sĩ tại Học viện Công nghệ Bưu chính Viễn thông Vào lúc: giờ ngày tháng năm Có thể tìm hiểu luận văn tại: - Thư viện của Học viện Công nghệ Bưu chính Viễn thông 1 MỤC LỤC MỞ ĐẦU 4 CHƯƠNG 1 7 TỔNG QUAN VỀ TRA CỨU ẢNH DỰA TRÊN NỘI DUNG (CONTENT-BASED IMAGE RETRIEVAL - CBIR) 7 1.1. Giới thiệu truy vấn ảnh dựa trên nội dung 7 1.2. Mô hình xử lý 8 1.3. Các thành phần chính của một hệ thống CBIR 9 1.4. Các chức năng cơ bản của hệ thống CBIR 10 1.5. Một số hệ thống tra cứu ảnh dựa trên nội 10 1.5.1. Hệ thống QBIC(Query By Image Content)10 1.5.2. Hệ thống Virage 10 1.5.3. Hệ thống RetrievalWare 10 1.5.4. Hệ thống VisualSeek và WebSeek 10 1.5.5. Hệ thống Photobook 10 CHƯƠNG 2 11 PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG ẢNH 11 2.1. Trích chọn đặc trưng ảnh dựa trên màu sắc 11 2.1.1. Lược đồ màu (Histogram) 11 2.1.2. Vector liên kết màu (Color Coherence Vector) 12 2.2. Trích chọn đặc trưng ảnh dựa trên kết cấu 12 2.2.1. Ma trận đồng hiện (Co-occurence Matrix) 13 2 2.2.2. Phép biến đổi Wavelet 13 2.2.3. Các đặc trưng lọc Gabor 14 2.2.4. Các đặc trưng biến đổi sóng 14 2.3. Trích chọn đặc trưng ảnh dựa trên hình dạng 15 2.3.1. Trích chọn đặc trưng theo biên 15 2.3.1.1. Lược đồ hệ số góc 15 2.3.1.2. Vector liên kết hệ số góc (Edge Direction Coherence Vector) 16 2.3.2. Trích chọn đặc trưng theo vùng 17 2.4. Trích chọn sử dụng điểm nổi bật 17 2.4.1. Đặc trưng cục bộ bất biến (SIFT) 17 2.4.2. SURF 19 CHƯƠNG 3 20 CÀI ĐẶT THỬ NGHIỆM VÀ ỨNG DỤNG 20 3.1. Cài đặt thử nghiệm 20 3.1.1. Môi trường phát triển, cơ sở dữ liệu 20 3.1.2. Phương pháp thực nghiệm 21 3.1.2.1. Lựa chọn mẫu thử nghiệm 21 3.1.2.2. Phương pháp đánh giá 21 3.1.3. Thử nghiệm và kết quả 22 3.1.3.1. Tìm kiếm theo lược đồ màu 22 3.1.3.2. Tìm kiếm theo lược đồ hệ số góc 22 3.1.3.3. Tìm kiếm theo vector liên kết màu 22 3.1.3.4. Tìm kiếm theo AutoCorrelogram 22 3 3.1.3.5. Tìm kiếm theo các đặc trưng cục bộ bất biến (SIFT) 22 3.1.3.6. Tìm kiếm với SURF 22 3.1.4. Kết quả thực nghiệm và đánh giá 22 3.2. Ứng dụng tra cứu cây thuốc 24 3.2.1. Phân tích yêu cầu 24 3.2.2. Chức năng ứng dụng 24 3.2.3. Đánh giá ứng dụng 25 KẾT LUẬN 26 4 MỞ ĐẦU Cùng với sự phát triển của công nghệ, đã có rất nhiều phương pháp được nghiên cứu để truy vấn thông tin dựa vào hình ảnh. Tuy nhiên, một trong những phương pháp được nhiều người quan tâm nghiên cứu hiện nay là phương pháp “Tra cứu ảnh dựa theo nội dung” (Content Based Image Retrieval - CBIR). Ý tưởng phương pháp này là trích chọn các đặc điểm dựa vào nội dung trực quan của ảnh như màu sắc, kết cấu, hình dạng và bố cục không gian của ảnh để làm cơ sở cho việc tra cứu, sắp xếp, tổ chức cơ sở dữ liệu ảnh. Tra cứu ảnh dựa trên hình dạng sử dụng các đặc trưng hình dạng của các ảnh mục tiêu để tìm kiếm, nó là một khía cạnh rất quan trọng của tra cứu ảnh dựa trên nội dung. Hiện nay có nhiều hệ thống cho phép tra cứu thông tin dựa trên hình ảnh như như Google Image Swirl, Bing, Tiltomo, Tineye, Pixolution…Các hệ thống trên đã đưa ra các kết quả tìm kiếm rất tốt dựa trên ảnh mẫu. Tuy nhiên, hạn chế của các hệ thống trên là vẫn tồn tại sự nhập nhằng về dữ liệu, các thông tin chưa cô đọng theo chủ đề xác định, với bài toán đặt ra ở đây là cây thuốc. Với mục đích cuối cùng có thể xây dựng được một 5 hệ thống tra cứu cây thuốc dựa trên hình ảnh. Cho phép người Việt Nam nhận biết và sử dụng hiệu quả về các cây thuốc ở Việt Nam thông qua hình ảnh. Luận văn này sẽ đi sâu vào những nhiệm vụ chính như sau: - Nội dung + Nghiên cứu và đánh giá các kỹ thuật tra cứu ảnh theo nội dung. + Tìm hiểu cách thức nhận biết cây thuốc thông thường trong cuộc sống như qua lá, hoa, thân hay rễ…để từ đó có thể giới hạn đối tượng làm mẫu và truy vấn + Đề xuất sử dụng một số kỹ thuật khác và đưa ra sự so sánh với các hệ thống ảnh trước đó. + Từ đó đưa ra các phương pháp cải tiến và khắc phục những hạn chế hiện tại. + Thử nghiệm chương trình tra cứu ảnh theo nội dung thông qua mô hình truy vấn đề xuất và các kết quả đạt được như độ chính xác, tốc độ xử lý… - Yêu cầu cần giải quyết + Tìm hiểu kiến thức về các kỹ thuật xử lý ảnh. + Đưa ra được phạm vi đối tượng thực hiện để làm mẫu nhận dạng là lá, cây, hoa, hay tất cả. 6 + Xây dựng tập mẫu ảnh dựa trên đối tượng đã lựa chọn ở trên + Tham khảo các mã nguồn mở về xử lý ảnh cho quá trình cài đặt. + Nghiên cứu về tra cứu ảnh theo nội dung và các phương pháp trích chọn đặc trưng dựa trên các tài liệu nghiên cứu trước đó. Từ đó triển khai cài đặt thuật toán tra cứu. + Thực nghiệm dựa trên xây dựng và đánh giá các kết quả nghiên cứu. + Xây dựng hệ thống tra cứu ảnh dựa trên thực nghiệm và các đánh giá đã có. 7 CHƯƠNG 1 TỔNG QUAN VỀ TRA CỨU ẢNH DỰA TRÊN NỘI DUNG (CONTENT-BASED IMAGE RETRIEVAL - CBIR) Chương 1 luận văn giới thiệu tổng quan về phương pháp “Tra cứu ảnh dựa theo nội dung - CBIR” bao gồm khái niệm, mục đích, mô hình, thành phần, chức năng và một số hệ thống tra cứu ảnh dự trên nội dung. 1.1. Giới thiệu truy vấn ảnh dựa trên nội dung Tra cứu ảnh dựa theo nội dung (CBIR) có nguồn gốc từ năm 1992. Tra cứu ảnh theo nội dung là tra cứu thông tin trực quan (VIR - Visual Information Retrieval). Các yếu tố trực quan như màu sắc, kết cấu, hình dạng và bố cục không gian trực tiếp liên quan đến khía cạnh của cảm nhận nội dung ảnh, cùng với các khái niệm ở mức cao như ý nghĩa đối tượng, khung cảnh trong ảnh, được dùng như là manh mối cho tìm kiếm hình ảnh với nội dung tương tự từ cơ sở dữ liệu. 8 1.2. Mô hình xử lý Để xây dựng hệ thống truy vấn ảnh, cần giải quyết 3 vấn đề chính sau • Rút trích các đặc trưng trên ảnh (Feature Exaction) • Xác định độ đo sự tương đồng giữa hai ảnh (Similarity Measure) • Lập chỉ mục cho CSDL ảnh (Image Indexing) Từ đó xây dựng nên các thành phần cho hệ thống truy vấn ảnh: Hệ thống truy vấn ảnh với cơ sở tri thức [...]... thi n ng d ng tra c u cây thu c và tìm hi u thêm các phương pháp m i t i ưu hơn K t h p các phương pháp ư c v i nhau m t cách linh ng và hi u qu hơn Tìm ra các gi i pháp t i ưu và t t hơn n a nâng cao hi u qu c a ng d ng tra c u Hi n t i ng d ng m i ch phát tri n trên Desktop, mong mu n có ư c m t ng d ng web cho phép có th tra c u qua m ng, b tc âu ngư i dùng cũng có th có ư c thông tin cây thu c mà... - Ngu n d li u còn h n ch và chưa phong phú - Chưa cung c p ư c công c tương tác gi a ngư i dùng và h th ng: công c ánh giá, ph n h i - Chưa th t ng c p nh t các m u tra c u vào trong h th ng - Các phương pháp cài c i thi n t c x lý t chưa th t t i ưu 26 K T LU N Truy v n nh d a trên n i dung (CBIR) n nay v n là lĩnh v c nghiên c u r t áng quan tâm và có nhi u phương pháp và cách ti p c n khác nhau... qua phương pháp truy v n nh dùng k t h p các k thu t x lý và trích ch n n i dung nh u vào c a bài toán là nh cây c n truy v n, qua các k thu t x lý, trích ch n, ánh giá ưa ra k t qu là các nh cây tương h th ng tra c u cây thu c, ng nhau Xây d ng ng th i ch ra tính kh thi c a h th ng so v i các h th ng khác qua các k t qu th c nghi m Giá tr th c ti n c a lu n văn ư c ch ng minh qua ng d ng tra c u cây. .. u và hình d ng, và hi u su t c a h th ng ư c tăng lên khi k t h p m t s phương pháp l i v i nhau Phương pháp truy v n d a trên màu s c là chi m ưu th hơn c C v th i gian tính toán cũng như s lư ng các k t qu chính xác, có tương ng cao 23 3500 3000 Lư c 2000 màu Lư c 2500 HSG Vector LK màu 1500 Auto Cologram 1000 SIFT 500 SURF 0 20 50 100 150 200 250 500 Th i gian x lý trung bình c a các phương pháp. .. c a con ngư i và nh tìm ư c có th mang n i dung ng nghĩa r t khác so v i nh truy v n 2.4 Trích ch n s d ng i m n i b t Phương pháp này d a trên các i m n i b t, là các i m b t bi n v i s thay i c a nh như xoay, co giãn, che l p m t ph n… Có 2 phương pháp tiêu bi u nh t là SIFT và SURF 2.4.1 c trưng c c b b t bi n (SIFT) 18 SIFT là vi t t t c a c m t Scale-Invariant Feature Invariant Transform là m... H th ng Tr giúp màu, 25 3.2.3 ánh giá ng d ng ng d ng tra c u thu c d a trên hình nh ã t ư c m t s yêu c u cơ b n c a vi c tra c u: - Cài - Giao di n ơn gi n, d tùy bi n và c u hình - t d dàng và tương thích áp ng các ch c năng chính y u c a ng d ng tra c u bao g m: c p nh t thông tin, qu n lý thông tin, tra c u, th ng kê… - H tr nhi u tùy ch n tra c u khác nhau - Xem thông tin v nh ti n l i: lư c... u tiên vào năm 2006 b i nhóm các nhà nghiên c u bao g m Herbert Bay, Tinne Tuytelaars và Luc Van Gool Cách ti p c n c a phương pháp này tương i gi ng v i SIFT SURF cũng s d ng không gian scale i m c trưng, các c trưng tìm ư c mô t dư i d ng vector và có kèm thêm hư ng Hai ph n chính trong thu t toán này là “phát hi n” (detection) và “mô t ” (description) Phát hi n : Vi c phát hi n c trưng d a trên không... li u m u t chương trình 21 3.1.2 Phương pháp th c nghi m 3.1.2.1 L a ch n m u th nghi m Hi u qu ho t ng c a h th ng ư c ánh giá b ng cách ch y th nghi m trên cơ s d li u hình nh ã có Em s d ng 2 cách th c ch n m u th nghi m chính: - L y ng u nhiên m t m u nh có trong CSDL tra c u - Ch nh m t m u c nh tra c u 3.1.2.2 Phương pháp ánh giá S d ng top-N, ch ra t l các lo i cây chính xác xu t hi n là m t trong... nh ng hình nh ư c tra c u 1.5 M t s h th ng tra c u nh d a trên n i 1.5.1 H th ng QBIC (Query By Image Content) 1.5.2 H th ng Virage 1.5.3 H th ng RetrievalWare 1.5.4 H th ng VisualSeek và WebSeek 1.5.5 H th ng Photobook 11 CHƯƠNG 2 PHƯƠNG PHÁP TRÍCH CH N C TRƯNG NH Chương 2 s ưa ra m t s khái ni m liên quan n các thu c tính, k thu t c a vi c truy v n theo n i dung nh Qua ó làm ti n nghiên c u xâu hơn... cài toán trích ch n d a trên c trưng nh, t giá v các k thu t Ch n k thu t t i ưu t m t s thu t ó ưa ra ánh xây d ng h th ng tra c u cây thu c 3.1 Cài t th nghi m 3.1.1 Môi trư ng phát tri n, cơ s d li u Chương trình ư c thi t k trên Visual Studio 2010, ngôn ng C# (C Sharp) và CSDL SQL Server 2008 Chương trình cũng có s d ng m t s thư vi n h tr x lý nh như EmguCV.dll, AForge.dll và m t s thư vi n h tr . CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG NGUYỄN HUY HOÀNG NGHIÊN CỨU PHƯƠNG PHÁP TRA CỨU ẢNH DỰA TRÊN NỘI DUNG VÀ XÂY DỰNG HỆ THỐNG TRA CỨU CÂY THUỐC. nghiên cứu. + Xây dựng hệ thống tra cứu ảnh dựa trên thực nghiệm và các đánh giá đã có. 7 CHƯƠNG 1 TỔNG QUAN VỀ TRA CỨU ẢNH DỰA TRÊN NỘI DUNG (CONTENT-BASED