Nghiên cứu xây dựng hệ thống tìm kiếm video dựa trên nội dung

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ LÊ VĂN HÀO NGHIÊN CỨU XÂY DỰNG HỆ THỐNG TÌM KIẾM VIDEO DỰA TRÊN NỘI DUNG LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Hà Nội - 2016 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ LÊ VĂN HÀO NGHIÊN CỨU XÂY DỰNG HỆ THỐNG TÌM KIẾM VIDEO DỰA TRÊN NỘI DUNG Ngành: Công nghệ thông tin Chuyên ngành: Hệ thống thông tin Mã số: 60.48.01.04 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS – Nguyễn Tri Thành Hà Nội - 2016 LỜI CAM ĐOAN Tôi xin cam đoan kết đạt Luận văn sản phẩm riêng cá nhân tôi, không chép lại người khác Những điều trình bày nội dung Luận văn, cá nhân tổng hợp từ nhiều nguồn tài liệu Tất tài liệu tham khảo có xuất xứ rõ ràng trích dẫn quy cách Tơi xin hồn tồn chịu trách nhiệm chịu hình thức kỷ luật theo quy định cho lời cam đoan Ha Nội, 05/2016 Lê Văn Hào MỤC LỤC LỜI CAM ĐOAN MỤC LỤC BẢNG CHỮ CÁI VIẾT TẮT DANH MỤC CÁC BẢNG BIỂU DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ MỞ ĐẦU CHƯƠNG 1: GIỚI THIỆU 10 1.1 Giới thiệu cơng cụ tìm kiếm 10 1.2 Lịch sử phát triển cơng cụ tìm kiếm 10 1.3 Kiến trúc cơng cụ tìm kiếm 11 1.3.1 Quá trình đánh mục 11 1.3.2 Quá trình truy vấn 13 1.4 Cơng cụ tìm kiếm video mạng internet 13 1.5 Tổng quan đề tài vấn đề cần giải 14 1.5.1 Tổng quan đề tài 14 1.5.2 Các vấn đề cần giải 14 1.6 Y nghĩa khoa học thực tiễn đề tài nghiên cứu 14 1.6.1 Y nghĩa khoa học 14 1.6.2 Y nghĩa thực tiên 15 1.7 Kết luận 15 CHƯƠNG 2: BÀI TỐN TÌM KIẾM VIDEO BÀI GIẢNG 16 DỰA TRÊN NỘI DUNG 16 2.1 Phát biểu toán 16 2.2 Các nghiên cứu tìm kiếm video dựa nội dung 17 2.3 Hướng nghiên cứu tác giả 18 2.4 Bài toán phân đoạn video thành ảnh 19 2.4.1 Khái niệm 19 2.4.2 Phương pháp tiếp cận 19 2.5 Bài toán trích xuất văn 20 2.5.1 Bài tốn nhận dạng kí tự quang học 20 2.5.2 Bài toán xử lý trùng lặp văn 22 2.5.3 Bài tốn sửa lỗi tả văn 26 2.6 Bài tốn đánh mục tìm kiếm 29 2.6.1 Khái niệm 29 2.6.2 Phương pháp tiếp cận 29 2.6.3 Kiến trúc Elasticsearch 30 2.7 Kết luận 32 CHƯƠNG 3: KĨ THUẬT ĐỂ GIẢI QUYẾT CÁC BÀI TOÁN TRONG KHUÔN KHỔ LUẬN VĂN 33 3.1 Bài toán phân đoạn video thành định dạnh ảnh 33 3.1.1 Phát biểu toán 33 3.1.2 Giải pháp thực 33 3.2 Bài toán trích xuất văn 34 3.2.1 Bài tốn nhận dạng kí tự quang học bằng cơng cụ Tesseract-OCR 34 3.2.2 Bài toán xử lý trùng lặp văn bằng kĩ thuật Shingling 37 3.2.3 Bài tốn sửa lỗi tả văn tiếng Việt 40 3.3 Bài toán đánh mục tìm kiếm 45 3.3.1 Phát biểu toán 45 3.3.2 Lập mục tìm kiếm bằng Elasticsearch 46 CHƯƠNG 4: KẾT QUẢ THỰC NGHIỆM, ĐÁNH GIÁ VÀ KẾT LUẬN 50 4.1 Công cụ, môi trường thực nghiệm 50 4.2 Kết thực nghiệm, đánh giá 51 4.3 Kết luận 54 4.3.1 Kết đạt 54 4.3.2 Định hướng phát triển 55 TÀI LIỆU THAM KHẢO 56 BẢNG CHỮ CÁI VIẾT TẮT STT Từ viết tắt ASR FPS FTP GNU OCR PDF NDD TIFF UTF-8 Ý nghĩa Automatic Speech Recognition – Nhận dạng tiếng nói tự động Frame Per Second – Số khung hình giây File Transfer Protocol – Giao thức truyền tệp tin General Public License – Giấy phép công cộng Optical Character Recognition – Nhận dạng kí tự quang học Portable Document Format – Định dạng tài liệu di động Near Duplicate Detection – Phát gần trùng lặp Tagged Image File Format – Định dạng tệp tin máy tính để lưu trữ hình ảnh Unicode Transformation Format - Định dạng chuyển đổi Unicode DANH MỤC CÁC BẢNG BIỂU Bảng 3.1 Kết Bigram tập liệu 44 Bảng 4.1 Thông số phần cứng 50 Bảng 4.2 Danh sách công cụ phần mềm 50 Bảng 4.3 Kết thực trích xuất khung hình từ video 51 Bảng 4.4 Kết thực Tesseract-OCR tập khung hình thu .52 Bảng 4.5 Kết thực NDD với kĩ thuật Shingling .52 Bảng 4.6 Kết trình phát lỗi chính tả dùng Aspell kết hợp Bi-gram 53 Bảng 4.7 Kết trình sửa lỗi chính tả 54 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình 1.1 Quá trình đánh mục 12 Hình 2.1 Kiến trúc tổng quan hệ thống tìm kiếm video dựa nội dung 17 Hình 2.2 Kiến trúc hệ thống tìm kiếm video tác giả đề xuất 18 Hình 2.3 Sử dụng FFMpeg để chuyển đổi video thành ảnh 20 Hình 2.4 Kiến trúc Tesseract – OCR 22 Hình 2.5 Văn gốc 23 Hình 2.6 Văn trùng lặp văn hình 2.5 24 Hình 2.7 Văn gần trùng lặp văn hình 2.5 24 Hình 2.8 [15] Độ chính xác độ hồi tưởng độ đo tương tự cho phương pháp fuzzy-fingerprinting (FF), localitysensitive hashing (LSH), supershingling (SSh), shingling (Sh), and hashed breakpoint chunking (HBC) 26 Hình 2.9 Kĩ thuật phát lỗi tả dựa vào tra cứu từ điển 27 Hình 2.10 Kĩ thuật phát lỗi tả dựa vào phân tích N-gram 28 Hình 2.11 Thứ hạng 17 cơng cụ tìm kiếm Nguồn http://db-engines.com 30 Hình 2.12 Kiến trúc cluster-node-shard Elasticsearch 31 Hình 3.1 Mơ tả trình biến đổi video nguồn thành dạng ảnh 33 Hình 3.2 Chuyển đổi ảnh màu thành ảnh đa cấp xám 34 Hình 3.3 Ảnh màu 35 Hình 3.4 Ảnh đa cấp xám 35 Hình 3.5 Quá trình OCR ảnh hình 3.4 bằng Tesseract-OCR 36 Hình 3.6 Kết sau hồn thành OCR bằng Tesseract-OCR 36 Hình 3.7 Thực OCR tất ảnh thư mục băng Tesseract-OCR 36 Hình 3.8 Quá trình xử lý trùng lặp văn 37 Hình 3.9 Hệ số Jaccard tài liệu d1 d2 38 Hình 3.10[4] Bốn q trình tính tốn shingle hai tài liệu 39 Hình 3.11 Sơ đồ khối trình trích xuất tập văn đại diện 40 Hình 3.12 Quá trình phát sửa lỗi tả văn 41 Hình 3.13 Sơ đồ khối sửa lỗi chính tả sử dụng từ điển Aspell 43 Hình 3.14 Sơ đồ khối sửa lỗi chính tả sử dụng Bigram 45 Hình 3.15 Mơ tả trình lập mục tài liệu 46 Hình 3.16 Kiểm tra khởi động Elasticsearch 46 Hình 3.17 Danh sách mục có Tên mục lectures, số tài liệu docs.count có giá trị bằng (do chưa tạo tài liệu cho mục này) 47 Hình 3.18 Tạo type document cho mục 47 Hình 3.19 Tạo type document bằng lệnh POST Id document Elasticsearch gán tự động 47 Hình 3.20 Cập nhật lại document cho mục với id tồn 48 Hình 3.21 Thực cập nhật lại document bằng câu lệnh UPDATE 48 Hình 3.22 Tìm kiếm document mục 48 MỞ ĐẦU Cùng với sự phát triển công nghệ thông tin, tốc độ internet cải thiện đáng kể Số lượng video giảng, diên thuyết… phục vụ học tập cho lứa tuổi tải lên chia sẻ internet nhanh chóng Mỗi ngày, hàng triệu video giới đăng tải lên ứng dụng internet Youtube, Facebook, Yahoo Đối với lượng video tăng trưởng ngày này, chế tổ chức lưu trữ phục vụ cho việc tra cứu, tìm kiếm thách thức Giáo dục trực tuyến hay E-Learning khơng khái niệm lạ phát triển mạnh mẽ Số lượng video giảng, diễn thuyết ngày tăng trưởng Nhu cầu tìm kiếm người học yêu cầu khắt khe hơn: độ xác thời gian tìm kiếm Tuy nhiên, chức tìm kiếm giảng cho hệ thống thơng thường cho phép người dùng tìm kiếm với tên giảng, tên học phần, tên giảng viên Các chức thường cho kết có độ xác khơng cao, kết trả có nhiều nội dung khơng liên quan đến mục đích tìm kiếm thực sự người dùng Do đó, cần có hệ thống mà “hiểu” nội dung video giảng để phục vụ cho việc tìm kiếm người dùng Những cơng cụ tìm kiếm phổ biến - Google, Yahoo, Bing…, hệ thống tìm kiếm dựa “từ khóa”, tìm kiếm liệu văn (text) Chính thế, video khơng có siêu liệu (metadata) ví dụ ngày, tác giả, từ khóa, mơ tả khơng thể tìm kiếm bằng cách sử dụng công cụ nêu Siêu liệu thường thêm băng tay, trình tốn thời gian Hơn nữa, đoạn video tìm thấy băng siêu liệu nó, cơng cụ tìm kiếm thơng thường khơng có khả tìm kiếm đoạn giảng, slide cụ thể video mà người dùng quan tâm Mục tiêu của Luận văn tập trung nghiên cứu xây dựng mợt hệ thống tìm kiếm bai giảng, thuyết trình, trình diễn slide dạng video Hệ thống cho phép người dùng cần nhập vào phần nội dung giảng, kết trả video giảng có liên quan đến chuỗi truy vấn Ngồi ra, với giải pháp cho phép hệ thống tìm kiếm truy vấn liệu video mà khơng cần có siêu liệu Xuất phát từ quan điểm nêu trên, phần mở đầu kết luận, luận văn chia làm chương tóm tắt sau: Hình 3.17 Danh sách mục có Tên mục lectures, số tài liệu docs.count có giá trị bằng (do chưa tạo tài liệu cho mục này) Tạo type document cho mục: Định dạng document có kiểu {“url”:”đường dẫn đến tệp video giảng”, “contents”: “nội dung tệp tin văn nội dung xử lý”} Document thuộc type “external” Câu lệnh để tạo type document hình 3.18 Hình 3.18 Tạo type document cho mục Chỉ mục tạo có tên lectures, type external Document có hai tham số url content URL đường đẫn đến tệp tin video, content nội dung video giảng Id document gán bằng Nếu thực lệnh POST không gán id cho document Elasticsearch tạo id tự động cho document Hình 3.19 Tạo type document bằng lệnh POST Id document Elasticsearch gán tự động Lấy document: Sử dụng câu lệnh GET để lấy document với id mục tương ứng:curl -XGET 'localhost:9200/lectures/external/1?pretty' Cập nhật document: Thực lệnh tạo document với id tồn thơng tin document cập nhật lại Hình 3.20 Cập nhật lại document cho mục với id tồn Hoặc sử dụng lệnh UPDATE trực tiếp mô tả hình 3.21 Hình 3.21 Thực cập nhật lại document bằng câu lệnh UPDATE Xóa mục: Để xóa mục tạo, sử dụng câu lệnh sau: curl -XDELETE 'localhost:9200/lectures?pretty' Xóa document: Câu lệnh để xóa document tồn bằng cách: curl -XDELETE 'localhost:9200/lectures/external/1?pretty' Tìm kiếm document index: Hình 3.22 Tìm kiếm document mục Thời gian tìm kiếm cho câu truy vấn “giáo án điện tử” 0.030 giây Hiển thị 10 kết đầu tiên có liên quan đến truy vấn Kết xếp theo thứ tự giảm dần score Kết thúc chương 3, tác giả trình bày chi tiết giải pháp kĩ thuật cài đặt xây dựng hệ thống cho phép tìm kiếm video giảng dựa vào chuỗi truy vấn nhập vào người dùng Chương tiếp theo, tác giả trình bày trình thực nghiệm đánh giá chương trình CHƯƠNG 4: KẾT QUẢ THỰC NGHIỆM, ĐÁNH GIÁ VÀ KẾT LUẬN 4.1 Công cụ, môi trường thực nghiệm Để phục vụ cho trình thực nghiệm, tác giả sử dụng cấu hình phần cứng công cụ phần mềm thể hai bảng 4.1 bảng 4.2 sau: Bảng 4.1 Thông số phần cứng STT Thành phần CPU RAM Hệ điều hành Bộ nhớ ngồi Thơng số kĩ thuật Intel ® Pentium ® Dual core T3200 2.00GHz DDR II - 3GB Ubuntu 14.04 LTS 150 GB Bảng 4.2 Danh sách công cụ phần mềm STT Tên công cụ Sublime Text PHP 5.0 FFMpeg Imagemagick Tesseract -OCR Aspell Pspell Vietnamese Dictionary Teleport Pro 10 Elasticsearch Chức Trình soạn thảo bẫy lỗi chương trình Ngơn ngữ lập trìnhdùng thực nghiệm Công cụ xử lý video Công cụ chuyển đổi ảnh màu thành ảnh đa cấp xám Công cụ nhận dạng kí tự quang học Cơng cụ kiểm tra lỗi tả Thư viện lập trình sửa lỗi tả nguôn ngữ PHP Từ điển từ vựng Tiếng Việt Công cụ hỗ trợ tải liệu mạng Cơng cụ hỗ trợ đánh mục tìm kiếm tài liệu Nguồn tải https://www.sublimetext.com http://php.net/downloads.php https://ffmpeg.org/download.html http://www.imagemagick.org/script/ binary-releases.php https://github.com/tesseract-ocr http://aspell.net/ http://php.net/manual/en/intro.pspell php https://github.com/1ec5/hunspellvi/tree/master/dictionaries http://www.tenmax.com/teleport/pro/ download.htm https://www.elastic.co/ 4.2 Kết quả thực nghiệm, đánh giá Trong phần thực nghiệm này, tác giả lấy ngẫu nhiên mạng năm video giảng Tiến hành trích xuất khung hình từ lần lượt cho video thu bảng kết mô tả bảng 4.3 Bảng 4.3 Kết thực trích xuất khung hình từ video STT Định dạng Kich thước (MB) Thời gian (phút:giây) Số khung hình thu Kich thước (MB) mp4 23,8 6:22 382 404,6 mp4 48,1 6:38 398 450,7 mp4 32,1 3:07 187 174,8 mp4 137,6 28:27 1707 1740,8 mp4 19,6 2:35 155 139,4 Chúng ta điều chỉnh tăng, giảm tần số FPS để nhăm thu số lượng khung hình phù hợp Qua trình thực nghiệm, để đảm bảo khơng bị thừa thiếu nội dung tần số FPS mà tác giả sử dụng luận văn FPS Số lượng khung hình thu video tương ứng bảng 4.3 Vì khung hình ảnh màu, nhăm nâng cao chất lượng trình OCR Tác giả tiến hành chuyển đổi tồn tập khung hình thu thành ảnh đa cấp xám Bảng 4.4 mô tả kết nhận dạng kí tự quang học bằng công cụ TesseractOCR Tập kết lưu trữ với định dạng văn txt Để đánh giá trình OCR băng Tesseract-OCR, tác giả sử dụng độ chính xác - P, độ hồi tưởng - R, độ đo F1 �=1 �=1 Độ chính xác OCR video P = video đó ∑ � � Với N tổng số tệp tin � � Độ chính xác Pi tính theo cơng thức: Pi = ∑ Tư nhận dạng được| ∗ 100% đúng ∑ Tưc nhận dạng đượ Độ hồi tưởng OCR video R = video đó ∑ � � Với N tổng số tệp tin � � Độ hồi tưởng Ri tính theo cơng thức: R= ∑ Tư nhận dạng được| đúng i tê ∑ Tông số tư lỗ i thực ∗ 100% Độ đo F1 sự kết hợp hai độ đo chính xác độ đo hồi tưởng Độ đo F1 video tính theo công thức F1 = ∗ đô chi nh xa c ∗ đô h ồi tư ở ng đô chinh xac + đô hồi tưởng Bảng 4.4 Kết thực Tesseract-OCR tập khung hình thu STT Số lượng Kich thước tập Độ chinh xác Độ hồi tưởng kết quả (KB) (%) (%) 382 136,3 71,2 81,8 76,13 398 100,5 71,1 82,0 76,16 187 33,7 76,4 67,0 71,39 1707 529,1 66,4 76,2 70,96 155 45,0 77,5 66,3 71,46 72,52 74,66 73,22 Trung bình Độ F1 (%) Qua thực nghiệm tác giả nhận răng, khung hình khơng bị ảnh hưởng hiệu ứng trình chiếu kết nhận dạng băng Tesseract-OCR cho kết với độ chính xác cao, xấp xỉ khoảng 96% đến 100% Nhưng khung hình bị ảnh hưởng cho kết nhận dạng thấp, khoảng 56% - 64% Vì độ chính xác trung bình video bị giảm đáng kể, xấp xỉ 72,52% Đây thách thức hạn chế tác giả luận văn Tập kết sau trình OCR tiếp tục xử lý trùng lặp băng kĩ thuật Shingling Kết thực loại bỏ trùng lặp mô tả hình 4.5 Bảng 4.5 Kết thực NDD với kĩ thuật Shingling STT Tập đầu vào Số văn bản Số slide Số văn Độ chinh Độ hồi thực tế đại diện bản đại xác (%) tưởng (%) thu diện 382 14 22 12 85,7 54,5 66,63 398 24 25 22 91,6 88,0 89,76 187 42 35 34 80,1 97,1 87,78 1707 14 18 13 92,8 72,2 81,21 155 21 24 18 85,7 75,0 79,99 87,18 77,36 81,07 Trung bình Độ F1 (%) Độ chính xác, độ hồi tưởng độ đo F1 dùng để đánh giá trình xử lý trùng lặp văn Kết trình tập văn đại diện cho video giảng đầu vào Độ chính xác P tính bằng công thức: ∑ P= ∗ 100% Văn bản đại diện| đúng ∑ Văn ban đai diê n thu đượ c Độ hồi tưởng R tính theo cơng thức: ∑ Văn bản đại diện| R= ∗ 100% đúng ∑ Văntêban đai diên thưc Độ đo F1 tính là: F1= ∗ � ∗� ��+� Sau xử lý trùng lặp văn bản, tập hợp văn đại diện gộp chung thành văn Trước xử lý lỗi chính tả, tập văn cần làm trình bày chi tiết mục 3.4.2 Tập liệu sau làm bao gồm hai loại lỗi non-word real-word Trong luận văn này, tác giả kết hợp thư viện Aspell để kiểm tra lỗi non-word sử dụng Bi-gram để phát lỗi real-word Kết mô tả q trình phát lỗi chính tả mơ tả bảng 4.6 Độ chính xác P tính bằng công thức: P= ∑ Số từ phát hiện được| ∗ 100% đúng ∑ Sốc từ phát hiện đượ Độ hồi tưởng R tính theo cơng thức: ∑ Sớ từ phát hiện được| R= đúng ∗ 100% ∑ Số tư lỗ i thưc tê Độ đo F1 tính là: F1= ∗ � ∗� ��+� Bảng 4.6 Kết trình phát lỗi chính tả dùng Aspell kết hợp Bi-gram STT Tập đầu Tông số lỗi thực vào tế (số từ) Số lỗi phát Số lỗi phát Độ chinh xác (%) Độ hồi tưởng (%) Độ F1 (%) 946 77 71 66 92,9 85,7 89,15 1365 121 112 96 85,7 79,3 82,38 2482 43 33 18 54,54 41,8 47,33 786 96 91 85 93,4 88,54 90,91 1520 31 26 22 84,6 70,9 77,15 82,23 73,25 77,38 Trung bình Danh sách từ gợi ý cho từ phát lỗi, tác giả sử dụng từ điển kết hợp với khoảng cách chỉnh sửa nhỏ tần suất xuất Bi-gram để lựa chọn từ thay phù hợp Bảng kết sửa lỗi chính tả mô tả bằng bảng 4.7 Độ chính xác P tính bằng cơng thức: P= ∑ Số từ sửa được| ∗ 100% đúng ∑ Số từ sửa được Độ hồi tưởng R tính theo cơng thức: ∑ Sớ từ sửa được| R= đúng tê ∗ 100% ∑ Số tư lỗ i thưc Độ đo F1 tính là: F1= ∗ � ∗� ��+� Bảng 4.7 Kết trình sửa lỗi chính tả STT Số lỗi phát Số lỗi sữa Số lỗi sửa Độ chinh xác (%) Độ hồi tưởng (%) Độ F1 (%) 71 69 49 71,0 69,0 69,99 112 102 62 65,8 55,4 57,97 33 16 56,3 27,3 36,77 91 84 43 51,2 50,5 49,17 26 28 18 64,3 69,2 66,66 60,72 53,64 56,11 Trung bình Như trình bày mục 3.4 khó khăn sửa lỗi chính tả Tiếng Việt Vì luận văn này, tác giả cố gắng để nhăm cải thiện chất lượng trình sửa lỗi Độ chính xác trung bình xấp xỉ khoảng 60,72% 4.3 Kết luận 4.3.1 Kết quả đạt Trong luận văn này, tác giả hướng tới mục đích tìm hiểu nghiên cứu phương pháp để xây dựng hệ thống tra cứu video dựa nội dung Video tác giả quan tâm video giảng dạng silde Nội dung truy vấn từ cụm từ có liên quan đến nội dung văn bên video giảng Qua bốn chương, luận văn trình bày khái niệm liên quan đến cơng cụ tìm kiếm Các phương pháp tiếp cận, kĩ thuật áp dụng để giải tốn xây dựng cơng cụ tìm kiếm video Ứng dụng phương pháp, kĩ thuật để thực nghiệm xây dựng hệ thống tìm kiếm video giảng dựa nội dung Các đóng góp chính luận văn: - Hệ thống lại kiến thức, khái niệm liên quan kiến trúc công cụ tìm kiếm - Trình bày mơ hình tốn cần xử lý q trình xây dựng cơng cụ tìm kiếm video - Phân tích phương pháp tiếp cận để giải toán lựa chọn kĩ thuật để thực nghiệm - Xây dựng thử nghiệm ứng dụng tìm kiếm video giảng dạng slide dựa nội dung 4.3.2 Định hướng phát triển Với kết đạt luận văn này, tác giả hy vọng tương lai sẽ: - Thử nghiệm với liệu đa dạng lớn Thu thập xử lý với nhiều định dạng video - Nghiên cứu phương pháp, kĩ thuật để nâng cao chất lượng chương trình sửa lỗi chính tả Tiếng Việt - Cải tiến nghiên cứu để nâng cao chất lượng, giảm thời gian xử lý video đầu vào TÀI LIỆU THAM KHẢO Andrei Z Broder (2000), “Identifying and Filtering Near-Duplicate Documents”, 11th Annual Symposium on Combinatorial Pattern Matching ,Springer-Verlag London, pp.1-10 Bassma S Alsulami (2012), “Near Duplicate Document Detection Survey”, International Journal of Computer Science & Communication Networks, pp 147-151 Chirag Patel, Atul Patel, Dharmendra Patel (2012), “Optical Character Recognition by Open Source OCR Tool Tesseract: A Case Study”, International Journal of Computer Applications, Volume 55 –No.10, pp 50-56 Christopher D Manning, Prabhakar Raghavan, Hinrich Schütze (2009), Introduction to Information Retrieval, Cambridge University Press, Cambridge University David C Gibbon (2012), Introduction to Video Search Engines, Springer Verlag Berlin Heidelberg, Spinger Gurmeet Singh Manku, Arvind Jain, Anish Das Sarma (2007), “Detecting Near Duplicates for Web Crawling”, 16th International Conference on World Wide Web, pp 141-150 Haojin Yang, Maria Siebert, Patrick Lühne, Harald Sack, Christoph Meinel (2011), “Automatic Lecture Video Indexing Using Video OCR Technology”, 2011 IEEE International Symposium on, pp 111 – 116 Haojin Yang (2011), “Lecture Video Indexing and Analysis Using Video OCR Technology”, 7th International Conference IEEE Dijon France, pp 54-61 Hannaneh Hajishirzi, Wen-tau Yih, Aleksander Kolcz (2010), “Adaptive Near-Duplicate Detection via Similarity Learning”, ACM SIGIR conference on Research and development in information retrieval, pp 419-426 10 Nguyen Thi Xuan Huong, Tran-Thai Dang, The-Tung Nguyen, Anh-Cuong Le (2015), “Using Large N-gram for Vietnamese Spell Checking”, Advances in Intelligent Systems and Computing, pp 617-627 11 Kukich, Karen (1992), “Techniques for Automatically Correcting Words in Text”, 24th ACM Computing Surveys, pp 377–439 12 Kurt Hornik, Duncan Murdoch (2011), “Watch Your Spelling”, The R Journal Vol 3, pp 22-28 13 Kyle Williams, C Lee Giles (2013), “Near Duplicate Detection in an Academic Digital Library” , 2013 ACM Symposium on Document Engineering, pp 91-94 14 Martin Røst Halvorsen (2007), Content-based lecture video indexing, Master’s Thesis, Department of Computer Science and Media Technology Gjøvik University College 15 Martin Potthast, Benno Stein (2008), “New Issues in Near-duplicate Detection”, 31th Conf of the German Classification Society, pp 601-609 16 Pratip Samanta, Bidyut B Chaudhuri (2013), “A simple real-word error detection and correction using local word bigram and trigram”, Association for Computational Linguistics and Chinese Language Processing, pp 211-220 17 Ritika Mishra, Navjot Kaur (2013), “A Survey of Spelling Error Detection and Correction Techniques”, International Journal of Computer Trends and Technology, pp 372-374 18 Radu Gheorghe, Matthew Lee Hinman, Roy Russo (2016), Elasticsearch in Action, Manning Publications Co, Shelter Island 19 Smith, R (2007), An Overview of the Tesseract OCR Engine, In proceedings of Document analysis and Recognition IEEE Ninth International Conference 20 Suzan Verberne (2002), Context-sensitive spellchecking based on word trigram probabilities, Master thesis Taal, Spraak & Informatica University of Nijmegen 21 Youssef Bassil, Mohammad Alwani (2012), “Context-sensitive Spelling Correction Using Google Web 1T 5-Gram Information”, Computer and Information Science, Vol 5, No 3, May 2012, pp 37-48 ...ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ LÊ VĂN HÀO NGHIÊN CỨU XÂY DỰNG HỆ THỐNG TÌM KIẾM VIDEO DỰA TRÊN NỘI DUNG Ngành: Cơng nghệ thông tin Chuyên ngành: Hệ thống thông tin Mã số:... quan hệ thống tìm kiếm video dựa nội dung Hình 2.1 cho thấy trình lập mục cho video trải qua ba bước phân đoạn video, trích xuất nội dung từ video lập mục cho video 2.2 Các nghiên cứu tìm kiếm. .. cần có hệ thống mà “hiểu” nội dung video giảng để phục vụ cho việc tìm kiếm người dùng Những cơng cụ tìm kiếm phổ biến - Google, Yahoo, Bing…, hệ thống tìm kiếm dựa “từ khóa”, tìm kiếm liệu