Sinh câu miêu tả cho hình ảnh sử dụng mô hình ngôn ngữ

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ -* - ĐÀO BẢO LINH SINH CÂU MIÊU TẢ CHO HÌNH ẢNH SỬ DỤNG MƠ HÌNH NGÔN NGỮ LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Hà Nội - 2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ -* - ĐÀO BẢO LINH SINH CÂU MIÊU TẢ CHO HÌNH ẢNH SỬ DỤNG MƠ HÌNH NGƠN NGỮ Ngành: Cơng Nghệ Thơng Tin Chuyên ngành: Kỹ Thuật Phần Mềm Mã số: 60.48.01.03 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS LÊ ANH CƯỜNG Hà Nội - 2015 NHẬN XÉT CỦA CÁN BỘ HƢỚNG DẪN …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… LỜI CẢM ƠN Trước tiên, xin gửi lời cảm ơn tới thầy giáo hướng dẫn, PGS TS Lê Anh Cường (University of Enginerring and Technology) người trực tiếp hướng dẫn tạo điều kiện tốt để tơi hồn thành luận văn Tơi xin gửi lời cảm ơn tới PGS.TS Yusuke Miyao (National Institute of Informatics), người hướng dẫn tạo điều kiện cho tơi q trình nghiên cứu đề tài Nhật Bản Tôi xin gửi lời cảm ơn chân thành tới thầy cô giáo trường Đại học Công Nghệ, người trực tiếp giảng dạy, hướng dẫn tạo điều kiện cho tơi q trình học tập thực hành trường Cuối cùng, xin gửi lời cảm ơn tới tất bạn học gia đình ủng hộ, giúp đỡ tơi suốt q trình tơi thực luận văn Hà Nội, ngày tháng năm 2015 Học viên Đào Bảo Linh LỜI CAM ĐOAN Tôi xin cam đoan luận văn với đề tài “Sinh câu miêu tả cho hình ảnh sử dụng mơ hình ngơn ngữ” cơng trình nghiên cứu riêng tơi Các số liệu, kết trình bày luận văn hồn tồn trung thực chưa công bố cơng trình khác Tơi trích dẫn đầy đủ tài liệu tham khảo, cơng trình nghiên cứu liên quan nước quốc tế Trong nội dung trình bày luận văn, tơi thể rõ ràng xác tơi đóng góp Luận văn hồn thành thời gian làm Học viên Khoa Công Nghệ Thông tin, Trường Đại Học Công Nghệ, Đại Học Quốc Gia Hà Nội Học viên Đào Bảo Linh MỤC LỤC Mục lục Danh mục từ viết tắt Thuật ngữ sử dụng Danh mục bảng biểu Danh sách hình vẽ Error! Bookmark not defined MỞ ĐẦU Error! Bookmark not defined Chƣơng MƠ TẢ BÀI TỐN Error! Bookmark not defined 1.1 Bài toán Ý nghĩa Error! Bookmark not defined 1.2 Các nghiên cứu liên quan Error! Bookmark not defined 1.3 Phạm vi nghiên cứu luận văn Error! Bookmark not defined Chƣơng PHƢƠNG PHÁP Error! Bookmark not defined 2.1 Tập văn Error! Bookmark not defined 2.1.1 Các loại tập văn Error! Bookmark not defined 2.1.2 Cấu trúc tập văn Error! Bookmark not defined 2.1.3 Chú thích (annotation) Error! Bookmark not defined 2.1.4 Sử dụng tập văn Error! Bookmark not defined 2.2 Mơ hình ngơn ngữ Error! Bookmark not defined 2.2.1 Khái quát Error! Bookmark not defined 2.2.2 Tầm quan trọng mơ hình ngơn ngữ N-gram Error! Bookmark not defined 2.2.3 Mơ hình ngơn ngữ N-gram Error! Bookmark not defined 2.2.4 Xích Markov Error! Bookmark not defined 2.2.5 Ước lượng xác suất Error! Bookmark not defined 2.2.6 Đánh giá mơ hình xác suất qua độ hỗn loạn thơng tin Error! Bookmark not defined 2.3 Thuật toán tìm kiếm Error! Bookmark not defined 2.3.1 Thuật tốn tìm kiếm theo chiều rộng Error! Bookmark not defined 2.3.2 Thuật tốn tìm kiếm theo chiều sâu Error! Bookmark not defined 2.3.3 Thuật tốn tìm kiếm theo lựa chọn tốt nhất(Best-first search) Error! Bookmark not defined Chƣơng MƠ HÌNH BÀI TỐN Error! Bookmark not defined 3.1 Tổng quan mơ hình Error! Bookmark not defined 3.2 Phát đối tƣợng Error! Bookmark not defined 3.2.1 Đề cử vùng Error! Bookmark not defined 3.2.2 Trích chọn đặc trưng Error! Bookmark not defined 3.3 Sinh câu miêu tả cho đối tƣợng Error! Bookmark not defined Chƣơng THỰC NGHIỆM Error! Bookmark not defined 4.1 Môi trƣờng cài đặt Error! Bookmark not defined 4.2 Quá trình thử nghiệm Error! Bookmark not defined 4.2.1 Nhận dạng đối tượng Error! Bookmark not defined 4.2.2 Tập văn huấn luyện Error! Bookmark not defined 4.2.3 Kết hệ thống sinh câu miêu tả Error! Bookmark not defined KẾT LUẬN Error! Bookmark not defined TÀI LIỆU THAM KHẢO PHỤ LỤC Error! Bookmark not defined Danh mục từ viết tắt Ký hiệu viết tắt Viết đầy đủ Ý nghĩa SVM support vector machine Máy hỗ trợ vector NLP Natural Language Processing Xử lý ngôn ngữ tự nhiên CNN Convolutional Neural Network-CNN Mạng nơ-ron nhân chập OWs Other words Các từ khác BFS Best-first search Tìm kiếm theo lựa chọn tối ưu Thuật ngữ sử dụng Tiếng Anh Tiếng Việt Breadth-first search Tìm kiếm theo chiều rộng Depth-first search Tìm kiếm theo chiều sâu Graph-based segmentation Phân đoạn ảnh dựa đồ thị Bag-of-words Tập từ rời rạc Dataset Tập liệu Computer vision Thị giác máy Text Description Văn miêu tả Corpus Tập văn Annotation Chú thích Perplexity Độ hỗn loạn thông tin Danh mục bảng biểu Bảng 2.2-1 Ước lượng xác suất từ xuất sau cụm từ tương ứng tập văn TÀI LIỆU THAM KHẢO Tiếng Việt Phạm Thọ Hoàn, Phạm Thị Anh Lê (2011): Giáo trình trí tuệ nhân tạo, Khoa Cơng nghệ thông tin, trường Đại học Sư Phạm Hà Nội, tr 10-31 Đinh Mạnh Tường (2002): Giáo trình trí tuệ nhân tạo: NXB Khoa học Kỹ thuật, tr 16-41 Nguyễn Duy Tiến (2000): Các mơ hình xác suất ứng dụng, NXB Đại học quốc gia Hà Nội, tr 11-32 Đặng Hùng Thắng (2007): Quá trình ngẫu nhiên tính tốn ngẫu nhiên NXB Đại học quốc gia Hà Nội, tr 5-6 Tiếng Anh B Z Yao, X Yang, L Lin, M W Lee, and S.-C Zhu (2010) I2T: Image Parsing to Text Description Proceedings of the IEEE , pp 1485–1508 Ushiku, Y., Harada, T., Kuniyoshi, Y (2012): Efficient Image Annotation for Automatic Sentence Generation, ACM MM Hao Fang∗ Saurabh Gupta∗ Forrest Iandola∗ Rupesh K Srivastava∗ Li Deng Piotr Dollár† Jianfeng Gao (2015): From Captions to Visual Concepts and Back, Microsoft Research Stuart J Russell and Peter Norvig (2009) Artificial Intelligence: A Modern Approach 3rd Edition, Prentice Hall, Upper Saddle River, New Jersey I Endres and D Hoiem (2010) Category independent object proposals, In ECCV 10 J Uijlings, K van de Sande, T Gevers, and A Smeulders (2013) Selective search for object recognition, IJCV 11 Ross Girshick et al Rich feature hierarchies for accurate object detection and semantic segmentation, CVPR14 12 H Harzallah, F Jurie, and C Schmid (2009) Combining efficient object localization and image classification, In ICCV 13 P Arbela ́ez, M Maire, C Fowlkes, and J Malik (2011) Contour detection and hierarchical image segmentation, TPAMI 14 P F Felzenszwalb and D P Huttenlocher (2004) Efficient Graph Based Image Segmentation IJCV, pp 167–181 15 Yoshitaka Ushiku, Tatsuya Harada, and Yasuo Kuniyoshi (2011) Understanding images with natural sentences ACM Multimedia,ACM, pp 679682 16 A Krizhevsky, I Sutskever, and G Hinton (2012) ImageNet classification with deep convolutional neural networks In NIPS 17 Richard Szeliski (2010) Computer Vision: Algorithms and Applications , Springer, 655-656 18 Daniel Jurafsky, James H Martin (2009) Speed and language processing, 2nd edition, pp Website: 19 http://viet.jnlp.org/kien-thuc-co-ban-ve-xu-ly-ngon-ngu-tu-nhien/mohinh-ngon-ngu 20 https://en.wikipedia.org/wiki/Computer_vision