PHÁT HIỆN ẢNH QUẢNG cáo TRÊN WEBSITE DÙNG mô HÌNH CNN

ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN cêd VÕ TIẾN AN PHÁT HIỆN ẢNH QUẢNG CÁO TRÊN WEBSITE DÙNG MƠ HÌNH CNN LUẬN VĂN THẠC SĨ CAO HỌC NGÀNH KHOA HỌC MÁY TÍNH MÃ SỐ: 60.48.01.01 NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS – TS LÊ HỒNG THÁI TP HỒ CHÍ MINH – 2017 Lời cam đoan Tơi xin cam đoan cơng trình nghiên cứu riêng Các số liệu, kết nêu Luận văn trung thực chưa cơng bố cơng trình khác Tôi xin cam đoan giúp đỡ cho việc thực Luận văn cảm ơn thơng tin trích dẫn Luận văn rõ nguồn gốc Tôi xin cam đoan nội dung kết luận văn xuất phát từ cơng sức q trình lao động, nghiên cứu Học viên thực Võ Tiến An Mục lục Số trang Trang phụ bìa Lời cam đoan MỤC LỤC DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT .3 DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ MỞ ĐẦU CHƯƠNG 1: TỔNG QUAN 10 1.1 Khảo sát tình hình nghiên cứu 10 1.2 Bài toán phát ảnh quảng cáo .14 1.3 Hướng tiếp cận giải pháp cho toán phát ảnh quảng cáo 15 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN .17 2.1 Hệ thống phân lớp ảnh 17 2.1.1 Bài toán phân lớp ảnh 17 2.1.2 Các kỹ thuật phân lớp ảnh 17 2.1.3 Các tiêu chuẩn đánh giá 28 2.2 Kỹ thuật phân lớp ảnh dùng Convolutional Neural Network .29 2.2.1 Kiến trúc mơ hình CNN 29 2.2.2 Phương pháp huấn luyện 39 2.3 Phương pháp độ đo đánh giá mơ hình phân lớp 45 2.3.1 Phương pháp Houldout 45 2.3.2 Phương pháp Cross-Validation K-Fold 45 2.3.3 Các độ đo phổ biến 46 CHƯƠNG 3: MƠ HÌNH NLMF-CNN PHÁT HIỆN ẢNH QUẢNG CÁO TRÊN WEBSITE 48 3.1 Tiền xử lý chuẩn hoá liệu 48 3.2 Mơ hình nLmF-CNN phát ảnh quảng cáo .50 3.3 Quá trình huấn luyện liệu 57 3.4 Q trình phân lớp đánh giá mơ hình .57 CHƯƠNG 4: THỰC NGHIỆM VÀ BÀN LUẬN 61 4.1 Cơ sở liệu .61 4.1.1 Dữ liệu thu thập quốc tế (Bộ liệu 1) 61 4.1.2 Dữ liệu thu thập nước (Bộ liệu 2) .65 4.2 Môi trường thực nghiệm .66 4.2.1 Bộ kỹ thuật phát triển hệ thống (Full-Stack Technology) .66 4.2.2 Kiến trúc giao diện hệ thống .69 4.2.3 Kết thực nghiệm Linux 72 4.2.4 Kết thực nghiệm macOS 77 4.3 Kết bàn luận 80 CHƯƠNG 5: KẾT LUẬN VÀ KHUYẾN NGHỊ 83 5.1 Kết luận .83 5.2 Khuyến nghị 84 DANH MỤC CÔNG BỐ KHOA HỌC CỦA TÁC GIẢ .85 TÀI LIỆU THAM KHẢO 86 PHỤ LỤC 89 Danh mục ký hiệu chữ viết tắt CNN: Convolutional Neural Network KNN: K-Nearest Neighbor GD: Gradient Descent SGD: Stochastic Gradient Descent MGD: Minibatch Gradient Descent SVM: Support Vector Machine JSON: JavaScript Object Notation Danh mục bảng Bảng 2.1 Mẫu kết tầng fc với liệu MNIST 38 Bảng 2.2 Định nghĩa giá trị cho việc đánh giá thực thi mơ hình 46 Bảng 4.1 Miêu tả chi tiết số lượng ảnh dung lượng liệu thô 62 Bảng 4.2 Minh hoạ liệu sau chuẩn hoá 64 Bảng 4.3 Minh hoạ liệu sau chuẩn hoá 65 Bảng 4.4 Độ xác cao liệu mơ hình nLmF-CNN 75 Bảng 4.5 Kết độ xác với liệu hệ điều hành 81 Bảng 4.6 Kết độ xác với liệu hệ điều hành 81 Danh mục hình vẽ, đồ thị Hình 1.1 Bảng tổng hợp thị phần tăng trưởng quảng cáo trực tuyến từ năm 2010 – 2015 [5] 10 Hình 1.2 Sản phẩm quảng cáo kênh trực tuyến 11 Hình 1.3 Minh họa cho tốn phát biểu 12 Hình 1.4 Các bước thực toán 15 Hình 1.5 Mơ hình tốn hệ thống phân lớp ảnh với mơ hình CNN 16 Hình 2.1 Minh họa hệ thống neural sinh học thực tế Nguồn: [7] 20 Hình 2.2 Mơ hình hệ thống neural góc nhìn kỹ thuật Nguồn: [7] 21 Hình 2.3 Minh hoạ Neural nhân tạo cơng thức tính giá trị liên quan [26] 22 Hình 2.4 Ví dụ mơ hình mạng đa tầng 23 Hình 2.5 Ví dụ siêu phẳng với lề cực đại không gian R2 Nguồn: [22] 25 Hình 2.6 Mơ hình Hệ thống phân lớp .27 Hình 2.7 Mơ tả cấu trúc mơ hình ConvNet 30 Hình 2.8 Ví dụ mơ tả chi tiết kiến trúc mơ hình CNN LeeNet-5 Nguồn: [24] .30 Hình 2.9 Minh hoạ liệu CIFAR-10 Nguồn: [21] 31 Hình 2.10 Minh hoạ liệu MNIST Nguồn: [25] 32 Hình 2.11 Minh họa tích chập ảnh gốc, lọc ảnh kết 33 Hình 2.12 Biểu diễn công thức 2.3 hệ trục tọa độ .34 Hình 2.13 Biểu diễn công thức 2.13 hệ trục tọa độ Oxy 34 Hình 2.14 Miêu tả quy trình phép tính độ đo Loss Nguồn [26] 35 Hình 2.15 Minh hoạ hoạt động tầng convolution mơ hình CNN với lọc kích thước 5x5 .35 Hình 2.16 Ví dụ minh hoạ tầng pool downsampling 36 Hình 2.17 Ví dụ minh hoạ tầng pool sử dụng hàm ReLU ma trận mẫu .36 Hình 2.18 Minh hoạ giá trị mơ hình CNN sử dụng để xác định hàm softmax 37 Hình 2.19 Minh hoạ tầng softmax mơ hình CNN với liệu MNIST 38 Hình 2.20 Giải thuật hàm cập nhật Adagrad 41 Hình 2.21 Hình quy ước màu phương pháp huấn luyện sử dụng biểu đồ 42 Hình 2.22 Biểu đồ số loss với phương pháp huấn luyện khác liệu MNIST trước thời điểm hội tụ 43 Hình 2.23 Biểu đồ độ xác với phương pháp huấn luyện khác liệu MNIST trước thời điểm hội tụ 43 Hình 2.24 Biểu đồ số loss với phương pháp huấn luyện khác liệu MNIST thời điểm phương pháp gần hội tụ 44 Hình 2.25 Biểu đồ độ xác với phương pháp huấn luyện khác liệu MNIST thời điểm phương pháp gần hội tụ 44 Hình 3.1 Minh hoạ vị trí xuất quảng cáo .48 Hình 3.2 Minh hoạ vị trí xuất quảng cáo liệu khác 49 Hình 3.3 Mơ tả luồng xử lý mơ hình nLmF-CNN 54 Hình 3.4 Minh hoạ đầu vào mơ hình nLmF-CNN 55 Hình 3.5 Biểu diễn trực quan tầng conv mô hình nLmF-CNN với n=2, m=2 55 Hình 3.6 Biểu diễn trực quan tầng relu mơ hình nLmF-CNN n=2, m=2 56 Hình 3.7 Biểu diễn trực quan tầng pool mơ hình nLmF-CNN chọn n=2, m=2 .56 Hình 3.8 Biểu diễn trực quan tầng softmax mơ hình nLmF-CNN chọn n=2, m=2 57 Hình 3.9 Biểu diễn trực quan tầng fc mơ hình nLmF-CNN với điều kiện n=2, m=2 57 Hình 3.10 Minh hoạ phân lớp sử dụng tầng Softmax .58 Hình 3.11 Kết sử dụng phân lớp SVM phân lớp Softmax ma trận mẫu 59 Hình 4.1 Bộ liệu thô thu thập từ TWC News 61 Hình 4.2 Nội dung thư mục tháng 10 63 Hình 4.3 Mẫu chương trình chuyển liệu sang kiểu nhị phân 64 Hình 4.4 Bộ Full-Stack Technology cho hệ thống .67 Hình 4.5 Kết ảnh chụp hình website http://tienphong.vn với PhantomJS 68 Hình 4.6 Minh hoạ quy trình làm việc Quá trình chụp ảnh hình với Selenium Driver 70 Hình 4.7 Giao diện hệ thống xử lý cho toán nêu 71 Hình 4.8 Biểu đồ thể thời gian huấn luyện sở thực nghiệm mơ hình nLmF-CNN với liệu môi trường Linux 72 Hình 4.9 Biểu đồ thể độ xác sau q trình huấn luyện nhanh thực nghiệm mơ hình nLmF-CNN hệ điều hành Linux với liệu .74 Hình 4.10 Biểu đồ thể thời gian huấn luyện sở thực nghiệm mơ hình nLmF-CNN với liệu môi trường Linux 76 Hình 4.11 Biểu đồ thể độ xác sau thời gian huấn luyện nhanh thực nghiệm mơ hình nLmF-CNN với liệu hệ điều hành Linux .76 Hình 4.12 Biểu đồ thể thời gian huấn luyện sở thực nghiệm mơ hình nLmF-CNN mơi trường macOS liệu .77 Hình 4.13 Biểu đồ thể độ xác sau thời gian huấn luyện nhanh thực nghiệm mơ hình nLmF-CNN hệ điều hành macOS với liệu 78 Hình 4.14 Biểu đồ thể thời gian huấn luyện sở thực nghiệm mô hình nLmF-CNN mơi trường macOS liệu .79 Hình 4.15 Biểu đồ thể độ xác sau thời gian huấn luyện nhanh thực nghiệm mơ hình nLmF-CNN hệ điều hành macOS với liệu 79 MỞ ĐẦU • Mục tiêu, nội dung đề tài Như nêu phần trên, mục tiêu đề tài hiểu giải vấn đề chính: - Mơ hình hóa tốn thực tế việc phát quảng cáo có xuất hay khơng xuất thành tốn xử lý ảnh - Phát triển mơ hình CNN cho tốn đặt - Thực nghiệm, kiểm tra, tinh chỉnh mô hình đề xuất • Đối tượng, phạm vi nghiên cứu Đối tượng: xử lý loại ảnh chụp lại, đối tượng ảnh chụp hình website, video, … muốn xác định việc có hay khơng xuất quảng cáo Phạm vi nghiên cứu: - Chuyển từ yêu cầu thực tế (phát quảng cáo ảnh) dạng mơ hình xử lý ảnh - Nghiên cứu mạng học sâu nói chung mạng CNN, rõ đặc điểm, tính chất, khả ứng dụng khả mở rộng - Xử lý số vấn đề liên quan đến xử lý ảnh: rút trích đặc trưng, phân lớp, - Đánh giá việc áp dụng mơ hình CNN cho tốn • Ý nghĩa khoa học thực tiễn đề tài Tính khoa học luận văn thể qua việc mơ hình hóa tốn thực tế thành tốn phân lớp ảnh cho kết phân lớp nhị phân đề xuất phát triển mơ hình CNN cho toán phát ảnh quảng cáo website, cụ thể thiết kế Cùng với bùng nổ mạng Internet, quảng cáo trực tuyến ngành phát triển mạnh mẽ mang lại giá trị lợi nhuận cao, ngày khơng khó để thấy xuất quảng cáo điện tử Hình Bảng tổng hợp thị phần tăng trưởng quảng cáo trực tuyến từ năm 2010 – 2015 [16] Bảng số liệu thấy qua năm giá trị thị trường quảng cáo trực tuyến tăng liên tục đạt bước phát triển ngoạn mục Như 2010 với 26.1 triệu USD năm 2015 đạt 329 triệu USD, tốc độ tăng trường 10 lần vòng năm Trang Theo số liệu gần Google tiếp cận tới 93,3% người dùng mạng Internet Việt Nam, với 3,9 tỷ pageview/tháng, trở thành đối tác 200 tờ báo khoảng 50.000 website Việt Nam Youtube Báo điện tử Thanhnien Zalo Facebook Hình Sản phẩm quảng cáo kênh trực tuyến Hình cho thấy sản phẩm mang tính thời đại đạt thành cơng sử dụng hiệu kênh quảng cáo trực tuyến: qua website tin tức thanhnien.vn, vnexpress.net…, quảng cáo qua kênh video youtube.com, hayhaytv, vimeo.com mạng xã hội facebook, zalo… Khi thực việc quảng cáo trực tuyến, có nhiều hình thức tính tiền thu lợi nhuận khác Thơng thường dựa vào cách tính tần số xuất quảng cáo bên đăng đơn vị cung cấp dịch vụ Ví dụ hệ thống quảng cáo Adword Google có nhiều cách tính khác CPM: 1000 lần hiển thị quảng cáo cho khách hàng tiềm Trang năng, CPC: Số lần nhấn vào quảng cáo Tuy nhiên CPM cách tiếp cận hiệu so với quảng cáo truyền thống Vì việc kiểm tra xuất hiện, hiển thị quảng cáo website hay video nhu cầu bên: cung cấp dịch vụ quảng cáo – ví dụ Adword (Google), Inmobi, Facebook bên khách hàng - ví dụ VNEXPRESS.NET, HDONLINE.VN nhằm kiểm tra tính xác hóa đơn tốn quảng cáo nâng cao chất lượng dịch vụ quảng cáo Bài toán công ty phần mềm đặt với nhà nghiên cứu xử lý ảnh miêu tả sau: Đầu vào: - Các URL website cần kiểm tra - Thời gian thực việc kiểm tra (được lập lịch theo phút, giờ, ngày…) - Nền tảng (hệ điều hành, trình duyệt, thiết bị) - Ảnh chụp hình website đầu vào Đầu ra: Kết luận ảnh chụp hình website đầu vào có quảng cáo hay khơng có quảng cáo Vì vậy, việc xử lý ảnh quy toán phân lớp ảnh Từ ảnh đầu vào phân lớp vào lớp: có khơng có quảng cáo kết đầu Trong phạm vi bước đầu nghiên cứu trước tiên áp dụng mơ hình CNN cho website, sau đánh giá hiệu chỉnh mơ hình thích hợp áp dụng vào lĩnh vực Video Hình Minh họa cho toán phát biểu Trang Qua hình vẽ thấy để giải toán phát biểu cần xây dựng hệ thống gồm nhiều bước: Bước 1: mở trang web cần kiểm tra xuất quảng cáo Bước 2: chụp lại hình website Bước 3: xây dựng phân lớp ảnh thích hợp Bước 4: kết luận website có xuất quảng cáo hay khơng xuất quảng cáo Việc thực bước đặt hoàn toàn xuất phát từ yêu cầu thực tế công ty phần mềm Các khách hàng mong muốn hệ thống chạy xác giống người thật Vì vậy, cần thực bước 2: chụp lại hình website để phân tích Bên cạnh việc lưu trữ hình ảnh yêu cầu công ty phần mềm nhằm mục đích đối chứng sau có xảy tranh chấp bên liên quan Đó điều mà phương pháp phân tích thẻ nội dung mã nguồn HTML không đáp ứng Chẳng hạn lý đó, truy cập vào máy chủ, quảng cáo có xuất tảng nhiên không xuất tảng khác ví dụ: quảng cáo có hiển thị iOS 10 không xuất iOS Hơn việc kiểm tra thẻ html có tồn song quảng cáo bị che lấp đối tượng khác website, quảng cáo xuất không rõ ràng hay quảng cáo khơng xuất thay đổi, tương thích cấu hình Điều thường xảy có thay đổi trình duyệt hãng cung cấp quảng cáo chưa kịp nâng cấp công cụ họ Vì cơng ty phần mềm u cầu phải phân tích ảnh chụp website Nếu quảng cáo khơng xuất ảnh chụp cơng ty có sở để cập nhật lại hóa đơn hay có thông tin đến đối tác cung cấp dịch vụ quảng cáo sửa chữa hệ thống cấu hình thích hợp Trong việc xử lý vấn đề phân lớp ảnh có nhiều phương pháp như: K-Mean, Ada-Boost, Mạng Neural, Support Vector Machine (SVM), Convolutional Neural Network (CNN)… Trang K-Mean[1]: Là phương pháp cổ điển, sử dụng số độ đo định để xác định đối tượng thuộc lớp chúng thỏa yêu cầu định sử dụng độ đo Ada – Boost[2]: Thuật tốn để xây dựng phân loại mạnh sử dụng tuyến tính kết hợp Mạng Neural[3]: Có lẽ lợi lớn mạng neural khả sử dụng chế xấp xỉ hàm tùy ý mà 'học' từ liệu quan sát Tuy nhiên, sử dụng chúng khơng đơn giản, phải tổng hợp nhiều kiến thức phức tạp cho hệ thống mạng SVM[4]: khái niệm thống kê khoa học máy tính cho tập hợp phương pháp học có giám sát liên quan đến để phân loại phân tích hồi quy SVM thuật toán phân loại nhị phân, SVM nhận liệu vào phân loại chúng vào hai lớp khác Với ví dụ luyện tập thuộc hai thể loại cho trước, thuật toán luyện tập SVM xây dựng mơ hình SVM để phân loại ví dụ khác vào hai thể loại CNN [5]: mơ hình Deep Learning tiên tiến giúp xây dựng hệ thống thông minh với độ xác cao CNN gồm vài layer convolution kết hợp với hàm kích hoạt phi tuyến (nonlinear activation function) ReLU hay để tạo thông tin trừu tượng (abstract/higher-level) cho layer Trong vài năm gần mạng học sâu thấy qua kết khảo sát bên sau: Hình Kết tìm kiếm scholar.google.com với từ khóa liên quan đến phân lớp ảnh sử dụng mơ hình CNN phần lớp ảnh sử dụng SVM Trang Hình kết tìm kiếm scholar.google.com năm gần với từ khóa liên quan đến phân lớp ảnh sử dụng phương pháp CNN (17 100 kết quả) cho kết nhiều so với từ khóa sử dụng phương pháp SVM (16 500 kết quả) Qua thấy phương pháp CNN áp dụng nhiều tốn phân lớp ảnh Ngồi ra, SVM áp dụng giai đoạn phân lớp cần có kỹ thuật xử lý ảnh khác cho bước trích chọn đặc trưng, SVM thường phải kèm với kỹ thuật xử lý ảnh khác để xây dựng hệ thống phân lớp hồn chỉnh Ví dụ tác giả Pancoast, S., & Akbacak, M [6] đề xuất hệ thống SVM kết hợp với túi từ (bag of words) Trong đó, CNN tự động xây dựng đặc trưng ảnh theo tập liệu huấn luyện qua tầng Convolution, Pool dùng tầng softmax cho giai đoạn phân lớp Vì CNN giúp xây dựng hệ thống phân lớp hồn chỉnh Theo tác giả [7][8], phương pháp CNN ln đạt kết cao nhiều phương pháp so với SVM, AdaBoot, Đặc biệt CNN thích hợp với việc xử lý liệu lớn mà phổ biến Trong phương pháp SVM phù hợp cho việc phát hành vi người, hình ảnh y tế…đây phần nhỏ công việc xử lý ảnh CNN phương pháp ổn định kiểm chứng cho vấn đề với hình ảnh nhận diện, phân lớp, truy suất liệu từ hình ảnh Ngoài theo [9] Convolutional Neural Networks (CNNs) xây dựng mơ hình mạnh mẽ cho việc nhận dạng ảnh video – phương pháp chứng nhận nhiều cơng trình nghiên cứu nhiều lĩnh vực phát hiện, phân đoạn, phân lớp, truy vấn Trong năm vừa qua đánh dấu thành công sức mạnh hệ thống mạng học sâu (Deep Network) [3] khắp giới, với thành tựu minh chứng cụ thể Trong mơ hình học sâu kể đến mơ hình CNN đạt bước tiến lớn việc chứng minh khả áp dụng vào nhiều lĩnh vực nghiên cứu khác Hướng nghiên cứu xử lý ảnh khơng nằm ngồi hướng phát triển này, vấn đề nghiên cứu xử lý ảnh áp dụng Trang nhiều với mơ hình CNN từ tốn phân lớp ảnh [10], gom nhóm, theo vết, nhận dạng [5], tìm tiếm thơng tin – tri thức từ ảnh [5]… Dựa vào khả mơ hình CNN hồn tồn thực u cầu đề với toán hướng tiếp cận có nhiều tính khả thi, giải hạn chế phương pháp Cải tiến, nghiên cứu phát triển đề tài phát ảnh quảng cáo website sử dụng mô hình CNN mục đích, nội dung đề tài Hình Minh họa tốn phát biểu sử dụng mơ hình CNN Hình Miêu tả hệ thống phát ảnh quảng cáo website sử dụng mơ hình CNN nhằm phân lớp ảnh theo yêu cầu nêu Đây toán phân lớp ảnh nhị phân với ảnh đầu vào ảnh chụp website có kích thước tồn hình chuẩn hố tỉ lệ ảnh để làm đầu vào cho mơ hình CNN Quảng cáo xuất nhiều vị trí website: đơi xuất cùng, bên phải phần nội dung, hay bên nội dung Ảnh quảng cáo có tính đa dạng thấp, biến đổi khơng cần dung hand-crafted features có tính phân biệt cao Mơ hình CNN vừa tự động xây dựng đặc trưng ảnh chụp website dựa tập liệu huấn luyện thông qua tầng thiết kế như: conv, pool, với thông số filter tầng, đồng Trang thời tầng softmax thực việc phân lớp nhị phân tương ứng với có xuất không xuất quảng cáo Như CNN vừa đóng vai trò trích xuất đặc trưng phân lớp Điều thuận tiện cho nhà phát triển sản phẩm phần mềm cần phát triển CNN mà không cần phải nghiên cứu cài đặt thêm máy học riêng biệt (SVM, AdaBoot, …) cho toán phân lớp ảnh nhị phân quảng cáo nêu Vấn đề nghiên cứu đặt phải thiết kế kiến trúc CNN (xác định số tầng, số neural tầng, cách liên kết tầng với nhau…) phù hợp cho toán phân lớp ảnh hai lớp: có xuất quảng cáo khơng xuất quảng cáo đề Thực nghiệm tính khả mơ hình đề xuất đối tượng ảnh chụp website Tính khoa học tính • Tính khoa học luận văn thể qua việc mơ hình hóa tốn thực tế thành tốn phân lớp ảnh đề xuất phát triển mơ hình CNN cho toán phát ảnh quảng cáo website, cụ thể thiết kế kiến trúc, thành phần mơ hình CNN Tính khả thi mơ hình CNN đề xuất kiểm tra qua liệu thực tế số liệu chuẩn • Tính luận văn giải toán thực tế xuất phát từ yêu cầu công ty phần mềm: Xác định có hay khơng xuất ảnh quảng cáo website Yêu cầu đưa dạng toán phân lớp ảnh lớp giải mơ hình CNN tiên tiến • Tính cấp thiết luận văn thể khía cạnh toán phát ảnh quảng cáo website tốn thực tế Việc xác định có xuất hiện, hay kiểm tra xuất quảng cáo yêu cầu bên liên quan ngành quảng cáo trực tuyến trình hợp tác kinh doanh Vì đòi hỏi cấp thiết ngành quảng cáo trực tuyến Ngoài đề tài cho thấy khả áp dụng mạnh mẽ mơ hình CNN tốn xử lý ảnh thực tế Mục tiêu, đối tượng phạm vi nghiên cứu Trang 10 Mục tiêu: Như nêu phần trên, mục tiêu đề tài , hiểu giải vấn đề chính: - Mơ hình hóa tốn thực tế việc phát quảng cáo có xuất hay khơng xuất thành tốn xử lý ảnh - Phát triển mơ hình CNN cho tốn đặt - Thực nghiệm, kiểm tra, tinh chỉnh mơ hình đề xuất Đối tượng: xử lý loại ảnh chụp lại, đối tượng ảnh chụp hình website, video,… muốn xác định việc có hay khơng xuất quảng cáo Phạm vi nghiên cứu: - Chuyển từ yêu cầu thực tế (phát quảng cáo ảnh) dạng mô hình xử lý ảnh - Nghiên cứu mạng học sâu nói chung mơ hình CNN, rõ đặc điểm, tính chất, khả ứng dụng khả mở rộng - Xử lý số vấn đề liên quan đến xử lý ảnh: rút trích đặc trưng, phân lớp, - Đánh giá việc áp dụng mơ hình CNN cho tốn Nội dung, phương pháp nghiên cứu 7.1 Nội dung nghiên cứu * Về lý thuyết: - Phát biểu mơ hình hóa u cầu kiểm tra xuất quảng cáo - Tìm hiểu mạng học sâu (Deep Networks) - Tìm hiểu mơ hình CNN (Convolutional Neural Networks) Trang 11 - Áp dụng phát triển mơ hình CNN thích hợp cho tốn đặt - Thử nghiệm đánh giá mơ hình CNN đề xuất hai bộ liệu: + Bộ liệu 1: thu thập từ website TWC có trụ sở Hoa Kỳ dự án phần mềm thực tế cung cấp Dữ liệu mẫu thu thập từ dự án thực tế trang TWC News Hoa Kỳ dựa nhiều trình duyệt khác (Chrome, FireFox, IE) chạy nhiều tảng khác hệ điều hành khác (Windows, Linux, MacOS) có tổng dung lượng 9.49 GB, thu thập từ tháng 6/2016 đến tháng 10/2016 Bảng Miêu tả chi tiết số lượng ảnh dung lượng liệu thô Tên thư mục # Số lượng ảnh Dung lượng Capture Image 201606 633 1.3 GB Capture Image 201607 1335 3.1 GB Capture Image 201608 2003 4.6 GB Capture Image 201609 4785 189.5 MB Capture Image 201610 5770 309 MB + Bộ liệu 2: liệu nội địa thị trường Việt Nam Bộ liệu thu thập từ website Báo Tiền Phong điện tử với số lượng 2000 hình có diện tích tồn website, quảng cáo xuất bên góc phải trang báo điện tử đơn vị thứ cung cấp Google Adword, Facebook, rubiconproject, … Mơ hình CNN đề xuất thực nghiệm so sánh độ xác thời gian huấn luyện, … tảng ConvNetJS ban đầu với liệu nêu Đề tài thực nghiệm theo phương pháp holdout, liệu đưa phân chia ngẫu nhiên thành phần là: tập liệu đào tạo tập liệu kiểm tra Phương pháp thích hợp cho tập liệu nhỏ Tuy nhiên, mẫu khơng đại diện cho tồn liệu (thiếu lớp tập thử nghiệm) Vì cải tiến cách dùng phương pháp lấy mẫu cho lớp phân bố Trang 12 tập liệu huấn luyện thử nghiệm Hay lấy mẫu ngẫu nhiên: thực holdout k lần độ xác acc(M) = trung bình cộng k giá trị xác * Về ứng dụng thực tế: - Xây dựng liệu mẫu cho trình huấn luyện, kiểm nghiệm mơ hình CNN - Cài đặt, tích hợp, cấu hình cho mơ hình CNN cho tốn phân lớp ảnh - Tích hợp mơ hình CNN vào toán kiểm tra xuất quảng cáo website - CNN mơ hình thơng dụng sử dụng rộng rãi lĩnh vực xử lý ảnh có nhiều thư viện mơ hình đề xuất AlexNet, VGG-16, VGG-19, ResNet sử dụng rộng rãi trích chọn đặc trưng, phân lớp ảnh, video, theo vết đối tượng, đánh giá hành vi video Trong phạm vi đề tài sử dụng tảng ConvNetJS để phát triển mơ hình CNN phù hợp cho toán phân lớp ảnh nhị phân áp dụng để phát ảnh quảng cáo website ConvNetJS tảng phát triển dựa javascript HTML, đặc điểm phù hợp cho việc lập trình phát triển sản phẩm cho dự án phần mềm thực tế hướng người dùng 7.2 Phương pháp nghiên cứu Đề tài vận dụng tổng hợp nhiều phương pháp nghiên cứu khác như: mơ hình hóa, khảo sát, thực nghiệm Mơ hình hóa yêu cầu thực tế dạng toán lý thuyết Khảo sát phương pháp có cho toán đặt Nhận xét, đánh giá, so sánh từ lựa chọn phương pháp thích hợp, tiếp đến đề xuất mơ hình tính tốn giải u cầu đặt Cài đặt thực nghiệm, tinh chỉnh thông số, kỹ thuật để nâng cao kết mơ hình đề xuất Nhận xét, đánh giá mơ hình dựa vào tiêu chí cụ thể độ xác việc phân lớp đầu ra, hiệu xuất huấn luyện, hệ số loss việc huấn luyện liệu, tốc độ thực thi, thời gian xử lý việc huấn luyện Trang 13 Bên cạnh kết hợp số phương pháp heuristic, so sánh, thống kê bổ trợ cho việc xây dựng mơ hình CNN phù hợp 7.3 Dự kiến kết đạt - Phát triển mơ hình CNN cho việc phát quảng cáo qua ảnh chứng minh tính khả thi mơ hình qua kết thực nghiệm liệu mẫu liệu thực tế - Kết thực tiễn luận văn: chương trình máy tính có khả kiểm tra phát quảng cáo, sử dụng bên liên quan ngành quảng cáo trực tuyến - Kết khoa học luận văn thể qua việc phát triển mơ hình CNN phân lớp ảnh lớp: có xuất quảng cáo hay không xuất quảng cáo Đăng 01 báo khoa học hội nghị/tạp chí khoa học nước 7.4 Hướng phát triển: - Cấu thành sản phẩm có khả cung ứng hướng dịch vụ cho người dùng phát quảng cáo cho sản phẩm cần thiết người dùng đưa mẫu đầu vào - Mở rộng mơ hình áp dụng đề xuất cho phát ảnh quảng cáo website mà áp dụng video nguồn khác Trang 14 Kế hoạch bố trí thời gian nghiên cứu: Mục tiêu Thời gian Nội dung 01 tháng Giai đoạn 1: Khảo sát tổng quan toán phát quảng cáo qua ảnh mạng học sâu Tìm hiểu mơ hình CNN tốn có 01 tháng Giai đoạn 2: Phát triển mơ hình CNN cho tốn đề ra, cài đặt mơi trường, thực nghiệm 02 tháng Giai đoạn 3: Phân tích kết thực nghiệm Luận văn Đề xuất mơ hình CNN phù hợp cho tốn, tinh chỉnh mơ hình Đề xuất cải tiến nhằm nâng cao hiệu Xâu dựng thành phần cần thiết cho mơ hình 02 tháng Giai đoạn 4: Hồn chỉnh việc phát triển mơ hình CNN đề xuất Viết 01 báo khoa học cho hội nghị - tạp chí chun ngành hay ngồi nước 01 tháng Giai đoạn 5: Báo cáo khóa luận thạc sĩ Viết khóa luận thạc sĩ Trang 15 Tài liệu tham khảo [1] Dasari, K., Anjaneyulu, L., Jayasri, P V., & Prasad, A V V (2015, December) Importance of speckle filtering in image classification of SAR data In Microwave, Optical and Communication Engineering (ICMOCE), 2015 International Conference on (pp 349-352) IEEE [2] Schapire, R E (2013) Explaining adaboost In Empirical inference (pp 37- 52) Springer Berlin Heidelberg [3] Krig, S (2016) Feature Learning and Deep Learning Architecture Survey In Computer Vision Metrics (pp 375-514) Springer International Publishing [4] Orrù, G., Pettersson-Yeo, W., Marquand, A F., Sartori, G., & Mechelli, A (2012) Using support vector machine to identify imaging biomarkers of neurological and psychiatric disease: a critical review Neuroscience & Biobehavioral Reviews, 36(4), 1140-1152 [5] LeCun, Y., Bottou, L., Bengio, Y., & Haffner, P (1998) Gradient-based learning applied to document recognition Proceedings of the IEEE, 86(11), 2278-2324 [6] Pancoast, S., & Akbacak, M (2012, September) Bag-of-Audio-Words Approach for Multimedia Event Classification In Interspeech (pp 2105-2108) [7] Lu, Dengsheng, and Qihao Weng "A survey of image classification methods and techniques for improving classification performance." International journal of Remote sensing 28.5 (2007): 823-870 [8] Vishal T V, Srinidhi S, Srividhya S, Sri Vishnu Kumar K, Swathika R (2016), A Survey and Comparison of Artificial Intelligence Techniques for Image Classification and Their Applications, (pp 187-193), ISSN (Online): 2319-7064, Volume Issue [9] Nguyen, P.s Q., Do, T., Nguyen-Thi, A T., Ngo, T D., Le, D D., & Nguyen, T A H (2016, September) Clustering web video search results with convolutional neural networks In Information and Computer Science (NICS), 2016 3rd National Foundation for Science and Technology Development Conference on (pp 135-140) IEEE Trang 16 [10] Ngiam, J., Chen, Z., Chia, D., Koh, P W., Le, Q V., & Ng, A Y (2010) Tiled convolutional neural networks In Advances in neural information processing systems (pp 1279-1287) [11] Rouhi, R., Jafari, M., Kasaei, S., & Keshavarzian, P (2015) Benign and malignant breast tumors classification based on region growing and CNN segmentation Expert Systems with Applications, 42(3), 990-1002 [12] Karpathy, A., Toderici, G., Shetty, S., Leung, T., Sukthankar, R., & Fei-Fei, L (2014) Large-scale video classification with convolutional neural networks In Proceedings of the IEEE conference on Computer Vision and Pattern Recognition (pp 1725-1732) [13] Farabet, C., Couprie, C., Najman, L., & LeCun, Y (2013) Learning hierarchical features for scene labeling IEEE transactions on pattern analysis and machine intelligence, 35(8), 1915-1929 [14] Krizhevsky, A., Sutskever, I., & Hinton, G E (2012) Imagenet classification with deep convolutional neural networks In Advances in neural information processing systems (pp 1097-1105) [15] An Tien Vo, Thai Quang Le, Hai Son Tran, Thai Hoang Le (2016) A Fusion TLD and CMT Model for Motion Object Tracking, The International Conference on Information, System and Convergence Applications, July 13-16, 2016 in Chiang Mai, Thailand, (pp 60-63), ISSN 2383-479X, Vol.3 No.1 [16] Trung tâm nghiệp vụ báo chí truyền thơng (CMP) – Nguyễn Cường, http://nguyencuong.org/tong-quan-thi-truong-quang-cao-truc-tuyen-viet-nam2010-2015, (ngày truy cập: 16-02-2017) TP HCM, ngày tháng NGƯỜI HƯỚNG DẪN năm 2017 HỌC VIÊN KÝ TÊN PGS TS Lê Hoàng Thái Võ Tiến An Trang 17 ... kiểm tra phát quảng cáo, sử dụng bên liên quan ngành quảng cáo trực tuyến Kết khoa học luận văn thể qua việc phát triển mô hình CNN phân lớp ảnh lớp: có xuất quảng cáo hay không xuất quảng cáo Đăng... xuất quảng cáo website Lớp NO có nghĩa website có khơng có xuất hiện, quảng cáo xuất khơng xác quảng cáo xuất bị che khuất 1.3 Hướng tiếp cận giải pháp cho toán phát ảnh quảng cáo Việc mơ hình. .. toán phân lớp ảnh cho kết phân lớp nhị phân đề xuất phát triển mơ hình CNN cho toán phát ảnh quảng cáo website, cụ thể thiết kế kiến trúc, thành phần mơ hình CNN Tính khả thi mơ hình CNN đề xuất