Thiết kế, phân tích và phát triển một thuật toán di truyền tương tác để tạo sinh ảnh dựa theo hướng dẫn đánh giá của con ngườ dự án permutopainter

Kỷ yếu công trình khoa học 2015 - Phần I THIẾT KẾ, PHÂN TÍCH VÀ PHÁT TRIỂN MỘT THUẬT TOÁN DI TRUYỀN TƢƠNG TÁC ĐỂ TẠO SINH ẢNH DỰA THEO HƢỚNG DẪN ĐÁNH GIÁ CỦA CON NGƢỜI : DỰ ÁN PERMUTOPAINTER Đào Thị Duyên Khoa Toán-Tin, Đại học Thăng Long Email: dtduyen90@gmail.com Tóm tắt: Dự án PermutoPainter dựa ý tưởng sưu tập “Arrangement avec le hasard” (Sắp xếp ngẫu nhiên) triển lãm Paris vào tháng 11 năm 2014 họa sĩ người pháp Bernard Gortais Bộ sưu tập giống việc nghiên cứu thứ tự xếp 6x4 ô vuông tranh cách xoay quay chúng góc 90o tráo đổi vị trí ô cho Mục đích dự án tạo cấu trúc thú vị cách kết hợp ngẫu nhiên 24 ô tranh Vì với cách bố trí đường nét (lên, xuống, ngang, dọc), màu sắc bố cục khác nhau, đem lại cho người xem cảm xúc khác Trong báo này,chúng sử dụng số kỹ thuật nhằm trích rút đặc trưng ảnh, sau sử dụng thuật toán K-medoids để phân cụm ảnh Cuối sử dụng thuật toán rừng ngẫu nhiên kết hợp với tương tác người dùng tạo hình ảnh giống với ý muốn người dùng Từ khóa: Giải thuật di truyền, phân cụm, Rừng ngẫu nhiên, Xử lý ảnh, KMedoids Mở đầu Hội họa điều mà không nghĩ máy tính tạo Bởi trừu tượng, biểu cảm, gắn liền với văn hóa, tâm lý học chủ quan Còn máy tính khách quan, xác chi phối nguyên tắc toán học Tuy nhiên, thực tế, hội họa lĩnh vực nghệ thuật thị giác khác sử dụng nhiều toán học hình học, luật phối cảnh, thuật toán, mà máy tính hiểu để tạo hình ảnh đa dạng, tinh tế giống người họa sĩ Một người tiên phong lĩnh vực họa sĩ Harold Cohen Ông xây dựng chương trình sáng tạo nghệ thuật sử dụng trí thông nhân tạo AARON năm 1973 [1] Việc sử dụng thuật toán tiến hóa tương tác giải thuật di truyền để tạo sinh ảnh trở nên phổ biến mà nguốn gốc tìm thấy sách “The Blind Watchmaker” [2] viết nhà sinh học tiến hóa Richard Dawkins Sau đó, hệ thống phát triển [3] [4] Chúng xem tác phẩm nghệ thuật có ảnh hưởng lĩnh vực nghệ thuật thị giác Trào lưu mở lĩnh vực nghệ thuật mới, “Nghệ thuật tiến hóa” [5] Trường Đại học Thăng Long Kỷ yếu công trình khoa học 2015 - Phần I Trong báo này, trình bày dự án PermutoPainter phát triển sưu tập “Sắp xếp ngẫu nhiên” họa sĩ người pháp Bernard Gortais Nó triển lãm Paris vào tháng 11 năm 2014 Một tác phẩm hội họa (ví dụ đường trải dài tranh hình 1) căt thành 24 ô vuông lại ghép lại cách ngẫu nhiên, hoàn toàn độc lập với ảnh ban đầu Hình 1- Ví dụ kiểu xếp Yêu cầu người dùng xây dựng công cụ cho phép khám phá ý kiến khách quan mang tính nghệ thuật với số lượng lớn hoán vị tập không gian (khái niệm không gian bố cục ảnh) kết hợp với phát tính chất bật hoán vị, xác định người sử dụng Đó lý xây dựng dự án PermutoPainter Bằng cách phân tích cài đặt thuật toán tiến hóa nhằm giúp tìm kiếm xác định cách hiệu kết hợp “interesting” từ mảnh nhỏ ảnh với tương tác người dùng (Feng & Ting, 2014) Trước tiên, ảnh cắt thành 6x4 phần nhau, sau chúng chuyển sang dạng nhị phân, tính toán điểm đặc trưng ảnh biểu diễn đặc trưng thành véctơ mô tả n-chiều Các véctơ phân nhóm vào k-cụm (cluster) thuật toán K-medoids Những ảnh trung tâm cụm hiển thị cho người dùng đánh giá độ thú vị (interest) định tính ảnh (ví dụ: buồn, vui, tĩnh mịch hay sôi động…) Tiếp đến, sử dụng thuật toán rừng ngẫu nhiên để huấn luyện Thuật toán thường phù hợp với liệu có số chiều lớn Cuối cùng, chương trình tạo sinh ảnh thuộc lớp thuộc tính mà người dùng yêu cầu Phần lại báo tổ chức sau: phần mô tả nghiên cứu, sở lý thuyết liên quan tới đề tài; phần mô tả khái quát phương pháp nghiên cứu áp dụng đề tài Sau kết thực nghiệm trình bày phần Cuối phần kết luận hướng phát triển Các nghiên cứu liên quan Trường Đại học Thăng Long Kỷ yếu công trình khoa học 2015 - Phần I Trong mục phân tích sở lý thuyết liên quan tới báo Trước tiên ứng dụng tạo sinh ảnh dựa giải thuật di truyền nhóm tác giả người Đài Loan [6] Tiếp đến, với mục đích giúp người đọc hiểu thú vị tranh, phần mô tả ngắn gọn nghệ thuật thị giác, thành phần tạo nên cảm xúc hội họa Cuối số kỹ thuật sử dụng việc biểu diễn ảnh 2.1 Hệ thống EvoEco – ví dụ tạo sinh ảnh EvoEco hệ thống xây dựng dựa tảng đa tác tử (multi-agent) Nó gồm hai giai đoạn chính: sinh sản (tạo đối tượng ảnh) tiến hóa (lựa chọn làm tiến hóa nhiễm sắc thể) Một ảnh biểu diễn nhiễm sắc thể với thành phần gồm k tác tử (agent) Các tác tử thực việc sơn màu cho tranh suốt trình sống chúng Quá trình tiến hóa EvoEco để tạo sinh ảnh gồm giai đoạn sau: Xác định ngẫu nhiên màu cho nhiễm sắc thể Các nhiễm sắc thể xây dựng nhờ trình sơn tác tử suốt trình sống chúng Đột biến lai tạo nhiễm sắc thể vừa tạo Hình 2- Giao diện hệ thống EvoEco vài ảnh đánh giá 2.2 Nghệ thuật thị giác trừu tượng Thuật Nghệ thuật thị giác nghệ thuật mà nhìn thấy, giống tranh, hình ảnh… mang lại cảm xúc, trực giác diễn quanh tiềm ẩn bên người, mà mô tả cách dễ dàng lời Sự trừu tượng tạo nên màu sắc, cấu trúc, kết hợp, nhịp Trường Đại học Thăng Long Kỷ yếu công trình khoa học 2015 - Phần I điệu, đối xứng, tương phản nét vẽ Nó mô tả chi tiết hệ thống Kandinsky (Gortais, 2003)  Đối với Kandinsky, vật, tượng trái đất biểu diễn yếu tố chủ yếu điểm, đường nét mặt phẳng  Điểm: hình dạng nhỏ thành phần hội họa Nó thể im lặng, hướng nội, đồng tâm tĩnh  Đường nét: với hướng hình dạng khác nhau, gợi lên cảm xúc khác Chẳng hạn, đường thẳng nằm ngang thể dòng thời gian, màu đen, tĩnh lặng lạnh Nhưng đường thẳng đứng, gây cảm giác ngắt quãng, ý tưởng mới, cảm xúc tỉnh táo, nóng Một đường chéo kết hợp cảm xúc đường nằm ngang thẳng đứng Một đường cong thể tính trữ tình…  Mặt phẳng: Bốn phía mặt phẳng có cộng hưởng đặc biệt Hướng từ xuống tạo cảm giác rơi xuống nhẹ nhàng Hướng bên phải có nghĩa khởi hành, hướng bên trái tạo cảm giác trở Chúng ta cảm nhận khác biệt thông qua tác phẩm điêu khắc tiếng Albrecht Dürer Bản gốc phía bên trái Xem ảnh cách che khuất ảnh lại cảm nhận có hay không khác biệt nhận thức Hình - Tác phẩm điêu khắc “ Cái chết, ma quỷ hiệp sĩ „ Trường Đại học Thăng Long Kỷ yếu công trình khoa học 2015 - Phần I 2.3 Biểu diễn ảnh Để bắt đầu dự án, thực bước biểu diễn ảnh Đây bước quan trọng phân loại ảnh Nó ảnh hưởng lớn tới kết phân loại cuối Hiện nay, có hai cách tiếp cận biểu diễn ảnh là: sử dụng nét đặc trưng toàn cục (global features) phân bố màu (histograme), moment bất biến Hu, phép chiếu (projection), phép biến đổi profile sử dụng nét đặc trưng cục (local features) SIFT [7], BRIEF [8] ORB [9] Cách tiếp cận thứ đơn giản không hiệu với biến đổi góc nhìn, tỉ lệ, tịnh tiến, phép quay, độ sáng, khả chịu đựng thay đổi độ sáng, che khuất nhiễu Ngược lại, cách tiếp cận thứ hai xử lý tốt trường hợp đem lại hiểu cao phân loại nhận diện ảnh Vì vậy, tùy thuộc vào đặc điểm đối tượng trích rút ví dụ khuôn mặt, chữ viết tay… mà lựa chọn phương pháp phù hợp Phƣơng pháp đề xuất Do đặc điểm dự án tạo sinh ảnh cách hoán đổi vị trí 6x4 ô nhỏ chia cắt từ ảnh ban đầu Chính vậy, bước dự án tạo tập liệu 1000 ảnh dựa phép tráo đổi vị trí, phép xoay ngẫu nhiên ô ảnh ban đầu mô hình đây: Hình – Mô thuật toán sinh ảnh ngẫu nhiên Từ ảnh ban đầu I0, với phép tráo đổi vị trí ô vuông với (tối thiểu ô có đường), ta ảnh có khoảng cách d = với ảnh gốc Từ ảnh này, ta lại tiếp tục thay đổi vị trí ô khác, ta ảnh có khoảng cách d = với ảnh gốc Tại ảnh vừa tạo ra, ta thực phép xoay ô có đường góc 90o, 180o 270o để tạo ảnh Với tập liệu ảnh vừa tạo ra, thực trích rút đặc trưng ảnh biểu diễn chúng dạng véctơ 264 chiều Do N ảnh tạo từ Trường Đại học Thăng Long Kỷ yếu công trình khoa học 2015 - Phần I ảnh ban đầu nên điểm ảnh hoàn toàn giống nhau, chúng khác vị trí Chính lý này, việc sử dụng nét đặc trưng cục số phương pháp nghiên cứu phía không hiệu Chúng thực trích rút đặc trưng đường nét sau:  Đặc trưng cục (xét ô nhỏ ảnh): tính toán tọa độ giao điểm đường cạnh ô, độ dài, độ rộng, hướng bounding box đường  Đặc trưng toàn cục (xét toàn ảnh): tính toán số lượng đường, số lượng đường xiên chéo lên, số lượng vòng tròn, số lượng đường nằm ½ phía ảnh, số đường nằm ngang nằm nửa bên trái Sau biểu diễn ảnh dạng véctơ đặc trưng, sử dụng thuật toán K-medoids [10] nhằm chọn ảnh đặc trưng cụm để hiển thi cho người dùng nhằm giúp người dùng có nhìn tổng quan tập ảnh sinh Từ người dùng có đánh giá khách quan, hiệu cho việc huấn luyện mô hình học tự động thuật toán rừng ngẫu nhiên 3.1 Phân cụm thuật toán K-Medoids Phân cụm kỹ thuật quan trọng khai phá liệu, thuộc lớp phương pháp học không giám sát học máy Một thuật toán sử dụng phổ biến kỹ thuật phân cụm thuật toán K-means Tuy nhiên, thuật toán khả tìm cụm lồi cụm có hình dạng phức tạp, nhạy cảm với nhiễu phần tử ngoại lai liệu Chính lý này, lựa chọn K-medoids – biến thể K-means Nó có khả khắc phục nhiễu cách chọn đối tượng gần cụm làm trung tâm cụm (medoid) Ý tưởng thuật toán thể qua hình sau: Hình – Minh họa thuật toán K-medoids [11] 3.2 Rừng ngẫu nhiên Trường Đại học Thăng Long Kỷ yếu công trình khoa học 2015 - Phần I Rừng ngẫu nhiên [12] phương pháp phân lớp hồi quy dựa việc kết hợp kết dự đoán số lượng lớn định không cắt nhánh Mỗi xây dựng tập mẫu bootstrap (như Bagging), lấy ngẫu nhiên từ tập liệu ban đầu, nút phân hoạch tốt từ việc chọn ngẫu nhiên không gian thuộc tính Lỗi tổng quát rừng phụ thuộc vào độ xác tương quan Do không cắt nhánh nên ta thu với độ lệch thấp, giảm thiểu thành phần lỗi bias Ngoài ra, việc xây dựng không gian thuộc tính cách ngẫu nhiên nên mối tương quan giảm thiểu Khi so sánh với giải thuật học máy có giám sát SVM, Boosting rừng ngẫu nhiên có độ xác cao Như Breiman đề cập [12], rừng ngẫu nhiên học nhanh, chịu đựng nhiễu tốt, tránh tình trạng học vẹt Kết thực nghiệm Trong phần thực nghiệm, sử dụng ngôn ngữ lập trình c/c++ với thư viện mã nguồn mở OpenCV để xử lý ảnh IDE QtCreator 5.3 để xây dựng giao diện Chương trình hoạt động tốt Linux Mac OS X Ba giao diện chương trình minh họa hình 5:  Giao diện 1: Người dùng thao tác trực tiếp ảnh gốc để quay cháo đổi vị trí ô cho  Giao diện 2: Hệ thống tạo N ảnh sử dụng thuật toán K-Medoids để phân cụm hiển thị trung tâm cụm cho người dùng Người dùng đánh giá độ thú vị ảnh  Giao diện 3: Những ảnh thú vị người dùng gán cho cảm xúc tương ứng với cảm nhận họ Sau nhiều lần đánh giá, hệ thống xây dựng mô hình học tạo ảnh theo tiêu chí cảm xúc mà người dùng yêu cầu Kết hiển thị giao diện Quá trình lặp lặp lại người dùng muốn dừng Người dùng đánh giá bố cục mà có đường tập trung tạo thành đường chéo không gian bố cục “sôi động” Người dùng mong muốn hệ thống đề suất xếp ngẫu nhiên thú vị Xuất phát từ đường nét đơn giản, người dùng chọn xếp cho có nhiều nhất đường tập trung đường chéo tranh Người dùng gán cho tranh giá trị đánh giá độ thú vị nhãn tương ứng “sôi động” Chương trình lựa chọn tạo ảnh phù hợp với cách mà người dùng mong muốn Hình 6, hình 7, hình minh họa đánh giá kết thu người dùng Trường Đại học Thăng Long Kỷ yếu công trình khoa học 2015 - Phần I Hình – Hệ thống PermutoPainter Sau trình sử dụng chương trình, người dùng thu tranh có bố cục sôi động, yên tĩnh bi kịch theo tiêu chí đánh giá họ Dưới kết thu được: Hình 6- Bernard Gortais – Ví dụ bố cục sôi động Trường Đại học Thăng Long Kỷ yếu công trình khoa học 2015 - Phần I Hình 7- Bernard Gortais – Ví dụ bố cục yên tĩnh Hình 8- Bernard Gortais – Ví dụ bố cục bi kịch Kết luận hƣớng phát triển Chương trình đơn giản đáp ứng yêu cầu ban đầu người dùng Vì hoán vị xảy cách ngẫu nhiên nên không gian ảnh đa dạng, giúp người dùng phát nhiều trường hợp hoán vị thú vị Tuy nhiên, chương trình số hạn chế nhiều thời gian để tạo sinh ảnh, người dùng phải thực đánh giá nhiều lần để tạo số lượng ảnh tương đối tốt cho trình học phương thức trích rút đặc trưng ảnh chưa thực tốt Trong tương lai, cố gắng cải tiến nhược điểm trên, áp dụng nhiều phương thức biểu diễn ảnh khác để chọn phương thức phù hợp Đặc biệt, cố gắng cải tiến chương trình để xử lý với ảnh đầu vào trừu tượng Tài liệu tham khảo [1] Boden, M A (1998) Creativity and artificial intelligence Artificial Intelligence, 103(1–2), 347–356 [2] Boden, M A (2009) Computer Models of Creativity AI Magazine, 30(3), 23 [3] Breiman, L (2001) Random Forests Machine Learning, 45(1), 5–32 [4] [5] [6] Calonder, M., Lepetit, V., Strecha, C., & Fua, P (2010) BRIEF: Binary Robust Independent Elementary Features In K Daniilidis, P Maragos, & N Paragios (Eds.), Computer Vision – ECCV 2010 (pp 778–792) Dawkins, R (2006) Blind Watchmaker (Fifth edition) London: Penguin UK Feng, S.-Y., & Ting, C.-K (2014) Painting Using Genetic Algorithm with Aesthetic Evaluation of Visual Quality In S.-M Cheng & M.-Y Day (Eds.), Technologies and Applications of Artificial Intelligence (pp 124–135) Trường Đại học Thăng Long Kỷ yếu công trình khoa học 2015 - Phần I [7] Gopi Gandhi, R S (2014) Review Paper: A Comparative Study on Partitioning Techniques of Clustering Algorithms, 87(9) [8] Lowe, D G (2004) Distinctive Image Features from Scale-Invariant Keypoints International Journal of Computer Vision, 60(2), 91–110 [9] Park, H., Lee, J., & Jun, C (2006) Abstract A K-means-like Algorithm for Kmedoids Clustering and Its Performance [10] Rublee, E., Rabaud, V., Konolige, K., & Bradski, G (2011) ORB: An efficient alternative to SIFT or SURF In 2011 IEEE International Conference on Computer Vision (ICCV) (pp 2564–2571) http://doi.org/10.1109/ICCV.2011.6126544 [11] Sims, K (1991) Artificial Evolution for Computer Graphics Computer Graphics, 319–328 [12] Todd, S., & Latham, W (1994) Evolutionary Art and Computers Orlando, FL, USA: Academic Press, Inc DESIGN, DEVELOPMENT AND ANALYSIS OF GENETIC ALGORITHM INTERACTIVE TO GENERATE IMAGES GUIDED BY HUMAN EVALUATION: THE PERMUTOPAINTER PROJECT Abstract: The project PermutoPainter is based on the idea of the series “Arrangement avec le hasard” (Random Arrangement) was exhibited in Paris in November 2014 by the French painter Bernard Gortais It looks like looking for an order in the chaos of possible 6x4 square arrangements on a picture that can be rotated on themselves 90o or swap positions between each cell The main purpose of this project is to create interesting structures by combining random 24 boxes of painting As the line position (up, down, horizontal, vertical), color and layout on a picture is changed, it will give the viewer the different emotions This topic is concerning with the two popular domains like image processing and machine learning In this project, I used several techniques to extract features of each image, then using the K-Medoids algorithms for clustering and finally using the random forest and Genetic algorithms with interaction of users to create user expected pictures Keywords: Algorithm genetic, Clustering, Random Forest, Image Processing, K-Medoids Trường Đại học Thăng Long 10 ... gốc để quay cháo đổi vị trí ô cho  Giao di n 2: Hệ thống tạo N ảnh sử dụng thuật toán K-Medoids để phân cụm hiển thị trung tâm cụm cho người dùng Người dùng đánh giá độ thú vị ảnh  Giao di n... tổng quan tập ảnh sinh Từ người dùng có đánh giá khách quan, hiệu cho việc huấn luyện mô hình học tự động thuật toán rừng ngẫu nhiên 3.1 Phân cụm thuật toán K-Medoids Phân cụm kỹ thuật quan trọng... xây dựng nhờ trình sơn tác tử suốt trình sống chúng Đột biến lai tạo nhiễm sắc thể vừa tạo Hình 2- Giao di n hệ thống EvoEco vài ảnh đánh giá 2.2 Nghệ thuật thị giác trừu tượng Thuật Nghệ thuật