Nghệ thuật xuất hiện và phát triển từng ngày cùng với xã hội loài người.
Nghệ thuật phan ánh cuộc sống, thế giới thông qua các hình tượng trong tư
duy, trí tưởng tượng của con người. Hội họa là một trong những hình thức phổ biến nhất của nghệ thuật. Ngôn ngữ bằng tranh ảnh được thể hiện mạnh mẽ và
phong phú. Trải qua hàng ngàn năm, người ta vẫn bị thu hút bởi phong cách vẽ
của những họa sĩ như Pablo Picasso, Vincent Van Gogh, Leonardo da Vinci,....
Trong quá khứ, việc vẽ lại tranh theo một phong cách cụ thể nào đó được thực
hiện từ những người họa sĩ chuyên nghiệp và phải tốn rất nhiều thời gian, chỉ phí. Vào khoảng giữa những năm 1990, lý thuyết nghệ thuật đã thu hút các
nhà nghiên cứu khoa học máy tính. Từ đó, kỹ thuật chuyển đổi phong cách ảnh
(style transfer) được đề xuất.
Neural Style Transfer (NST) là một bài toán mới trong lĩnh vực Trí tuệ nhân
tạo. Nhiệm vụ chính của bài toán là tạo ra hình ảnh mới bằng cách kết hợp nội
dung của một ảnh (content image) và phong cách của một ảnh (style image) khác. Sự kết hợp giữa nội dung và phong cách này nếu được lựa chọn một cách
phù hợp có thể tạo ra một bức ảnh nghệ thuật đặc sắc. Nhờ sự xuất hiện của
thuật toán này, việc tạo ra những bức tranh nghệ thuật trở nên dễ dàng hơn.
NST trở nên phổ biến trong những năm gần đây, thu hút được nhiều nhà nghiên cứu cho ra nhiều thuật toán nổi bật. Phạm vi nghiên cứu không chỉ dừng lại
trên hình ảnh mà được mở rộng trên video (được xử lý thời gian thực), văn bản,
âm thanh. Trong phạm vi khóa luận chỉ đề cập đến việc thực hiện NST trên
ảnh hai chiều. Hình 1.1 là một minh họa cho bài toán NST trên ảnh. Đầu vào nhận một ảnh chân dung và một bức họa nghệ thuật. Đầu ra sẽ là một tấm ảnh
mang nội dung của ảnh chân dung nhưng được vẽ theo phong cách của bức họa nghệ thuật.
Ảnh nội dung Ảnh phong cách
Hình 1.1: Chuyển đổi phong cách ảnh. Kết hợp nội dung của ảnh Brad Pitt với phong cách từ bức họa của họa sĩ Felix Vallotton sử dụng thuật toán chuyển đổi
phong cách ảnh.
1.2 "Thách thức, khó khăn của bài toán
Bài toán chuyển đổi phong cách ảnh đã và đang thu hút được nhiều sự quan
tâm từ các nhà nghiên cứu. Hằng năm, ở những hội nghị lớn về thị giác máy tính như ICCV, CVPR số lượng bài báo được công bố về đề tài neural style transfer vẫn chưa dừng lại. Tuy nhiên bài toán này còn gặp nhiều thách thức. Dưới đây liệt kê một số thách thức mà chúng tôi nhận được trong quá trình
tìm hiểu các thuật toán chuyển đổi phong cách ảnh.
Sự tương quan giữa ảnh nội dung và ảnh phong cách. Việc lựa chọn
ảnh phong cách tùy ý giúp cho ảnh kết quả nhận được trở nên đa dạng, phong phú hơn và có sự đột phá về nghệ thuật. Tuy nhiên, qua quá trình thực nghiệm
với một số phương pháp chuyển đổi phong cách ảnh, chúng tôi nhận thấy kết
quả nhận được sẽ tốt hơn nếu chọn ảnh phong cách là ảnh nghệ thuật có cùng chủ đề với ảnh nội dung. Lựa chọn một bức ảnh phong cách không phù hợp sẽ dẫn đến ảnh kết quả có những họa tiết không mong muốn hoặc không phù hợp
với ảnh nội dung. Hình 1.2 là một ví dụ minh họa.
Hình 1.2: Thách thức về sự tương quan giữa ảnh nội dung va ảnh phong cách. Với cùng một bức ảnh nội dung là ảnh thảo nguyên, (a) chọn ảnh phong cách
là một bức tranh chân dung của một cô gái - khác chủ đề với ảnh nội dung; (b) chọn ảnh phong cách là bức tranh đồng cỏ - cùng chủ đề với ảnh nội dung. Có
thể thấy (b) cho ảnh kết quả tốt hơn sau khi chuyển đổi phong cách. Ảnh kết
quả của (a) xuất hiện những họa tiết không mong muốn làm mất đi nội dung
của ảnh thảo nguyên.
Áp dụng phong cách cho từng phạm vi ngữ nghĩa. Các thuật toán
chuyển đổi phong cách ảnh mới hiện nay đã quan tâm đến đặc trưng ngữ nghĩa
của ảnh nội dung và ảnh phong cách. Tuy nhiên trong một số trường hợp phạm
vi áp dụng phong cách chưa được như mong muốn. Nhìn vào kết quả Hình 1.3
với ảnh nội dung là ảnh thảo nguyên, bằng trực quan có thể thấy ảnh phong cách có chủ đề gần giống với ảnh nội dung (chủ đề thiên nhiên), vùng nổi bật
của hai bức ảnh này có cùng chủ đề (cái cây). Với hy vọng ảnh kết quả sẽ có cây trên thảo nguyên màu hồng từ từ của ảnh phong cách, các chỉ tiết còn lại
có màu xanh xám giống phần nền của ảnh phong cách. Tuy nhiên, ảnh kết quả chưa được như mong muốn, màu hồng không chỉ tập trung vào cái cây mà nằm rải rác khắp bức tranh.