Khảo sát và đánh giá về các hướng tiếp cận lựa chọn đặc trưng trong bài toán đánh cờ có độ phân nhánh cao

11 49 0
Khảo sát và đánh giá về các hướng tiếp cận lựa chọn đặc trưng trong bài toán đánh cờ có độ phân nhánh cao

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

Thông tin tài liệu

Bài báo này trình bày những vấn đề cốt lõi và quan trọng trong việc phát triển một chương trình đánh cờ như Cây tìm kiếm, hàm lượng giá, lựa chọn đặc trưng và làm cách nào để đánh trọng số cho các đặc trưng dựa vào dữ liệu các ván cờ có sẵn.

Tạp chí Khoa học Đại học Huế: Kỹ thuật Công nghệ; ISSN 2588–1175 Tập 127, Số 2A, 2018, Tr 147–157; DOI: 10.26459/hueuni-jtt.v127i2A.5099 KHẢO SÁT VÀ ĐÁNH GIÁ VỀ CÁC HƯỚNG TIẾP CẬN LỰA CHỌN ĐẶC TRƯNG TRONG BÀI TOÁN ĐÁNH CỜ CĨ ĐỘ PHÂN NHÁNH CAO Đặng Cơng Quốc1, Nguyễn Đăng Bình1, Nguyễn Quốc Huy Trường Đại học Khoa học, Đại học Huế 77 Nguyễn Huệ, phường Phú Nhuận, TP Huế, tỉnh Thừa Thiên Huế Khoa Cơng nghệ thơng tin – Trường Đại học Sài Gịn 273 An Dương Vương, Quận 5, TP Hồ Chí Minh Tóm tắt Lựa chọn đặc trưng đóng vai trị quan trọng học máy Các chương trình đánh cờ môi trường thử nghiệm tuyệt vời cho các nghiên cứu về AI, thực sự thách thức lớn trị chơi có đợ phân nhánh cao cờ Vây, Amazon, Connect6 Tìm đặc trưng tốt từ dữ liệu các ván cờ có sẵn thật sự vấn đề không dễ dàng Bài báo trình bày những vấn đề cốt lõi quan trọng việc phát triển một chương trình đánh cờ Cây tìm kiếm, hàm lượng giá, lựa chọn đặc trưng, làm cách để đánh trọng số cho các đặc trưng dựa vào dữ liệu các ván cờ có sẵn Từ khóa: lựa chọn đặc trưng, Connect6, hàm lượng giá Giới thiệu Đánh cờ một chuỗi lặp lặp lại việc chọn lựa nước giữa hai người chơi Trạng thái bàn cờ thay đổi một nước mới được thực Nói cách khác, toán tìm kiếm giải pháp tối ưu một trạng thái bàn cờ Mức độ tối ưu việc chọn lựa giải pháp thể tính thơng minh chương trình Mợt trò chơi bao gồm tất các nước có thể có hai người chơi nút thể một trạng thái bàn cờ sau nhận một nước từ người chơi Từ một nút (trạng thái) có thể có nhiều lựa chọn cho nước đó; số nước có thể chọn được gọi hệ số phân nhánh Độ sâu trị chơi sớ lần thay đổi lượt hai người chơi Hình minh họa trị chơi trị chơi đới kháng Tic-Tac-Toe; trị chơi cực kì đơn giản vì chơi không gian × = Hai người chơi X O Đới với trị chơi Tic-Tac-Toe, ô có tối đa trạng thái (O, X, trống) Số ô bàn cờ 9, nên không gian trạng thái bàn cờ trò chơi Tic-Tac-Toe 39 = 19.683 Số lượng 9! = 362.880 Đối với máy tính đại thì những trị chơi có khơng gian tìm kiếm nhỏ trị chơi Tic-Tac-Toe thì máy tính có thể vét cạn, lúc đó chương trình đánh cờ từ hòa đến thắng vì biết được nước tốt nhất theo cách đối phương Các trị chơi có khơng gian tìm kiếm trung bình Connect4, Riversi, Chess, Chinese Chess Shogi thì máy tính khơng đủ khả * Liên hệ: dangcongquoc1968@gmail.com Nhận bài: 4–9–2018; Hoàn thành phản biện: 18–10–2018; Ngày nhận đăng: 30–01–2019 Đặng Công Quốc Cs Tập 127, Số 2A, 2018 để vét cạn Lúc đó, máy tính có thể tính trước mợt sớ bước đó ước lượng Chương trình máy tính mạnh hay yếu nhờ vào khả ước lượng Hình Cây trị chơi Tic-Tac-Toe Một số thuật toán tìm kiếm truyền thống tìm kiếm Minimax, Alpha-Beta (αβ) tìm kiếm A* được ứng dụng rất thành công nhiều lĩnh vực Ví dụ trị chơi, trạng thái hành mợt trị chơi, tìm kiếm được vẽ để miêu tả các nước có thể từ trạng thái hành đó Nếu ta mở rộng nước cuối thì chắn tìm được nước tối ưu theo kiểu lan trùn ngược Minimax Connect6 mợt trị chơi có tính chất đới kháng được chơi mợt bàn cờ có kích thước 19 × 19 họ trò chơi k-in-a-row [1] Xu cs đề xuất vào năm 2013 Kích thước bàn cờ lớn luật chơi với hai quân cờ lượt nên không gian tìm kiếm nước Connect6 rất lớn, độ phức tạp không gian trạng thái 10.172 nên phải lựa chọn đặc trưng để tìm nước tối ưu, từ đó tạo tiền đề để tìm ứng viên tiềm dẫn đến chiến thắng Các phương pháp lựa chọn đặc trưng Trong phương pháp học máy, thay vì phải học hết tập dữ liệu huấn luyện lớn với chi phí cao khơng hiệu dữ liệu có những yếu tố dư thừa nhiễu Để kết huấn luyện cao thì thông thường học qua các đặc trưng thay vì học nguyên tập dữ liệu huấn luyện [3] Số lượng đặc trưng (features) nhiều thì đợ xác cao; ngược lại, lượng đặc trưng quá nhiều khiến cho quá trình huấn luyện quá trình phân loại mất nhiều thời gian Ngoài ra, nó cịn khiến chương trình chiếm dung lượng bợ nhớ đĩa cứng nhiều Vì vậy, phải có phương pháp lựa chọn đặc trưng tối ưu, không nhất thiết phải chọn hết tất đặc trưng Bài toán đặt phương pháp học máy phải lựa chọn từ tập các đặc trưng một tập nhỏ mà đảm bảo đợ xác quá trình phân loại Việc lựa chọn đó được 148 jos.hueuni.edu.vn Tập 127, Số 2A, 2018 gọi lựa chọn đặc trưng Đối với phương pháp học máy, có những phương pháp tương ứng hiệu riêng với nó Nói cách khác, không có phương pháp tốt nhất Phương pháp tìm tập đặc trưng phổ biến nhất được mơ tả Hình Hình Quy trình lựa chọn đặc trưng [3] Có ba hướng tiếp cận tổng quát đối với lựa chọn đặc trưng Thứ nhất, hướng tiếp cận lọc khai thác các thuộc tính chung dữ liệu h́n luyện đợc lập với thuật toán khai phá Hướng thông thường đề xuất một độ đo đo đặc trưng riêng biệt những đặc trưng thỏa mãn độ đo thì được chọn Tuy nhiên, những đặc trưng được cho tốt theo hướng lọc không tốt kết hợp Nói cách khác, nhiều đặc trưng tốt chưa bổ sung cho để cho một hàm đánh giá tớt Thứ hai, hướng tiếp cận đóng gói khám phá mối quan hệ giữa lựa chọn tập đặc trưng thích hợp tới ưu Nó tìm kiếm tập đặc trưng tối ưu đưa vào thuật toán khai phá cụ thể Những đặc trưng đo theo công thức đánh giá hướng filter (theo đặc trưng riêng biệt) nhiều không đạt ngưỡng không được chọn Tuy nhiên, tập đặc trưng nằm một hàm đánh giá thì đặc trưng lại bổ sung cho hiệu Thứ ba, hướng tiếp cận nhúng phương pháp hồi qui cho mô hình tuyến tính được tổng quát hóa Hướng thường thêm những giá trị cộng thêm cho hàm đánh giá nhằm giảm tính quá khớp mơ hình (tăng chất lượng mô hình) Một số thuật toán LASSO định thuộc phương pháp Theo qui trình lựa chọn đặc trưng mô tả thì các phương pháp tối ưu ngẫu nhiên Leo đồi, Luyện thép Di truyền thường được dùng để thiết kế mô hình chọn lựa đặc trưng [4] Công việc lớn nhất phần xây dựng một hàm mục tiêu phù hợp cho các phương pháp tối ưu ngẫu nhiên phương pháp đánh giá kết Cờ Connect6 Connect(m, n, k, p, q) ký hiệu họ trò chơi k-in-a-row Có hai người chơi: trắng đen Người chơi thứ nhất với quân đá đen đặt q đá cho di chuyển lần thứ nhất Sau đó người chơi thứ hai đặt q đá bàn m × n lần Người chơi nhận được k hịn đá liên tiếp 149 Đặng Cơng Quốc Cs Tập 127, Số 2A, 2018 thì thắng Connect(m, n, 6, 2, 1) gọi Connect6 [1,2] Đầu tiên, người chơi đặt nhất một quân đen bàn 19 × 19, sau đó hai người chơi luân phiên đặt hai quân cờ vào bàn Bàn cờ Connect6 Hình đánh số thứ tự theo các dịng từ dưới lên sớ đến số 19 các cột được đánh theo bảng chữ cái alphabet từ trái qua phải chữ A đến chữ S Vị trí giao giữa dịng cợt chưa có qn cờ đặt lên thì vị trí được gọi vị trí đặt qn cờ hợp lệ (vị trí cịn được gọi điểm giao hợp lệ) Vì kích thước bàn cờ 19 × 19 nên sớ lượng điểm giao tương ứng để đặt quân 316 giao điểm có ba trạng thái (trống, trắng đen) nên độ phức tạp trạng thái cờ Connect6 xấp xỉ 361 Ván cờ kết thúc một hai người chơi giành được chiến thắng hoặc các quân cờ lấp đầy bàn cờ (không thể đặt quân cờ hợp lệ lên bàn cờ) Người giành chiến thắng người có được một hàng (chéo, ngang, dọc) gồm quân liên tiếp mình trước người chơi thứ hai người chiến thắng được xem thực được một Connect6 [1] Như Hình người chơi cầm quân Đen kết thúc ván cờ một chiến thắng trước đối thủ người chơi quân Trắng Hình Bàn cờ trị chơi Connect6 Hình Ván cờ kết thúc dưới một chiến thắng người chơi quân Đen 150 jos.hueuni.edu.vn Tập 127, Số 2A, 2018 Các nghiên cứu gần lựa chọn đặc trưng tốn đánh cờ có độ phân nhánh cao Trong báo [6], các tác giả mới sử dụng hai phương pháp tối ưu ngẫu nhiên: giải thuật leo đồi (Hill-Climbing) giải thuật luyện thép (Simulated annealing) để tối ưu hóa các đặc trưng bàn cờ Othello Họ kết hợp với phương pháp học có giám sát Bradley-Terry Minorization-Maximization (bao gồm mô hình Bradley-Terry giải thuật MinorizationMaximization) để tìm những đặc trưng tốt để sử dụng tìm kiếm Monte Carlo (MCTS: Monte Carlo Tree Search) Với phương pháp này, nhà nghiên cứu có thể xây dựng được hàm lượng giá hành động (action valuation function) tốt để đánh giá các nước hứa hẹn giúp cho máy tính có thể chọn lựa được nước tốt nhất có thể một thời gian nhất định Bên cạnh đó, các tác giả đưa phương pháp thống kê để tìm các đặc trưng đánh giá độ tin cậy các đặc trưng đó trước học Kết các phương pháp áp dụng rất tốt cho cờ Othello Công trình Huang [7] đưa một số phương pháp Heuristic mới cho MCTS tập trung vào hai đóng góp: Thứ nhất, áp dụng thành công giải thuật cân giả lặp ngẫu nhiên (Simulation Balancing – SB) để huấn luyện các tham số cho việc giả lặp ngẫu nhiên bàn cờ Vây kích thước × Giải thuật SB Silver Tesauro [8] đưa năm 2009 Đây giải thuật học tăng cường áp dụng cho bàn cờ có kích thước nhỏ Mợt sớ thí nghiệm tiến hành để chứng minh tính hiệu bàn cờ Vây kích thước × giải thuật SB vượt qua giải thuật học có giám sát tiếng Minorization-Maximization (MM) khoảng 90 Elo Mợt sớ thí nghiệm khác được tiến hành cho cờ Vây kích thước 19 × 19 Kết các giải thuật quản lý thời gian thông minh có thể được xem xét để cải thiện sức mạnh chơi trị chơi Cơng trình Loos [9] khám phá khả kết hợp nhiều kỹ thuật học máy để thử nghiệm trí tuệ nhân tạo cho các trị chơi loại k-in-a-row Các kỹ thuật sử dụng gồm Cây định (Decision Trees), Random Forest (bao gồm định), giải thuật Minimax giải thuật di truyền Trong đó, giải thuật di truyền đóng vai trò chủ đạo để xây dựng trí tuệ cho máy tính Trong bước đánh giá, giải thuật Minimax tìm kiếm được sử dụng, nước dự kiến có một Random Forest gắn vào được sử dụng hàm heuristic Minimax Mục đích huấn luyện để tiến hóa các Random Forest tớt nhất có thể Thí nghiệm trị chơi Tic-Tac-Toe, Connect4 Gomoku bàn cờ kích thước 10 × 10 cho kết tớt Tuy nhiên, kết thí nghiệm cho thấy phương pháp đưa chạy chậm kích thước bàn cờ lớn; để cải thiện được tớc đợ địi hỏi tớc đợ xử lý cao CPU Wu Chang sử dụng hàm lượng giá trạng thái tìm kiếm Alpha-Beta dựa vào đặc điểm về mối đe dọa cờ Connect6 để xây dựng các vùng phù hợp các quân cờ cần phải đặt để có được trạng thái tốt nhất Các thành phần toán đánh cờ bao gồm: Cây tìm kiếm Alpha-Beta, Hàm lượng giá trạng thái, Vùng đặc trưng phù hợp để xây dựng hàm lượng giá 151 Đặng Công Quốc Cs Tập 127, Số 2A, 2018 Yen Yang [10, 11] sử dụng một phương pháp giả lập mới tìm kiếm Monte Carlo Ý tưởng đề xuất một biến thể mới MCTS sử dụng tìm kiếm And/Or kết hợp với phương pháp giả lập lấy mẫu ngẫu nhiên Monte Carlo Yen sử dụng một khái niệm vùng phù hợp được kế thừa phát triển từ Wu cho chương trình đánh cờ ông Yen các cộng sự xử lý cho vùng phù hợp chi tiết so với vùng phù hợp Wu đưa trước đó vận dụng vào giai đoạn MCTS Hàm lượng giá chương trình hàm lượng giá hành động được hỗ trợ vùng phù hợp được xác định qua giải pháp T2, giải pháp TSS để giới hạn không gian And/Or Các thành phần toán đánh cờ bao gồm Cây tìm kiếm And/Or, hàm lượng giá hành động Vùng đặc trưng để xây dựng hàm lượng giá (đơn nguy đơi nguy cơ) Mơ hình đề xuất phù hợp với tìm kiếm Monte Carlo Trong mợt sớ trị chơi có đợ phân nhánh cao, những tìm kiếm Minimax Alpha-Beta thường không phù hợp xử lý rất chậm vì không gian tìm kiếm quá lớn Cây tìm kiếm Monte Carlo phương pháp lấy mẫu dựa phương pháp cân giữa việc khai thác khám phá để tập mẫu nhỏ đại diện xác được khơng gian tìm kiếm lớn (tránh được việc vét cạn) Cây tìm kiếm Monte Carlo theo lý thuyết thì không cần hàm lượng giá [5] Tuy nhiên, xây dựng được hàm lượng giá phù hợp giúp cho việc hội tụ tập mẫu nhanh Hàm lượng giá phù hợp cho tìm kiếm Monte Carlo thường hàm lượng giá hành động (khác với hàm lượng giá trạng thái, thường phù hợp với tìm kiếm Minimax Alpha-Beta) Khi cần xây dựng hàm lượng giá thì việc lựa chọn đặc trưng cần thiết Những đặc trưng được đánh giá phù hợp hay không thì phải có phương pháp đánh trọng số Một số nghiên cứu cho thấy phương pháp huấn luyện trọng số dựa những ván cờ có sẵn phương pháp BTMM (Bradley-Terry Minorization Maximization) rất hiệu Hình mô tả mối quan hệ giữa BTMM tìm kiếm Monte Carlo Hình Các thành phần toán đánh cờ có độ phân nhánh cao 152 jos.hueuni.edu.vn Tập 127, Số 2A, 2018 Hình Thuật toán Monte Carlo Tree Search Trong tìm kiếm Monte Carlo Hình có giai đoạn: Chọn lựa một nút hứa hẹn nhất theo phương pháp cân giữa Khai thác Khám phá (hàm selectPromisingNode() dịng mã sớ 12 Giai đoạn tăng trưởng cách Mở rộng một nút nút hứa hẹn được chọn giai đoạn trên, bước mở rộng được thực ngẫu nhiên (như phương thức getRandomChildNode() đoạn mã dòng 19) Giai đoạn Giả lặp ván cờ từ nút mới được mở rộng có kết thắng thua (hàm simulateRandomPlayout() đoạn mã dòng 21) Giai đoạn cuối lan truyền ngược kết thắng thua đó lên nút hứa hẹn giai đoạn (hàm backpropagation () dòng mã 22) Quá trình được gọi playout Trong thời gian cho phép (vịng lặp đoạn mã sớ 11) việc thực playout cứ thực Số lần playout được thực coi mẫu được lấy nút hứa hẹn Trong việc lấy ngẫu nhiên, vai trò các đặc trưng i được thực thông qua công thức (2) 153 Đặng Công Quốc Cs Tập 127, Số 2A, 2018 𝑝(𝑚𝑗 ) = ∏𝑓𝑒𝑎𝑡𝑢𝑟𝑒 𝑖∈𝑚 𝛾𝑖 𝑗 ∑𝑙𝑒𝑔𝑎𝑙 𝑚𝑜𝑣𝑒𝑠𝑚( ∏𝑓𝑒𝑎𝑡𝑢𝑟𝑒 𝑖∈𝑚 𝛾𝑖 ) (1) 𝑗 𝛾𝑖 ← 𝑊𝑖 𝐶𝑖𝑗 𝑁 ∑𝑗=1 𝐸𝑗 𝑀𝐿𝐸 = (2) ∑𝑖∈𝑚(𝑙𝑜𝑔(𝑝𝑟𝑜𝑏(𝑚𝑖 ))) 𝑁 (3) Công thức (1) được áp dụng giai đoạn Mở rộng Giả lặp Thay vì chọn ngẫu nhiên túy, có thể chọn theo phương pháp Roullet Wheel (bánh xe may mắn) nước có đặc trưng tốt thì có tỷ lệ chọn lựa cao Ngoài ra, giai đoạn Chọn lựa, thay vì chọn nút hứa hẹn theo công thức (4) túy, có thể chọn theo công thức (5) có lệch theo yếu tố đặc trưng Trong công thức (4) (5), n tổng số playouts khoảng thời gian suy nghĩ đoạn mã 11 (Hình 6) Trong đó, nj số lần playouts qua nút thứ j, wi số lần đặc trưng i xuất nút j Trong công thức (5), K hệ sớ lệch; mợt sớ thí nghiệm thì K lớn gấp lần n UCT j  wi ln n C nj nj UCTbias j  wi ln n K C  C BT P(m j ) nj nj nK (4) (5) Phương pháp học máy BTMM áp dụng mô hình Bradley-Terry vào phương pháp tối ưu Minorization Maximization Công thức tối ưu (2) Remi Coulom đề xuất năm 2007 [6] áp dụng suy diễn Bayes để tối ưu đặc trưng từ tập dữ liệu có sẵn Sau xác định được trọng số đặc trưng thì việc xây dựng hàm lượng giá dựa đặc trưng việc dễ dàng Hàm lượng giá hành đợng thơng thường tích các trọng sớ đặc trưng liên quan đến hàm lượng giá Một hàm lượng giá tốt giúp cho tìm kiếm Monte Carlo rút ngắn thời gian hội tụ việc tìm khả tốt nhất (nước tối ưu) một trạng thái bàn cờ hành Thí nghiệm ban đầu Thí nghiệm 1.000.000 ván cờ Connect6 có chất lượng cao thử nghiệm các tập mẫu có độ dài 6, mẫu có độ dài 7, mẫu có độ dài 8, mẫu đó mẫu có độ dài mẫu có độ dài Mỗi đặc trưng được đánh trọng số công thức (4) dùng độ đo MLE để xác định loại mẫu phù hợp nhất cho các vị trí bàn cờ Trong 1.000.000 ván cờ, 995.000 ván được làm dữ liệu huấn luyện, 5.000 ván được làm dữ liệu kiểm tra theo phương pháp huấn luyện BTMM với sớ vịng lặp 20 cho tất các thí nghiệm Việc thí nghiệm có giai đoạn: Giai đoạn dùng độ đo MLE công thức (3) để xác định mẫu phù hợp để xây dựng 154 jos.hueuni.edu.vn Tập 127, Số 2A, 2018 hàm lượng giá Giai đoạn xây dựng hàm lượng giá cho chương trình VN-Connect để đấu với chương trình X6, một chương trình rất mạnh đoạt giải nhất quốc tế ICGA Computer Olympiad Hình So sánh giá trị learning giữa hàm lượng giá Hàm lượng giá mẫu có độ dài có tượng quá khớp (overfitting) nên bị loại trừ Những hàm lượng giá cịn lại tớt nhất (ứng với giá trị Learning Hình 7) Trong hình này, trục tung giá trị MLE (Mean Log-Evidence) được áp dụng phương pháp kiểm tra chéo với tập dữ liệu dùng để huấn luyện đánh giá tập các ván cờ Connect-6 được thu thập Trục hồnh mơ tả sớ lần lặp để tới ưu giá trị trọng số đặc trưng công thức (2) Dựa thí nghiệm giai đoạn 1, nhóm tác giả xây dựng các hàm lượng giá hành động theo công thức (1) cho chương trình VN-Connect, sau đó cho chương trình VN-Connect đấu với X6 nhận được kết Bảng Kết cho thấy chương trình mạnh đặc trưng tốt bảng Bảng So sánh tỷ lệ thắng thua giữa VN-Connect X6 MLE tổng quát Kết Tỷ lệ thắng thua VN–Connect – X6 (%) mẫu –3,0660602 176/1000 17,6 mẫu –2,9578211 211/1000 21,10 mẫu 8, mẫu –2,8943371 273/1000 27,30 155 Đặng Công Quốc Cs Tập 127, Số 2A, 2018 Bảng Thay đổi thời gian suy nghĩ Thời gian suy nghĩ (s) Kết Tỷ lệ thắng thua VN-Connect – X6 (%) 273/1000 27,30 482/1000 48,20 10 617,5/1000 61,75 Mợt thí nghiệm khác so sánh thời gian suy nghĩ chương trình Monte Carlo Thời gian suy nghĩ chương trình Monte Carlo rất quan trọng vì suy nghĩ nhiều thì việc lấy mẫu xác (sớ lượng playouts nhiều), dẫn đến việc hợi tụ đến kết tới ưu Chúng tơi thí nghiệm giây 10 giây thấy kết khác biệt rõ rệt Điều đó chứng tỏ kết thí nghiệm việc chọn đặc trưng chắn kết dự đoán (Bảng 2) Kết luận Trong báo này, nghiên cứu các thành phần chương trình đánh cờ xác định cụ thể cho loại cờ Chương trình chúng tơi tìm hiểu áp dụng trị chơi Connect6 Đây trị chơi có đợ phức tạp tương đương cờ Vây Cơ chế hoạt động tìm kiếm Monte Carlo phù hợp cho những trò chơi có độ phân nhánh cao được xác định hàm lượng giá hành động từ việc chọn các đặc trưng được xây dựng Các đặc trưng được rút trích từ các ván cờ có chất lượng được xác định trọng số theo mô hình Bradley-Terry Việc xác định đặc trưng bước đầu được thực thủ công có kết đáng khích lệ Hướng phát triển báo sử dụng các phương pháp tối ưu ngẫu nhiên Leo đồi, Luyện thép Giải thuật di truyền; sử dụng phương pháp Deep Learning để chọn lựa đặc trưng một cách tự động tìm các đặc trưng tối ưu nhất, dẫn đến hàm lượng giá tối ưu TÀI LIỆU THAM KHẢO XU Chang-ming, Z.M.MA; Yu Chang-yong;, XU Xin-he (2013), A Pattern Based Incremental Model in Kin-a-row Games, P.939–944 Qiang Gao; Xinhe Xu (2016), A Solving Strategy of Connect6 Based on K-in-a-row Types, IEEE, P.5041– 5045 Amit Kumar Saxena; Vimal Kumar Dubey (2015), A Survey on feature selection algorithms, ISSN: 2321– 8169, P 1895–1899 Francisco de Asis Boldt; Thomas W Rauber and Flávio M Varejão (2015), Single sequence fast feature selection for high-dimensional data, IEEE, P 697–704 Jung-Kuei Yang; Ping-Jung Tseng (2016), Building connect6 Opening by using the Monte Carlo tree search, IEEE, P 331–336 156 jos.hueuni.edu.vn Tập 127, Số 2A, 2018 Huy Nguyen; Kokolo Ikeda; Simon Viennot (2014), Fast Optimization of the Pattern Shapes in Board Games with Simulated Annealing, Proceedings of the Sixth International Conference KSE 2014, pp 325 – 337 Huang, S.-C (2011), New Heuristics for Monte Carlo Tree Search Applied to the Game of Go, PhD Thesis, National Taiwan Normal University, Taipei, Taiwan, R.O.C Silver, D and Tesauro, G (2009), Monte-Carlo simulation balancing, In A Danyluk, L Bottou, and M Littman, editors, ICML, ACM, volume 382, P 945–952 Loos, A (2012), Machine Learning for k-in-a-row Type Games Using Random Forest and Genetic Algorithm, Master’s thesis, University of Tartu, Tartu 10 S.-J Yen and J.-K Yang (2011), Two-Stage Monte Carlo Tree Search for Connect6, IEEE Transactions on Computational Intelligence and AI in Games, , pp.100–118 11 S.-J Yen, and J.-K Yang (2010), New Simulation Strategy of MCTS for Connect6, the 15th Game Programming Workshop (GPW-2010), Hakone Seminar House, Kanagawa, Japan GPW-2010 Proceeding pp 90– 93 EXAMINATION AND EVALUATION OF FEATURESELECTIVE APPROACHES IN BOARD GAMES WITH HIGH-COMPLEXITY BRANCHES Dang Cong Quoc1, Nguyen Dang Binh1, Nguyen Quoc Huy2 Hue University of Science, 77 Nguyen Hue street, Hue city Sai Gon University, 273 An Duong Vuong street, district 5, HCM city Abstract Feature selection plays a crucial role in machine learning problem Board game is a suitable testbed for AI areas, this is a really big challenge if the game with high complexity of branches like Go, Amazon, Connect6 It is very hard to find out the great features from game records in these games This paper proposes a full survey of many studies in computer games such as search trees, evaluation functions, feature selection, and how to weight the game feature based on a set of game records Keywords: Feature selection, Connect6, evaluation function 157 ... cờ trị chơi Connect6 Hình Ván cờ kết thúc dưới một chiến thắng người chơi quân Đen 150 jos.hueuni.edu.vn Tập 127, Số 2A, 2018 Các nghiên cứu gần lựa chọn đặc trưng tốn đánh cờ có độ phân nhánh. .. tìm tập đặc trưng phổ biến nhất được mơ tả Hình Hình Quy trình lựa chọn đặc trưng [3] Có ba hướng tiếp cận tổng quát đối với lựa chọn đặc trưng Thứ nhất, hướng tiếp cận lọc khai... hai, hướng tiếp cận đóng gói khám phá mối quan hệ giữa lựa chọn tập đặc trưng thích hợp tới ưu Nó tìm kiếm tập đặc trưng tối ưu đưa vào thuật toán khai phá cụ thể Những đặc trưng

Ngày đăng: 25/10/2020, 12:48

Hình ảnh liên quan

Hình 1. Cây trò chơi Tic-Tac-Toe - Khảo sát và đánh giá về các hướng tiếp cận lựa chọn đặc trưng trong bài toán đánh cờ có độ phân nhánh cao

Hình 1..

Cây trò chơi Tic-Tac-Toe Xem tại trang 2 của tài liệu.
Hình 2. Quy trình lựa chọn đặc trưng [3] - Khảo sát và đánh giá về các hướng tiếp cận lựa chọn đặc trưng trong bài toán đánh cờ có độ phân nhánh cao

Hình 2..

Quy trình lựa chọn đặc trưng [3] Xem tại trang 3 của tài liệu.
Hình 3. Bàn cờ trò chơi Connect6 - Khảo sát và đánh giá về các hướng tiếp cận lựa chọn đặc trưng trong bài toán đánh cờ có độ phân nhánh cao

Hình 3..

Bàn cờ trò chơi Connect6 Xem tại trang 4 của tài liệu.
Hình 4. Ván cờ kết thúc dưới một chiến thắng của người chơi quân Đen - Khảo sát và đánh giá về các hướng tiếp cận lựa chọn đặc trưng trong bài toán đánh cờ có độ phân nhánh cao

Hình 4..

Ván cờ kết thúc dưới một chiến thắng của người chơi quân Đen Xem tại trang 4 của tài liệu.
5 Mô hình đề xuất phù hợp với cây tìm kiếm Monte Carlo - Khảo sát và đánh giá về các hướng tiếp cận lựa chọn đặc trưng trong bài toán đánh cờ có độ phân nhánh cao

5.

Mô hình đề xuất phù hợp với cây tìm kiếm Monte Carlo Xem tại trang 6 của tài liệu.
Hình 6. Thuật toán Monte Carlo Tree Search - Khảo sát và đánh giá về các hướng tiếp cận lựa chọn đặc trưng trong bài toán đánh cờ có độ phân nhánh cao

Hình 6..

Thuật toán Monte Carlo Tree Search Xem tại trang 7 của tài liệu.
Hình 7. So sánh giá trị learning giữa 3 hàm lượng giá - Khảo sát và đánh giá về các hướng tiếp cận lựa chọn đặc trưng trong bài toán đánh cờ có độ phân nhánh cao

Hình 7..

So sánh giá trị learning giữa 3 hàm lượng giá Xem tại trang 9 của tài liệu.
Bảng 1. So sánh tỷ lệ thắng thua giữa VN-Connect và X6 - Khảo sát và đánh giá về các hướng tiếp cận lựa chọn đặc trưng trong bài toán đánh cờ có độ phân nhánh cao

Bảng 1..

So sánh tỷ lệ thắng thua giữa VN-Connect và X6 Xem tại trang 9 của tài liệu.
Bảng 2. Thay đổi thời gian suy nghĩ - Khảo sát và đánh giá về các hướng tiếp cận lựa chọn đặc trưng trong bài toán đánh cờ có độ phân nhánh cao

Bảng 2..

Thay đổi thời gian suy nghĩ Xem tại trang 10 của tài liệu.

Từ khóa liên quan

Tài liệu cùng người dùng

Tài liệu liên quan