George Polya định nghĩa heuristic là “sự nghiên cứu về các phương pháp và các qui tắc TRƯỜNG ĐẠI HỌC KINH TẾ QUỐC DÂN HÀ NỘI BỘ MÔN CÔNG NGHỆ THÔNG TIN ============== BÀI TẬP LỚN MÔN TRÍ TUỆ NHÂN TẠO[.]
TRƯỜNG ĐẠI HỌC KINH TẾ QUỐC DÂN HÀ NỘI BỘ MÔN CÔNG NGHỆ THÔNG TIN ============== BÀI TẬP LỚN MÔN : TRÍ TUỆ NHÂN TẠO Đề tài: Giải thuật Heuristic tốn trị chơi Chun ngành : Cơng nghệ thông tin Lớp : Công nghệ thông tin_k47 Mã sinh viên : CQ472411 Họ tên : Lê Thị Hồng Nhung Giảng viên hướng dẫn: Ths Lưu Minh Tuấn Hà Nội, tháng 10/ 2008 Mục lục Lời mở đầu I.Phát biểu tốn II.Thuật tốn tìm kiếm Heuristic II.1.Tìm kiếm leo núi II.2.Tìm kiếm tốt II.3.Cài đặt hàm đánh giá Heuristic II.4.Tính khả chấp-tính đơn khả thu thập thông tin Heuristic III.Sử dụng Heuristic trò chơi III.1 Thủ tục Minimax III.2 áp dụng minimax đến độ sâu lớp cố định III.3.Thủ tục cắt tỉa anpha-beta Kết luận Lời mở đầu George Polya định nghĩa heuristic “sự nghiên cứu phương pháp qui tắc việc khám phá phát minh” (Polya 1945) Nghĩa xuất phát từ gốc Hy Lạp động từ eurisco nghĩa “tôi phát hiện” Khi Archimedes nhảy khỏi bồn tắm chộp lấy mũ miện vàng, ông ta la lên “Eureka!” có nghĩa “Tôi tìm thấy nó!” Trong tìm kiếm khơng gian trạng thái, heuristic luật dùng để chọn nhánh có nhiều khả dẫn đến giải pháp chấp nhận Các chương trình giải vấn đề trí tuệ nhân tạo sử dụng heuristic theo hai dạng: Vấn đề khơng có giải pháp xác điều khơng rõ ràng diễn đạt vấn đề liệu có sẵn Chẩn đốn y khoa ví dụ Tập hợp triệu chứng cho trước nhiều nguyên nhân gây ra, bác sĩ dùng heuristic để chọn kết chẩn đốn thích hợp đưa kế hoạch điều trị Vấn đề có giải pháp xác, chi phí tính tốn để tìm khơng cho phép Trong nhiều vấn đề (như cờ vua chẳng hạn), không gian trạng thái phát triển nhanh rộng số lượng trạng thái xảy tăng theo hàm mũ giai thừa với độ sâu tìm kiếm Trong trường hợp này, kỹ thuật tìm kiếm thơ sơ tìm kiếm sâu hay tìm kiếm rộng khơng tìm giải pháp giới hạn thời gian Heuristic giảm bớt độ phức tạp cách hướng việc tìm kiếm theo đường có nhiều hứa hẹn Nhờ loại bỏ bớt trạng thái không hứa hẹn cháu chúng khỏi việc xem xét nên thuật toán heuristic khắc phục việc bùng nổ trạng thái tìm giải pháp chấp nhận I Phát biểu toán Một cách chung nhất, nhiều vấn đề tốn phức tạp có dạng “Tìm đường đồ thị” hay nói cách đầy đủ :”Xuất phát từ đỉnh đồ thị, tìm đường hiệu đến đỉnh đó” Cho trước trạng thái T TG xây dựng chuỗi trạng thái T 0,T1,T2,T3,… Tn=TG cho Σ1n cost (Ti-1,Ti) thoả mãn điều kiện cho trước (Thường nhỏ nhất) Trong Ti thuộc tập hợp khơng gian trạng thái S bao gồm tất trạng thái có tốn cost (Ti-1,Ti ) chi phí để biến đổi từ trạng thái Ti1 sang trạng thái Ti.Dĩ nhiên từ trạng thái Ti ta có nhiều cách để biến đổi sang trạng thái Ti Khi nói đến biến đổi cụ thể từ Ti-1 sang Ti ta dùng thuật ngữ hướng Đa số tốn thuộc dạng mà mơ tả biểu diễn dạng đồ thị.Trong trạng thái đỉnh đồ thị.Tập hợp S bao gồm tất trạng thái tập hợp bao gồm tất đỉnh đồ thị.Việc biến đổi từ trạng thái Ti-1 sang Ti việc từ đỉnh đại diện cho Ti-1 sang đỉnh đại diện cho Ti theo cung nối hai đỉnh Thuật toán heuristic gồm hai phần: Hàm đánh giá heuristic thuật tốn để sử dụng tìm kiếm khơng gian trạng thái Các phương pháp tìm kiếm Heuristic 1.Tìm kiếm theo chiều sâu tìm kiếm theo chiều rộng 2.Tìm kiếm leo đồi 3.Tìm kiếm ưu tiên tối ưu 4.Thuật giải AT 5.Thuật giải AKT 6.Thuật giải A* Để tìm kiếm đến hết khơng gian, số lượng trạng thái lớn khơng thể vượt qua Mỗi nước chín nước có tám khả đặt quân cờ đến lượt nước lại có bảy khả đặt quân cờ cho nước tiếp tục Một phân tích đơn giản cho biết số lượng trạng thái cần xem xét cho trình x x x x = 9! Áp dụng nhận xét trực quan nhỏ dựa theo tính chất đối xứng cấu hình bàn cờ làm giảm nhỏ khơng gian tìm kiếm xuống Nhiều cấu hình toán tương đương thao tác Chẳng hạn, thực tế có ba nước cho qn cờ đầu tiên: cạnh, góc Các rút gọn đối xứng mức thứ hai trạng thái giảm tiếp số lượng đường xảy khơng gian xuống đến tổng số 12 x 7! Nó nhỏ không gian ban đầu phát triển theo hàm giai thừa Hình 4.1 – Khơng gian trạng thái tốn Tic-tac-toe thu giảm tính đối xứng Tuy nhiên, heuristic đơn giản loại bỏ việc tìm kiếm tồn bộ: heuristic “nước thắng nhất”, nghĩa chọn vị trí đặt quân cờ mà có nhiều đường thắng giao Trong trường hợp trạng thái có số lượng nhau, chọn trạng thái Sau thuật toán chọn lựa chuyển đến trạng thái có giá trị heuristic cao (xem hình) Như hình vẽ, qn X chọn đặt vào vị trí trung tâm bàn cờ Chú ý không trạng thái tương đương khác bị loại bỏ mà tất cháu chúng bị loại Hai phần ba không gian trạng thái bị loại từ nước Sau nước đầu tiên, đối thủ chọn hai nước tương đương Dù chọn nước nào, heuristic áp dụng cho bước Khi trình tìm kiếm tiếp tục, bước đánh giá nút mà khơng u cầu tìm kiếm hết khơng gian Mặc dù khó tính xác số lượng trạng thái phải kiểm tra theo cách tính đoán giới hạn Trong thực tế số lượng 9! nhiều II THUẬT TỐN TÌM KIẾM HEURISTIC II.1 Tìm kiếm leo núi (Hill climbing – Pearl 1984) Cách đơn giản để thực tìm kiếm heuristic tìm kiếm “leo núi” Chiến lược leo núi phát triển trạng thái tốt chọn cho bước tiếp theo, không lưu giữ lại thông tin nút anh em lẫn cha mẹ Q trình tìm kiếm dừng lại tiếp cận trạng thái tốt so với trạng thái Hình dung người leo núi hăm hở mù quáng luôn chọn leo lên đỉnh theo đường dốc có khơng cịn leo tiếp Vì khơng ghi lại thơng tin q trình xảy nên thuật tốn khơng thể phục hồi lại từ thất bại chiến lược Hạn chế chủ yếu chiến lược leo núi có xu hướng rơi vào “một cực đại cục bộ” Khi đến trạng thái tốt so với trạng thái nó, thuật tốn dừng lại Nếu trạng thái khơng phải đích mà điểm cực đại cục bộ, thuật tốn thất bại việc tìm lời giải Như hiệu hoạt động cải thiện phạm vi giới hạn đó, tồn khơng gian khơng đạt tối ưu tổng thể II.2 Tìm kiếm tốt (Best – first – search) Xét đồ thị khơng gian tìm kiếm hình (con số cạnh nút cho biết giá trị ước lượng độ tốt nút khơng gian, giá trị thấp tốt nhất) Giả sử nút đích cần tìm kiếm P Hình : Đồ thị cho giải thuật tìm kiếm tốt Giống thuật tốn tìm kiếm sâu rộng, tìm kiếm tốt dùng danh sách để lưu giữ trạng thái: danh sách open chứa nút triển khai trình tìm kiếm danh sách closed chứa nút xét Một bước bổ sung vào thuật toán xếp trạng thái danh sách open phù hợp với giá trị heuristic ước lượng “độ tốt” chúng so với đích Như bước lặp vịng lặp xem xét trạng thái “có hứa hẹn nhất” danh sách open loại bỏ trạng thái khỏi open Nếu gặp trạng thái đích, thuật tốn cung cấp đường lời giải dẫn đến đích Nếu ngược lại, phần tử open khơng phải đích, thuật tốn áp dụng luật phù hợp để phát sinh cháu Trường hợp trạng thái có sẵn open closed, thuật toán kiểm tra để chắn chọn nút cung cấp đường lời giải ngắn Các trạng thái lặp hai lần không giữ lại Nhờ cập nhật kịp thời nguồn gốc nút open closed nên thuật tốn có nhiều khả tìm đường ngắn dẫn đến đích Khi open trì dạng danh sách có xếp, thường tổ chức hàng ưu tiên (Priority queue) Dưới trình bày bước áp dụng thuật tốn tìm kiếm cho đồ thị hình open = [A5]; closed = [] Đánh giá A5; open = [B4,C4,D6]; closed = [A5] Đánh giá B4; open = [C4,E5,F5,D6]; closed = [B4,A5] Đánh giá C4; open = [H3,G4,E5,F5,D6]; closed = [C4,B4,A5] Đánh giá H3; open = [O2,P3,G4,E5,F5,D6]; closed = [H3,C4,B4,A5] Đánh giá O2; open = [P3,G4,E5,F5,D6]; closed = [O2,H3,C4,B4,A5] Đánh giá P3; Tìm lời giải! II.3 Cài đặt hàm đánh giá heuristic (heuristic evaluation function) Bây ta đánh giá hiệu vài heuristic khác dùng để giải trị đố Hình trình bày trạng thái xuất phát trạng thái đích trò chơi với ba trạng thái trình tìm kiếm Heuristic đơn giản đếm số sai khác so với trạng thái đích trạng thái Trạng thái có số sai khác gần đích trạng thái tốt để kiếm tra Tuy nhiên heuristic không sử dụng hết thông tin cấu hình bàn cờ khơng đưa vào khoảng cách mà ô sai khác Một heuristic “tốt hơn” cộng tất khoảng cách lại thành tổng số mà phải di chuyển vị trí trạng thái đích (khoảng cách Manhattan) Cả hai heuristic có hạn chế khơng thể biết rõ khó khăn đổi chỗ hai Đó trường hợp hai nằm cạnh vị trí chúng phải đổi chỗ cho nhau, ta phải nhiều (chứ hai) nước đặt chúng lại vị trí Một heuristic muốn tính tốn điều phải nhân gấp đơi khoảng cách trường hợp có hai đổi chỗ trực tiếp Heuristic “khoảng cách Manhattan” cho dự đốn xác so với heuristic số ô sai khác so với trạng thái đích Mục đích dùng thơng tin hạn chế có sẵn mơ tả trạng thái để đưa chọn lựa thông minh Việc thiết kế heuristic tốt vấn đề mang tính kinh nghiệm, óc phán đốn trực giác, giá trị cuối heuristic phải đo hiệu thực tình tốn Vì heuristic sai lầm nên có khả thuật tốn tìm kiếm dẫn đến đường khơng đưa đến đích Vấn đề xuất tìm kiếm sâu, giới hạn độ sâu sử dụng để phát đường thất bại Ý 1 tưởng áp dụng cho tìm kiếm heuristic Nếu hai trạng thái có giá trị heuristic nên kiểm tra trạng thái gần trạng thái gốc đồ thị Trạng thái gần gốc có nhiều khả đường ngắn dẫn đến đích Khoảng cách từ trạng thái xuất phát đo cách trì số đếm chiều sâu cho trạng thái đếm Số đếm trạng thái xuất phát tăng lên đơn vị sau mức tìm kiếm Nó ghi lại độ dời thực tế phải thực để từ trạng thái xuất phát đến trạng thái Số đếm cộng thêm vào giá trị heuristic trạng thái để hướng việc tìm kiếm theo khuynh hướng chọn trạng thái gần trạng thái xuất phát đồ thị Do hàm đánh giá f bao gồm tổng hai phần: f(n) = g(n) + h(n) Trong g(n) đo chiều dài thực từ trạng thái n trạng thái xuất phát h(n) ước lượng heuristic cho khoảng cách từ trạng thái n đến trạng thái đích Chẳng hạn, tốn trị đố trên, gọi h(n) số cần phải dời chỗ Khi hàm đánh giá áp dụng cho trạng thái (A), (B), (C) hình 4.5, giá trị cho hàm f 6, Một heuristic dùng hàm đánh giá f(n) kết hợp với thuật tốn tìm kiếm tốt best-first-search, gọi thuật tốn A (algorithm A) II.4 Tính khả chấp, tính đơn khả cung cấp thông tin heuristic Có thể phải đánh giá cách hành xử heuristic số phương diện Ví dụ, khơng cần giải pháp mà cịn cần thuật tốn để tìm đường ngắn dẫn đến đích Một số tính chất cần xem xét việc đánh giá hiệu heuristic : II.4.1 Tính khả chấp : Một heuristic dùng để tìm đường dẫn đến đích ngắn có tồn gọi heuristic khả chấp (admissible) Nói cách khác, tính khả chấp heuristic bảo đảm tìm thấy đường ngắn đến trạng thái đích Một thuật tốn tìm kiếm chấp nhận đảm bảo tìm thấy đường tối thiểu dẫn đến lời giải, lúc đường có mặt Trong việc xác định tính khả chấp heuristic, định nghĩa hàm đánh giá f* : f*(n) = g*(n) + h*(n) Với g*(n) giá đường ngắn từ nút bắt đầu đến nút n, h*(n) giá thực đường ngắn từ nút n đến nút mục tiêu Như f*(n) chi phí thực đường tối ưu từ nút xuất phát đến nút đích qua nút n Nếu thuật toán A dùng hàm đánh giá f, h(n) ≤ h*(n) gọi thuật tốn A*(algorithm A) II.4.2 Tính đơn : Khi có trạng thái phát nhờ sử dụng tìm kiếm heuristic, liệu có bảo đảm sau khơng tìm trạng thái với khoảng cách ngắn tính từ trạng thái xuất phát Đây thuộc tính đơn (monotocinity) Nói cách khác, tính đơn heuristic bảo đảm đường ngắn đến trạng thái Một heuristic h đơn : - Đối với tất trạng thái n n+1, ta có : h(n) - h(n+1) ≤ cost(n, n+1), Trong cost(n, n+1) chi phí thực tính đường từ trạng thái n đến trạng thái n+1 - Giá trị heuristic trạng thái đích 0, tức h(goal) = II.4.3 Khả cung cấp thông tin : Chúng ta đặt câu hỏi liệu có heuristic “tốt hơn” khác hay không? Heuristic tốt heuristic theo ý nghĩa ? Đây khả cung cấp thông tin (informedness) heuristic Đối với hai heuristic h1 h2, h1(n) ≤ h2(n) ứng với tất trạng thái n khơng gian tìm kiếm heuristic h2 gọi có khả cung cấp thông tin nhiều so với h1 III SỬ DỤNG HEURISTIC TRONG CÁC TRÒ CHƠI III.1 Thủ tục minimax Xét trò chơi hai đối thủ đối kháng, chẳng hạn trò chơi nim Để chơi nim, số token (vật biểu đồng xu, bài, mảnh gỗ, ) đặt bàn hai đối thủ Ở nước đi, người chơi phải chia đống token thành hai đống nhỏ có số lượng khác Ứng với số token vừa phải, không gian trạng thái triển khai đến Hình sau biểu diễn khơng gian trạng thái trị chơi có token Khi chơi trị chơi triển khai hết khơng gian trạng thái, khó khăn chủ yếu phải tính tốn phản ứng đối thủ Một cách xử lý đơn giản giả sử đối thủ bạn sử dụng kiến thức không gian trạng thái giống bạn áp dụng kiến thức kiên định để thắng Mặc dù giả thiết có hạn chế nó cho sở hợp lý để dự đoán hành vi đối thủ Minimax tìm kiếm khơng gian trị chơi theo giả thiết Hai đối thủ trị chơi gọi MIN MAX MAX đại diện cho đối thủ giành thắng lợi hay cố gắng tối đa hóa ưu Ngược lại MIN đối thủ cố gắng tối thiểu hóa điểm số MAX Ta giả thiết MIN dùng thông tin MAX Khi áp dụng thủ tục Minimax, đánh dấu ln phiên mức khơng gian tìm kiếm phù hợp với đối thủ có nước mức Trong ví dụ trên, MIN quyền trước, nút gán giá trị hay tùy theo kết thắng MAX hay MIN Minimax truyền giá trị lên cao dần đồ thị qua nút cha mẹ theo luật sau: - Nếu trạng thái cha mẹ nút MAX, gán cho giá trị tối đa cháu - Nếu trạng thái cha mẹ nút MIN, gán cho giá trị tối thiểu cháu Giá trị gán cho trạng thái cách rõ giá trị trạng thái tốt mà đối thủ hy vọng đạt Các giá trị dùng để lựa chọn nước có Kết việc áp dụng Minimax vào đồ thị không gian trạng thái trò chơi Nim thể hình Vì tất nước xảy cho MIN dẫn đến nút có giá trị nên đối thủ MAX ln bắt trị chơi giành thắng lợi cho nước đẩu tiên MIN (đường thắng lợi MAX cho theo mũi tên đậm) III.2 Áp dụng minimax đến độ sâu lớp cố định Khi áp dụng Minimax cho trị chơi phức tạp, có khả mở rộng đồ thị không gian trạng thái đến nút Thay vào khơng gian trạng thái triển khai đến số mức xác định phụ thuộc tiềm thời gian nhớ chẳng hạn Chiến lược gọi tính trước n nước (n –move lookahead) Vì giá trị nút đồ thị trạng thái kết thúc trò chơi nên chúng không phản ánh giá trị thắng hay thua Chúng gán giá trị phù hợp với hàm đánh giá heuristic Giá trị truyền ngược nút gốc khơng cung cấp thông tin thắng hay thua mà giá trị heuristic trạng thái tốt tiếp cận sau n nước kể từ nút xuất phát Việc tính trước làm tăng hiệu heuristic áp dụng vào phạm vi lớn không gian trạng thái Minimax hợp tất giá trị nút cháu trạng thái thành giá trị cho trạng thái Trong đồ thị trị chơi tìm kiếm mức hay lớp, MAX MIN luân phiên chọn nước Mỗi nước đối thủ xác định lớp đồ thị Các chương trình trị chơi nói chung dự tính trước độ sâu lớp cố định (thường xác định giới hạn không gian thời gian máy tính) Các trạng thái mức đánh giá theo heuristic giá trị truyền ngược lên thủ tục Minimax, sau thuật tốn tìm kiếm dùng giá trị vừa nhận để chọn lựa nước số nước Bằng cách tối đa hóa cho cha mẹ MAX tối thiểu hóa cho cha mẹ MIN, giá trị lùi theo đồ thị đến trạng thái hành Sau trạng thái hành dùng chúng để tiến hành lựa chọn Hình sau trình bày q trình Minimax khơng gian trạng thái giả thuyết tính trước bốn lớp Hình 4.8 giới thiệu ứng dụng Minimax độ sâu lớp cố định vào trò chơi Tic-tac-toe Ở sử dụng heuristic phức tạp hơn, cố đo mức độ tranh chấp trò chơi Heuristic chọn trạng thái cần đo, tính tất đường thắng mở cho MAX, trừ tổng số đường thắng mở cho MIN Giải thuật tìm kiếm cố gắng tối đa hóa chênh lệch (hiệu số) Nếu có trạng thái bắt buộc thắng cho MAX, đánh giá +∞, cịn với trạng thái bắt buộc thắng cho MIN đánh giá -∞ Hình 4.8 trình bày heuristic áp dụng cho hai mức bắt đầu không gian trạng thái III.3 Thủ tục cắt tỉa alpha – beta (α-β prunning) Minimax yêu cầu phải có phân tích qua hai bước khơng gian tìm kiếm: Bước đầu truyền xuống đến độ sâu lớp áp dụng heuristic bước sau để truyền ngược giá trị Minimax lần theo tất nhánh không gian bao gồm nhánh mà thuật tốn thơng minh bỏ qua hay tỉa bớt Các nhà nghiên cứu lĩnh vực chơi game xây dựng kỹ thuật tìm kiếm gọi cắt tỉa alpha –beta nhằm nâng cao hiệu tìm kiếm tốn trị chơi hai đối thủ Ý tưởng tìm kiếm alpha – beta đơn giản: Thay tìm kiếm tồn không gian đến độ sâu lớp cố định, tìm kiếm alpha – beta thực theo kiểu tìm kiếm sâu Có hai giá trị, gọi alpha beta tạo trình tìm kiếm Giá trị alpha liên quan với nút MAX có khuynh hướng không giảm Ngược lại giá trị beta liên quan đến nút MIN có khuynh hướng khơng tăng Giả sử có giá trị alpha nút MAX 6, MAX không cần phải xem xét giá trị truyền ngược nhỏ có liên quan với nút MIN bên Alpha giá trị thấp mà MAX nhận sau cho MIN nhận giá trị tốt Tương tự MIN có giá trị beta khơng cần xem xét nút nằm có giá trị lớn Để bắt đầu thuật tốn tìm kiếm alpha – beta, ta xuống hết độ sâu lớp theo kiểu tìm kiếm sâu, đồng thời áp dụng đánh giá heuristic cho trạng thái tất trạng thái anh em Giả thuyết tất nút MIN Giá trị tối đa nút MIN truyền ngược lên cho nút cha mẹ (là nút MAX) Sau giá trị gán cho ông bà nút MIN giá trị beta kết thúc tốt Tiếp theo thuật toán xuống nút cháu khác kết thúc việc tìm kiếm nút cha mẹ chúng gặp giá trị lớn giá trị beta Quá trình gọi cắt tỉa beta (β cut) Cách làm tương tự thực cho việc cắt tỉa alpha (α cut) nút cháu nút MAX Hai luật cắt tỉa dựa giá trị alpha beta là: Quá trình tìm kiếm kết thúc bên nút MIN có giá trị beta nhỏ giá trị alpha nút cha MAX Q trình tìm kiếm kết thúc bên nút MAX có giá trị alpha lớn giá trị beta nút cha MIN Việc cắt tỉa alpha – beta thể quan hệ nút lớp n nút lớp n+2 quan hệ tồn bắt nguồn lớp n+1 loại khỏi việc xem xét Chú ý giá trị truyền ngược thu hoàn toàn giống kết Minimax, đồng thời tiết kiệm bước tìm kiếm cách đáng kể Kết luận Heuristic thuật giải phổ dụng , áp dụng nhiều tốn có tốn xây dựng trị chơi nhu em trình bày đây.Ngồi tốn liên quan đến tìm kiếm áp dụng thuật giải Heuristic Giống tất luật khám phá phát minh khác, heuristic sai lầm Heuristic đốn chứa thơng tin bước chọn dùng việc giải vấn đề Nó thường dựa vào kinh nghiệm trực giác Vì heuristic sử dụng thơng tin hạn chế nên chúng có khả đốn trước xác cách hành xử không gian trạng thái giai đoạn xa Heuristic dẫn đến thuật tốn tìm kiếm đạt giải pháp gần tối ưu hoàn tồn khơng tìm giải pháp Đây hạn chế thuộc chất tìm kiếm heuristic Các heuristic việc thiết kế thuật toán để thực tìm kiếm heuristic từ lâu quan tâm chủ yếu cơng trình nghiên cứu trí tuệ nhân tạo Chơi game chứng minh định lý hai ứng dụng lâu đời nhất, hai cần đến heuristic để thu giảm bớt không gian giải pháp Khơng thể kiểm tra hết suy luận sinh lĩnh vực tốn nước có bàn cờ vua, tìm kiếm heuristic thường câu trả lời thực tế Gần việc tìm kiếm hệ chuyên gia xác nhận mức độ quan trọng heuristic phần thiếu trình giải vấn đề Bài làm khơng tránh khỏi sơ sót mong thầy bạn đóng góp ý kiến sửa đổi để luận hoàn chỉnh Em xin chân thành cảm ơn thầy Lưu Minh Tuấn –khoa công nghệ thông tin đại học kinh tế quốc dân giúp đỡ em hoàn thành đề tài SV thực Lê Thị Hồng Nhung