(Luận văn thạc sĩ) tính độ tương tự và áp dụng trong lập luận theo tình huống

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI * H Ọ• C CƠNG NGHỆ • - /b* — - ĐÕ VẢN CHIẾU T ÍN v H Đ ộ T Ư Ơ N G L U Ậ N T ự V À T H E O Á P D Ụ N G T ÌN H T R O N G L Ậ P H U Ĩ N G Ngành: Cơng nghệ thơns, tin Mâ sổ: 1.01.10 LUẬN VÃN THẠC s ĩ NGƯỜI HƯỚNG DÀN KHOA HỌC: T S N g u y ề n V iệ t H Hà N ộ i - 0 T ín h đ ộ t n g t ự v í m g d ụ n g t r o n g C B R M ụ c '1 /2 0 l ụ c Danh m ục hình v ẽ Danh m ục bảng b iể u K ý h iệ u v t v i ế t t t M đ ầ u v Chương : Tổ n g quan lập luận theo tình h u ố n g 11 1.1 G iới t h i ệ u 11 1.2 C ác k h n iệ m c b ả n 12 1.2.1 K hái n iệ m C B R 12 1.2.2 C h u trìn h lập lu ậ n th e o tìn h h u ố n g 13 1.2.3 B iểu d iễ n ca lậ p l u ậ n 15 1.2.4 T ìm k iế m c a lậ p lu ậ n tư n g t ự 15 1.2.4.1 T ìm k iế m g ầ n n h ấ t 16 1.2.4.2 T im k iế m q u i n p 17 1.2.5 H iệụ ch in h lời g i ả i 18 1.3 Ư u đ iể m C B R 19 1.4 M ộ t số ứ n g d ụ n g đ iể n h ìn h c ủ a C B R 21 1.5 V ấn đề tín h đ ộ tư n g tự g iữ a c c c a lậ p lu ậ n tro n g h ệ th ố n g C B R 22 1.6 K ế t lu ậ n 23 Chương 2: C c phương pháp tín h tốn độ đo tương t ự 24 2.1 Đ ộ tư n g t ự 24 2.1.1 K h o ả n g c c h 25 2.1.2 M ối q u an h ệ g iữ a tư n g tự v b ấ t tư n g t ự 26 2.2 T ại c h ú n g ta c ầ n đ o tư n g tự 26 2.3 Đ o độ tư n g tự h o ặ c b ấ t tư n g t ự .27 2.4 T ín h độ tưcm g tự h o ặ c b ấ t tư n g tự ch o c c b iế n n h ị p h â n 28 2.4.1 H ệ sổ đ ố i sá n h đ n g i ả n 29 2.4.2 H ệ sổ J a c c a r d 30 2.4.3 K h o ả n g cách H a m m in g .30 2.5 T ín h độ tưcm g tự h o ặ c b ấ t tư n g tự c h o c c b iế n đ ịn h d a n h /p h m trù ! T 31 2.5.1 G án m ỗ i g iá trị c ủ a p h m trù n h m ộ t b iế n g iả n h ị p h â n 33 2.5.2 G n m i g iá trị c ủ a p h m trù v o tro n g m ộ t số b iế n g ià n h ị p h â n 35 2.6 T ín h độ tưcm g tự h o ặ c b ấ t tư n g tự c h o c c b iế n có th ứ t ự .37 2.6.1 S ự c h u y ể n đ ổ i h n g đ ợ c c h u ẩ n h ó a .40 2.6.2 K h o ả n g cách S p e a r m a n .41 2.6.3 K h o ả n g cách F o o tr u le 41 2.6.4 K h o ả n g cách K e n d a ll 42 T ran g T ín h đ ộ tư n g tự v ícn g d ụ n g t r o n g C B R /1 /2 0 2.6.5 K h o ả n g cách C a y le y 42 2.6.6 K h o ả n g cách H a m m in g cho b iến th ứ t ự 43 2.6.7 K h o ả n g cách UI a m 44 2.7 T ín h độ tư ng tự b ấ t tư n g tự cho b iế n định lư ợ n g 44 2.7.1 K h o ả n g cách E u c lid e a n 45 2.7.2 K h o ả n g cách C ity b l o c k 45 7.3 K h o ả n g cách C h e b y s h e v 46 2.7.4 K h o ả n g cách M in k o w s k i 46 2.7.5 K h o ản g cách C a n b e rra 46 2.7.6 K h o ản g cách B ray C urtis (k h o ản g cách S o re n s e n ) 47 2.7.7 P h ân cách góc (A n g u la r se p a tio n ) 47 2.7.8 H ệ số tư n g liê n (C o rrela tio n c o e f fic ie n t) .48 2.8 T ín h đ ộ bất tưcm g tự g iữ a hai n h ó m .48 2.9 C h u ẩn h ó a độ tư n g tự h o ặc b ấ t tư n g t ự .48 2.10 K ế t h ợ p kiểu hỗ n h ợ p c ủ a b i ế n 54 2.11 K ế t lu ậ n 55 Chương T ố i ưu trọng số cho hàm tính độ tương tự ca lập luận C B R 56 3.1 G iớ i th iệu to án u 56 3.2 C ác p h n g p háp tính độ tư n g tự ca lập luận tro n g C B R 60 3.3 T ối u trọng số cho hàm tính độ tư ng tự g iữ a ca lập lu ận o n g C B R .61 3.3.1 X ây dự ng hàm m ục tiêu đ án h g iả dự a trê n đ án h g iá d ạn g sổ chuyên g ia 62 3.3.2 X ây đ ự n g hàm m ục tiê u đ án h g iá d ự a đ ản h g iá m c ủ a chuyên g ia 63 3 Sổ h ó a đánh £ iá c ủ a ch u y ên g ia v ê đ ộ tư ng tự g iữ a c ác ca lập lu ận Ư ong tập huấn l u y ệ n 63 3 2 X ây dự ng hàm m ục tiê u đ n h g iá 64 3.4 C c p h n g p h áp tối th iể u h àm m ụ c tiê u 66 3.4.1 S d ụ n g ph n g pháp g iả m G rad ien t tối th iể u h àm m ục t i ê u 66 3.4.2 S d ụ n g giải th u ậ t di tru y ê n tô i th iêu h àm m ụ c t i ê u 68 3.5 K ết lu ậ n 70 Chương T h ự c nghiệm 71 4.1 T hự c nghiệm hệ th ố n g ước lượ ng chi phí phần m ề m .71 4.1.1 H ệ th ố n g ướ c lư ợ ng chi phí p h ầ n m ề m .71 4.1.1.1 B iểu diễn dự n 71 4.1.1.2 T ìm kiếm dự án tư ng t ự 73 4.1.2 K ết quà th ự c n g h iệ m v 74 4.2 T h ự c nghiệm hệ thổng g iả lậ p 76 T ran g T ín h đ ộ t n g t ự ứ n g d ụ n g t r o n g C B R /1 /2 0 4.2.1 H ệ th ổ n g g iả lậ p 77 4.2.2 K ế t q u ả thực n g h iệ m 78 4.3 K ết lu ậ n .79 K ế t lu ậ n 80 T i liệu tham k h ả o 82 T ran g T ín h đ ộ t n g t ự ứ n g d ụ n g t r o n g C B R D a n h m u c h ìn h /1 /2 0 v ẽ H ìn h 1.1 - C h u trình “ lạ i” c ủ a C B R .14 H ìn h 1.1 - S ự tư n g tự g iữ a c ác n g ô i s a o - 24 H ỉnh 2.2 - M ộ t ví dụ g án g iá trị b iế n p h m trù 34 H ìn h 2.3 - V í dụ p h ép g n g iả b iế n n h ị p h â n 36 H ình 2.4 - Đ th ị h àm ỏ trư n g h ợ p 1, 50 H ình 2.5 - Đ thị b iểu d iễ n h m ỗ với trư n g h ợ p 51 H ình 3.1 - Đ ặ c tả c a lập lu ậ n v ề h ỏ n g x e (C A S E v C A S E 2) 58 H ỉnh 3.2 - Đ ặc tả to án m i 58 H ình 3.3 - Q u trình tín h độ tưomg tự g iữ a ca lập l u ậ n 59 H ình - T ín h độ tư n g tự g iữ a hai c a lậ p lu ậ n v 25 74 T ran g T ín h đ ộ tư n g t ự r ứ n g d ụ n g t r o n g C B R D a n h m ụ c b ả n g Ị/ỉ/2 0 b iể u B ảng - C ác thuộc tín h m iề n g iá trị củ a c h ú n g 72 B àn g 4.2 - T ập ca lập luận h u â n lu y ệ n 755 B ảng 4.3 - C ác đánh g iá c h u y ê n g i a 755 B ản g 4 - K ế t th ự c h iện g ià i th u ậ t di t m y ề n 766 B ảng 4.5- C sở dừ liệ u ca lậ p luận giả l ậ p 777 B ảng 4.6 - M ột số kết sau 100 h ệ .788 B ảng 4.7- G iá trị đánh giá g iả l ậ p 788 T ran g Tính độ tương tự xà ứng dụng CBR i /1/2006 Ký hiệu từ viết tắt Bàng từ viết tắt Từ viêt tăt Từ hoăc cum từ • • Từ tiếng Anh Lập luận theo tình CBR Case-based Reasoning Cơ sờ liệu CSDL Case base Từ khóa Lập luận theo tinh huống, chuyên gia, hàm đánh giá, hàm tương tự, biến mờ, tối ưu trọng sổ Trang Tính độ tương lự vờ img dụng CBR 1/1/2006 Mỏ’ đàu Trong vài thập niên trở lại đây, công nghệ thông tin ứng dụng hầu hết lĩnh vực cùa sống, hệ chuyên gia trờ thành huớng nghiên cứu quan tâm nhiều khoa học máy tính cơng nghệ tri thức viện nghiên cứu, trường đại học trung tâm cơns nghệ thơng tin nước ngồi nước Trong q trình phát triển đó, hàng loạt nghiên cửu, đề xuất thử nghiệm vả ứng dụng thành công đời sống hệ chuyên gia chẩn đốn bệnh rvíYCIN[3], hệ ừợ giúp khách hàDg SMART[2] cho thấy việc nghiên cứu xây dựng hệ chuyên gia vấn đề cấp thiết có tính thực tế cao Xây dựng hệ chuyên gia ngày có nhiều hướng tiếp cận dựa theo tảng cơng nghệ tri thức, có hai hướng tiếp cận lập luận dựa luật (Rule-based Reasoning), hệ chuyên gia DENDRAL[6] phục vụ nghiên cứu vơi trụ, PROPECTOR[5,19] trợ giúp tìm khống sản, lập luận dựa tình (Case-based Reasoning - CBR), hệ trợ giúp khách hàng SMART[2] Compaq, lựa chọn sừ dụng nhiều Trong dó, hướng tiếp cận dựa luật phát triển sớm, đà có đầy đủ tảng tốn học cho việc nghiên cứu xây đựng hệ chuyên gia, thành cơng việc đưa số ứng dụng vào thực tế Các hệ chuyên gia MYCIN[3,7], DENDRAL[6], minh chứng cho điều Bên cạnh đó, hướng tiếp cận theo tình đời khơng lâu khẳng định sức mạnh mình, nhiều ứng dụng đưa thực tế ràng hướng tiếp cận đẳn, khắc Trang Tính độ tương tự ieng dụng CBR 1/1/2006 phục nhược điểm tiếp cận dựa luật Đó là, phải xây đựng luật suy diễn miền tri thức khó thành lập quy tẳc luật, khó tìm lời giải nhanh số lượng cảc luật lớn, đòi hỏi cộng tác chặt chè chuyên gia nhà tin học Khi giải tốn, CBR tìm kiếm tốn tương tự với sờ trí thức Sau đó, CBR tiến hành hiệu chinh lời giải vừa tim cho thực phù hợp với toán cần giải Lời giải tạo cập nhật vào sở tri thức để sử dụng tương lai Có bốn vấn đề cần giải CBR tìm kiếm lại (Retrieve), sử dụng lại (Reuse), xem xét lại (Revise) lưu lại (Retain) lời giải Một nhừng vấn đề khó khăn ảnh hường trực tiếp tới chất lượng cùa hệ thống lả vấn đề tính độ tương tự giai đoạn tìm kiếm lại giai đoạn chuỗi hoạt động cùa hệ thống CBR Ý thức vấn đề có tầm quan trọng lớn khơng chi thực tế xây dựng mà nghiên cứu lâu dài, chúng tơi chọn hướng nghiên cứu tính tốn độ tương tự tối ưu trọng số cho hàm tỉnh độ tương tự CBR cho đề tài luận văn minh Luận văn xây dựng dựa sổ nghiên cửu lĩnh vực tính tốn độ tương tự, đưa phương pháp tính độ tương tự có thể áp dựng Ưong CBR, đồng thời, với mục đích nâng cao chất lượng hệ thổng, đưa hướng tiếp cận cho tối ưu trọng số hàm tính độ tương tự Việc tối ưu thực dựa đảnh giá chuyên gia độ tương tự ca lập luận, đưa hàm đánh giá thể sai số đánh giá hàm tính độ tương tự, từ đỏ tìm trọng số cho hàm đánh giá có giá trị nhỏ (tức sai sổ nhất) Trang Tính độ tương tự ứng dụng CBR 1/1/2006 Các kết thực nghiệm kiểm chứng phươne pháp đưa để chứng minh tính đắn hướng tiếp cận Luận văn tổ chức thành chương sau: Chương I trình bày tổng quan hệ thống CBR từ khái niệm tới cách thức xây dựng hệ thống dựa kinh nghiệm Chương đưa so sánh hai hướng tiếp cận dựa fren luật dựa tình huống, ưu nhược điểm hai hướng tiếp cận Chương trình bày tổng quan tính độ tương tự, đưa cách tính độ tương tự nghiên cứu cách sử dụng chúng trường hợp khác nhau, ứng dụng cách tính ứong tính độ tương tự hệ thống CBR, Chương trình bày phương pháp tối ưu tính độ tương tự cho ca lập luận CBR Chương đưa cách thức xây dựng hàm đánh giá để từ tỉm trọng sổ tốt thông qua giải thuật tối ưu Hai giải thuật tối ưu thông dụng !à giải thuật truyền dốc Gradient trinh bày nhàm đưa nhìn tồn diện phương pháp Chương đưa hệ thống thực nghiệm chứng minh tính đắn cùa phương pháp tối ưu Chương đưa ứng dụng cho hệ thống ước lượng chi phí phần mềm để tối ưu trọng số hệ thống già lập để khẳng định lại tính phương pháp Các kết cuối chương chi rõ tính đắn Phần kết luận đưa tổng kểt kết luận văn đạt đồng thòi đưa hạn chế hướng nghiên cứu luận văn Trang 10 Tinh độ tương lự img dụng CBR C h c rn g T h ự c 1/1/2006 n g h iệ m C h n g náy đ a hệ th ố n g thực n g h iệ m cho phương pháp tối ưu c h n g hai hệ th ố n g k h ác nhau, m ộ t hệ thống thực ước lượng chi phi p h ầ n m ề m m ộ t hệ th ố n g giả lập, hệ thống đ u a với đ ữ liệu sinh già M ục đ ích h ệ thống giả lập n h ằ m làm sáng tò h n k ế t q u ả thu đư ợ c p h n g pháp tổi ưu Các m ô tả hệ th ố n g đ ợ c ím s d ụn g thừ n g h iệ m v kết q u ả đ ợ c đưa c c phần đày 4.1 T h ự c nghiệm hệ thống ước lượng chi phí phần m ềm T h ự c nghiệm n ày đượ c thực m ộ t h ệ thống ước lượng chi phí ph ần m ề m sử dụng C B R [25] H ệ thốn g đan g giai đoạn thử nghiệm kết q u ả v nâng cấp, v thực cán giảng viên k h o a công n gh ệ th ô n g từi Đại h ọ c C ôn g n g h ệ , Đại học Q u ổ c g ia H Nội Dưới m ô tả c b ả n hệ th ố n g thực v kết q u ả thự c n ghiệm 1 H ệ th ố n g c lư ợ n g c h i p h í p h ầ n m ề m Ư c lượ ng m ộ t n h n g cô ng việc k h ó n hất phát triển phần m ề m đ ặ c biệt giai đ o n x c định Vì h iể u biết v ề hệ thống tro n g giai đoạn c ò n h ạn chế v c h a chi tiết nên sai số c ủ a ước lượng th n g lớn T ro n g n h ữ n g n ă m qua, n h iều phươ n g pháp đư ợ c đề xuất n h ằ m tàng độ xác việc c lượng H ệ thống d ù n g cách tiếp c ận c h o uớc lượng d ự n p h ầ n m ề m sử dụ n g p h n g pháp lập luận theo tình h u ổ n g (Case-Based Reasoning) 4.1.1.1 Biểu diễn dự án Trang 71 Tinh độ tương tự \'à ứng dụng CBR 1/1/2006 B iể u diễn d ự án b ao g m lựa ch ọ n c ấ u trúc, nội đ u n g v c c h thức tích h ợ p từ n g d ự án riên g v o c sở t n thức T ro n g b c này, v iệc lựa chọn n h n g th ô n g tin c ủ a d ự n để m ô tà h ế t sức q u a n trọng N h n g th ôn g tin đượ c lự a chọn ph ải n h ữ n g th ô n g tin đặc trư n g c ủ a d ự n v phải xác đ ịn h đ ợ c ng ay giai đ o n x ác định T ro n g m h ìn h này, m ỗ i d ự án đượ c m ô tà g m hai phần: đặc tà dự ân v chi phi, thời gian thực tế B ả n g 4.1 m ô tà th u ộ c tính m ộ t d ự n v m iề n giá trị c ủ a ch úng Bảng - Các thuộc tính m iền giá trị chúng Thuộc tính ■ Miền giá trị Mién ứng dụng Quản lý, hệ thống, khoa học, web Kién trúc hệ thống máy đơn, client/servcr, phân tán Hệ QTCSDL khơng có, đơn giản, trung bình, phúc tạp Ngơn ngữ lập trinh đơn gián, trung binh, phức tạp Giao diện dóng lệnh, đồ họa, web Số yêu cẩu chức nảng phức lạp sô nguyên dương Sô yêu câu chức nâng trung binh Sỏ yêu càu chức dưn giản sổ nguyên dương số nguyên dương Yêu cẩu phi chức đễ, đễ, trung binh, khỏ, khó 10 Năm băt đâu 1990-2020 Khi m ộ t ca lậ p lu ậ n troniĩ c s tri thức có d n g sau: CaselD: 25 Ước lượng: Miền úng dụng: q.ly Kiên trúc hệ thông: web HQTCSDL: dgian Giao diện: web Sô chức phức tạp: Sô chức nãng trung binh: Sô chức năna đơn gián: Yêu câu phi chức nảng: ib Thời gian bát dâu dự án: 2000 Ngơn ngữ lập trinh' PHP Trang 72 Tính độ tương tự vờ im