21/1/2010 Nhiệm vụ phân tích từ vựng Phát từ tố Bỏ qua ký tự không cần thiết Bài Bộ phân tích từ vựng Khoảng trống Dấu tab Ký tự xuống dòng (CR,LF) Chú thích Từ tố có cấu trúc cú pháp Xử lý luật từ vựng phân tích cú pháp ? Làm cho phân tích cú pháp trở nên phức tạp Phân biệt tên từ khoá có luật phức tạp để xử lý chuỗi ký tự không cần thiết (khoảng trống, tab, thích ) Phải Tại không xử lý luật giai đoạn phân tích cú pháp ? 21/1/2010 Các từ tố KPL Ôtômat hữu hạn PTTV Số nguyên Định danh Từ khóa: begin,end, if,then, while, do, call, const, var, procedure, program,type, function,of,integer,char,else,for, to,array Hằng ký tự Dấ phép Dấu ttoán: số học + - */ so sánh = != < > = Dấu phân cách ( ) : ; ( .) Dấu phép gán := Sau từ tố nhận biết, từ vựng lại quay lại trạng thái s0 Xử lý loại từ tố Các phép toán quan hệ case : c= nextchar(); if(c==blank || c= =tab || c= =newline ){ state = 0; lexeme_beginning++; //chuyển trỏ đến đầu từ tố) } case 1: if(c= = '') state = 7; else state =fail();break; case 1a: c:=nextchar(); if (c= = '=') state = 2; Else state=3; case 2: return (leq) switch(state) { case // Bỏ qua khoảng trống case 1// Xử lý phép toán quan hệ case 10 // Xử lý tên case 13 // Xử lý số } 21/1/2010 Số nguyên Định danh case 13: c = nextchar(); if(isdigit(c)) state = 14; case 14: cc=nextchar(); nextchar(); if(isdigit(c)) state = 14; else state = 15; break; case 15 : retract(1); install_num(); return(num); case 10: c = nextchar(); if(isletter(c)) state =11; else state = fail; break; case 11: c = nextchar(); if(isletter(c)) state =11; else if (isdigit(c)) state = 11; else state = 12; break; case 12: retract(1) ; install_id(); return (gettoken()); 10 Xử lý tên / từ khoá Các thông tin bảng ký hiệu Tên: xâu ký tự Thuộc tính: tên kiểu,tên biến, tên thủ tục, tên g Kiểu liệu Phạm vi sử dụng Địa vùng nhớ,kích cỡ vùng nhớ 11 12 21/1/2010 Cấu trúc liệu enum symbol { nul, ident, number, plus,minus, times, slash, eql,neq, lss,leq,grt,geq, lparen, rparen, comma, semicolon, period, becomes, quote, colon, lsquare,rsquare, beginsym, endsym, ifsym,thensym, whilesym,dosym, callsym,constsym,varsym,procsym,programsym,typesym, funcsym,ofsym,integersym,charsym,elsesym,forsym, tosym, arraysym }; 13 ... phép Dấu ttoán: số học + - */ so sánh = != < > = Dấu phân cách ( ) : ; ( .) Dấu phép gán := Sau từ tố nhận biết, từ vựng lại quay lại trạng thái s0 Xử lý loại từ tố Các phép toán quan...21/1/2010 Các từ tố KPL Ôtômat hữu hạn PTTV Số nguyên Định danh Từ khóa: begin,end, if,then, while, do, call, const, var, procedure,... = 0; lexeme_beginning++; //chuyển trỏ đến đầu từ tố) } case 1: if(c= = '') state = 7; else state =fail();break;