. 98 TỔNG QUAN VỀ BIÊN DỊCH
PHẦN 3.1 VAI TRỊ CỦA THỂ PHÂN TỪ VỰNG
Đơi khi thể phân từ vựng được chia làm hai giai đoạn nối tiếp nhau. Giai đoạn đầu
“quét” nguyên liệu và giai đoạn sau mới là giai đoạn phân tích từ vựng. Chương trình quét nguyên liệu chịu trách nhiệm thực hiện một số tác vụ đơn giản cịn bản thần thể phân từ vựng thực hiện các tác vụ phức tạp hơn. Chẳng hạn trình biên dịch Eortran cĩ
thể dùng một chương trình quét để loại bơ các ký tự trống ra khỏi nguyên liệu. Các vấn đề của giai đoạn phân tích từ vựng
Cĩ rất nhiều lý do để chia giai đoạn phân tích thành hai giai đoạn riêng rẽ: phân tích
từ vựng và phân tích cú pháp.
1. Làm cho việc thiết kế đơn giản hơn là lý do quan trọng nhất. Tách phân tích từ vựng ra khỏi phân tích cú pháp cho phép chúng ta đơn giản hĩa từng giai đoạn.
Chẳng hạn một thể phân cú pháp phải lo xử lý các lời giải thích và khoảng trắng
sẽ phức tạp hơn rất nhiều so với một:thể phân cú pháp khơng phải xử lý các lời
giải thích và các khoảng trắng vì chúng đã được thể phân từ vựng loại bỏ trước rồi. Nếu chúng ta dự định thiết kế một ngơn ngữ mới, việc tách các qui ước từ vựng ra khỏi qui ước cú pháp cĩ thể dẫn đến một thiết kế dễ hiểu hơn.
2. Hiệu quả của trình biên dịch được cải thiện. Một thể phân từ vựng riêng rẻ cho phép chúng ta xây dựng được một chương trình xử lý chuyên dụng và hiệu quả hơn
cho tác vụ này. Một phần thời gian khá lớn được đành đế đọc chương trình nguồn và để tách chúng thành các thẻ từ. Các kỹ thuật đệm đặc dụng dành để đọc các ký tự và xử lý thẻ từ cĩ thể làm tăng đáng kể hiệu năng của trình biên địch.
3. Tính đa tương thích (mang đi đễ dàng) của trình biên dịch cùng được cải thiện. Đặc tính của bộ ký tự nhập và những dị biệt của từng loại thiết bị cĩ thể được giới hạn trong thể phán từ vựng. Dạng biểu diễn của các ký hiệu đặc biệt hoặc là những ký hiệu khơng chuẩn, chẳng hạn như ký hiệu † trong Paseal cĩ thể được cơ
lập trong thể phân từ vựng.
Cĩ những cơng cụ chuyên dụng được thiết kế nhằm tự động hĩa việc xây dựng các
thể phân từ vựng và cú pháp khi chúng được tách riêng. Chúng ta sẽ gặp một số thí dụ
về những cơng cụ như thế trong cuốn sách này.