Đánh giá mô hình QSAR là công việc quan trọng nhất quyết định việc mô hình xây dựng được có thể sử dụng để dự đoán sàng lọc hay không. Để sử dụng và được thông qua mô hình QSAR bởi các cơ quan quản lý, mô hình phải thỏa mãn các nguyên tắc, tiêu chí của OECD (Tổ chức kinh tế thế giới):
Tiêu chí 1: Toàn bộ CSDL đều sử dụng đích xác định là nồng độ ức chế 50% (IC50) enzym HDAC2 được tiến hành theo cùng một điều kiện thí nghiệm là sử dụng Kit định lượng Bioscence®.
Tiêu chí 2: Thuật toán áp dụng rõ ràng: Các phương pháp xây dựng mô hình trong nghiên cứu chúng tôi đã nêu rõ trong mục 2.2. Do tính rõ ràng và đ ng đắn của phương pháp mà mô hình có thể được sử dụng lặp lại để phát hiện các hợp chất mới ức chế HDAC2.
Tiêu chí 3: Xác định miền ứng dụng của mô hình.
Để đạt được khả năng dự đoán tốt trong sàng lọc ảo, việc xác định được miền ứng dụng của mô hình QSAR là vô cùng cần thiết. Miền ứng dụng là khoảng không gian cấu trúc bao gổm trong mô hình. Chỉ những dự đoán đối với các hợp chất có cấu trúc nằm trong miền cấu trúc này mới đáng tin cậy.
Miền ứng dụng được xây dựng dựa trên mối quan hệ giữa phần dư chuẩn (Standardized Residual) và giá trị “đòn bẩy” (Leverage) (ký hiệu là h) tính được cho từng hợp chất. Biểu đồ dưới đây (Hình 3.1) cho thấy mối quan hệ giữa phần dư chuẩn và giá trị h. Chỉ số h cho biết một chất có ảnh hưởng tới không gian cấu trúc của biến như thế nào. Giá trị giới hạn của h gọi là h*, h* là một ngưỡng quan trọng để tham chiếu các dự đoán bởi mô hình QSAR cho hợp chất trong Tr và Te được tính toán theo công thức: h* = 3p/N, trong đó p là số biến độc lập trong mô hình (3.1), N là số lượng quan sát trong tập huấn luyện. Miền ứng dụng được xác định là phần giới hạn bởi khung vuông ± 3 phần dư chuẩn đối và h* bằng 0.6.
Hình 3.1. Miền ứng dụng của mô hình QSAR xác định hợp chất có khả năng ức chế HDAC2.
Sau khi tính toán tập huấn luyện, ta thấy 34/34 hợp chất đều nằm trong miền ứng dụng. Với tập kiểm tra, toàn bộ 11 hợp chất đều nằm trong miền ứng dụng, do đó có thể thấy các dự đoán của mô hình đối với tập kiểm tra là hoàn toàn đáng tin cậy.
Tiêu chí 4: Kết quả các đánh giá nội và ngoại được trình bày trong bảng 3.1.
Bảng 3.1. Kết quả đánh giá nội và đánh ngoại mô hình QSAR.
Thông số R2 Q2 Q2ext
Giá trị thực tế 0,89 0,81 0,85
Ta có R2 ~ 1,0 chứng tỏ độ chính xác của mô hình cao, Q2 = 0,81 cho thấy mô hình có độ ổn định tốt. Khả năng dự đoán nội 88,85% và khả năng dự đoán ngoại 84,64% cho thấy mô hình có khả năng dự đoán hoạt tính tốt.
Như vậy mô hình thoả mãn các tiêu chí đánh giá nội và ngoại về độ chính xác, độ ổn định và khả năng dự đoán tốt.
Tiêu chí 5: Giải thích cơ chế của mô hình.
Mô hình QSAR có sự tham gia của 6 biến, là các tham số phân tử 2D. Tham số phân tử 2D biểu diễn các cấu tr c theo kích thước, độ phân nhánh, và hình dạng tổng thể.
Các tham số phân tử 2D trong mô hình bao gồm ATS8m, JGI10, SM15_AEA(bo), SM08_AEA(dm), SM09_AEA(dm), B06[N-O]. Trong đó:
ATS8m: mô tả tự tương quan Moreau-Broto (ATS) đại diện cho các tương tác giữa các nguyên tử ở khoảng cách topo 8, (lag 8) theo khối lượng nguyên tử. Giá trị này dương, hệ số của tham số mang dấu (+) chứng tỏ sự có mặt của các nguyên tử khối lượng càng lớn càng làm tăng tương tác và càng giảm hoạt tính ức chế.
JGI 10: Chỉ số topo trung bình cụm 10. Hệ số của tham số này mang dấu (+), vì vậy giá trị này càng cao càng làm giảm hoạt tính.
Các tham số SM15_AEA(bo), SM08_AEA(dm), SM09_AEA(dm) thuộc nhóm mô tả Edge adjacency indices. Việc giải thích các biến này gặp phải khó khăn vì cơ chế của chúng phức tạp đòi hỏi những hiểu biết chuyên sâu về hóa lượng tử. Bên cạnh đó chưa có nhiều tài liệu tham khảo, do đó chưa đủ cơ sở để giải thích.
B06[N-O] = 1 hoặc 0 nếu có mặt hoặc không có mặt khoảng cách giữa 2 nguyên tử Nitơ và Oxi là 6 liên kết (C-C). Hệ số B06[N-O] mang dấu (-) do đó nếu giá trị này bằng 1 sẽ làm tăng hoạt tính ức chế.
Như vậy mô hình thỏa mãn các tiêu chí đánh giá của OECD, do đó có thể ứng dụng mô hình này để ứng dụng vào dự đoán hoạt tính sinh học của các hợp chất thiết kế.