CHƢƠNG 1 : GIỚI THIỆU
3.2 Các phương pháp ước lượng
3.2.4 Thuật toán ACE
Cơng thức chung của một mơ hình hồi quy tuyến tính cho p biến độc lập bao gồm , , …, và một biến phụ thuộc Y được trình bày bằng phương trình:
Y = + ∑ + ε
Trong đó , , …, là hệ số hồi quy được ước tính, và ε là sai số ngẫu nhiên. Gỉa định rằng Y là sự kết hợp của các hiệu ứng tuyến tính của , , …, và một sai số ngẫu nhiên ε.
Hồi quy bội thơng thường địi hỏi phải giả định mối quan hệ giữa các biến là tuyến tính được coi là một ưu tiên, do đó vấn đề ước tính tập hợp các thơng số được giảm chỉ cịn lại việc ước tính tham số. Cách tiếp cận tham số này chỉ có thể thành cơng khi giả định về mối quan hệ tuyến tính giữa các biến là chính xác. Khi mối quan hệ giữa các biến phụ thuộc và biến độc lập là khơng biết hoặc khơng chính xác, hồi quy tuyến tính tham số có thể mang lại kết quả sai lầm và thậm chí gây hiểu nhầm. Đây là động lực chính cho việc sử dụng các kỹ thuật hồi quy phi tham số (Friedman và Stuetzle, 1981). Những phương pháp hồi quy phi tham số được sử dụng để giải quyết vấn đề khi các biến khơng có mối quan hệ tuyến tính. Một mơ hình hồi quy ACE có dạng chung: θ(Y) = α + ∑ + ε
Trong đó θ là hàm số của biến phụ thuộc Y, và là hàm số của biến độc lập với i = 1, 2 ..., p. Do đó, mơ hình ACE thay thế những ước tính một hàm tuyến tính của 1 biến p chiều X = ( , , …, ) bằng cách ước tính p hàm số theo từng chiều riêng biêth, và θ sử dụng phương pháp vòng lặp. Các phép chuyển đổi được thực hiện bằng cách giảm thiểu các sai số khơng giải thích được của một mối quan hệ tuyến tính giữa các phụ thuộc và các biến độc lập chuyển đổi.
Đối với một tập dữ liệu được bao gồm một biến độc lập Y và các biến phụ thuộc , , …, , thuật toán ACE bắt đầu bằng cách xác định các triển khai ngẫu nhiên có kỳ vọng bằng 0 θ (Y), , …, . Phương sai không được giải thích bởi một hồi quy của biến phụ thuộc vào tổng của các biến độc lập biến đổi (theo đó ta có: E[ (Y)] = 1).
(θ, , …, ) = E{[ θ(Y) - ∑ )]}
Tối thiểu hóa được thực hiện thơng qua các việc thực hiện tối thiểu hóa các hàm số đơn, kết quả là các phương trình:
) = E{[ θ(Y) - ∑ )]}
θ(Y) = E[∑ ⁄ ]/|| E[∑ ⁄ ]||
Hai tiến trình tốn học cơ bản liên quan đến việc thực hiện là kỳ vọng có điều kiện và lặp lại cho đến khi đạt cực tiểu. vì vậy, thuật tốn này có tên là xen kẽ có điều kiện. cuối cùng các biến , với i=1,2,…,p sau khi thực hiện chuyển đổi sẽ trở thành
( ), với i=1,2,…,p. Trong không gian tối ưu chuyển đổi biến phụ thuộc θ(Y) sẽ trở thành:
θ*(Y) = α + ∑ + e*
Với e* là sai số ngẫu nhiên không thể loại bỏ khi sử dụng thuật toán ACE với giả định là có một phân phối chuẩn và kỳ vọng bằng 0. Sai số hồi quy tối thiểu e*.
Các phép chuyển đổi ACE tối ưu có nguồn gốc duy nhất của dữ liệu nhất định và không yêu cầu một giả định nào về mẫu hàm cho biến phụ thuộc hoặc các biến độc lập và do đó cung cấp một cơng cụ mạnh mẽ để phân tích dữ liệu. Hơn nữa, thuật tốn ACE có thể xử lý các biến số khác hơn so với biến liên tục như phân loại (thứ tự hoặc khơng có thứ tự), số ngun và biến chỉ số. Những trường hợp này khơng cần các tính tốn bổ sung. Đối với các biến phân loại, chuyển đổi ACE có thể được coi là ước lượng điểm số tối ưu cho mỗi cấp độ giá trị của biến và do đó có thể được sử dụng để kết hợp các nhóm một cách chi li.