Ký hiệu Nhân tố Dạng dữ liệu Ký hiệu
X1 Thời điểm thi cơng Dạng số nguyên Interger X2 Địa điểm cơng trình Dạng chữ: Vị trí (tỉnh) Polynominal
X3 Biện pháp thi cơng Dạng chữ Polynominal
X4 Tiến độ thi cơng Dạng số nguyên (ngày) Interger
X6 Khẩu độ nhà (nhịp nhà) Dạng số thực (m) Real
X7 Bước nhà Dạng số thực (m) Real
X8 Chiều cao nhà Dạng số thực (m) Real
X9 Số tầng Dạng số nguyên Interger
X10 Địa hình tính giĩ Dạng chữ: B, C, D Polynominal X11 Tải treo (bao gồm tải phụ và tải pin mặt trời) Dạng số thực (m) Real
X12 Diện tích xây dựng Dạng số thực (m) Real
X13 Loại mái Dạng chữ Polynominal
X14 Loại vách Dạng chữ Polynominal
X15 Hệ số trượt giá. Dạng số thực Real
X16 Hệ số ứng suất (Stress ratio) Dạng số thực Real
Y Giá trúng thầu Dạng số thực Real
4.5.2. Thiết kế thơng số
Mạng nơ ron nhân tạo (ANN) đã được sử dụng trong nhiều lĩnh vực cho nhiều ứng dụng khác nhau và được chứng minh là đáng tin cậy. Mặc dù cĩ những ưu điểm độc đáo như bản chất phi tham số, khả năng giới hạn quyết định tùy ý và dễ dàng thích ứng với các loại dữ liệu khác nhau thì chúng cĩ một số hạn chế. Những hạn chế này là kết quả của một số yếu tố, cĩ thể ảnh hưởng đến độ chính xác của việc phân loại. Các yếu tố này cĩ thể được chia thành hai nhĩm chính: yếu tố bên ngồi và yếu tố bên trong. Các yếu tố bên ngồi bao gồm các đặc điểm của tập dữ liệu đầu vào và quy mơ của nghiên cứu, trong khi các yếu tố bên trong là sự lựa chọn cấu trúc mạng thích hợp, trọng số ban đầu, số lần lặp, chức năng truyền và tốc độ học. Vì vậy, một trong những thách thức lớn trong thiết kế mạng neuron là việc xác định các thơng số nhằm để quá trình huấn luyện đạt sai số tối thiểu và độ chính xác cao nhất.
4.5.2.1. Số lớp ẩn và số neuron trong lớp ẩn
Vì các mạng cĩ hai lớp ẩn cĩ thể thể hiện các hàm với dáng điệu bất kỳ, nên về lý thuyết, khơng cĩ lý do nào sử dụng các mạng cĩ nhiều hơn hai lớp ẩn. Người ta đã xác định rằng đối với phần lớn các bài tốn cụ thể, chỉ cần sử dụng một lớp ẩn cho mạng là đủ. Các bài tốn sử dụng hai lớp ẩn hiếm khi xảy ra trong thực tế. Thậm chí
đối với các bài tốn cần sử dụng nhiều hơn một lớp ẩn thì trong phần lớn các trường hợp trong thực tế, sử dụng chỉ một lớp ẩn cho ta hiệu năng tốt hơn là sử dụng nhiều hơn một lớp. Việc huấn luyện mạng thường rất chậm khi mà số lớp ẩn sử dụng càng nhiều.
Một vấn đề quan trọng trong việc thiết kế một mạng là cần cĩ bao nhiêu đơn vị trong mỗi lớp. Sử dụng quá ít đơn vị cĩ thể dẫn đến việc khơng thể nhận dạng được các tín hiệu đầy đủ trong một tập dữ liệu phức tạp, hay thiếu ăn khớp (underfitting). Sử dụng quá nhiều đơn vị sẽ tăng thời gian luyện mạng, cĩ lẽ là quá nhiều để luyện khi mà khơng thể luyện mạng trong một khoảng thời gian hợp lý. Số lượng lớn các đơn vị cĩ thể dẫn đến tình trạng thừa ăn khớp (overfitting), trong trường hợp này mạng cĩ quá nhiều thơng tin, hoặc lượng thơng tin trong tập dữ liệu mẫu (training set) khơng đủ các dữ liệu đặc trưng để huấn luyện mạng. Số lượng tốt nhất của các đơn vị ẩn phụ thuộc vào rất nhiều yếu tố - số đầu vào, đầu ra của mạng, số trường hợp trong tập mẫu, độ nhiễu của dữ liệu đích, độ phức tạp của hàm lỗi, kiến trúc mạng và thuật tốn luyện mạng.
Trong phần lớn các trường hợp, khơng cĩ một cách để cĩ thể dễ dàng xác định được số tối ưu các đơn vị trong lớp ẩn mà khơng phải luyện mạng sử dụng số các đơn vị trong lớp ẩn khác nhau và dự báo lỗi tổng quát hĩa của từng lựa chọn. Cách tốt nhất là sử dụng phương pháp thử-sai (trial-and-error). Trong thực tế, cĩ thể sử dụng phương pháp Lựa chọn tiến (forward selection) hay Lựa chọn lùi (backward selection) để xác định số đơn vị trong lớp ẩn. Lựa chọn tiến bắt đầu với việc chọn một luật hợp lý cho việc đánh giá hiệu năng của mạng. Sau đĩ, ta chọn một số nhỏ các đơn vị ẩn, luyện và thử mạng; ghi lại hiệu năng của mạng. Sau đĩ, tăng một chút số đơn vị ẩn; luyện và thử lại cho đến khi lỗi là chấp nhận được, hoặc khơng cĩ tiến triển đáng kể so với trước. Lựa chọn lùi, ngược với lựa chọn tiến, bắt đầu với một số lớn các đơn vị trong lớp ẩn, sau đĩ giảm dần đi. Quá trình này rất tốn thời gian nhưng sẽ giúp ta tìm được số lượng đơn vị phù hợp cho lớp ẩn.
Để khắc phục điều này K. Gnana Sheela (2013) đưa ra cơng thức tính số neuron trong lớp ẩn và Tijana Vujičić và cộng sự (2016) đã chứng minh cơng thức này giúp quá trình huấn luyện đạt sai số thấp nhất với n là số neuron lớp đầu vào:
4.5.2.2. Tốc độ học (learning rate)
Tốc độ học là một siêu tham số sử dụng trong việc huấn luyện các mạng neuron, thường nằm trong khoảng giữa 0 và 1. Tốc độ học kiểm sốt tốc độ mơ hình thay đổi các trọng số để phù hợp với bài tốn. Cập nhật trọng số:
weight new = weight old - (learning rate * gradient)
Tốc độ học lớn giúp mạng neuron được huấn luyện nhanh hơn nhưng cũng cĩ thể làm giảm độ chính xác. Nếu tốc độ học quá thấp sẽ ảnh hưởng tới tốc độ của thuật tốn rất nhiều, thậm chí khơng bao giờ tới được đích. Ngược lại, tốc độ học lớn thì thuật tốn tiến rất nhanh tới gần đích sau vài vịng lặp nhưng thuật tốn khơng hội tụ được vì bước nhảy quá lớn, khiến nĩ cứ quẩn quanh ở đích.
Việc lựa chọn giá trị này phụ thuộc nhiều vào dữ liệu và yêu cầu mỗi bài tốn và phải làm một vài thí nghiệm để chọn ra giá trị tốt nhất. Ở nghiên cứu này tác giả đã thử và chọn tốc độ học là 0.02 thì kết quả sai số thấp nhất.
Khi tốc độ học quá lớn hoặc quá bé sẽ khiến quá trình huấn luyện gặp khĩ khăn, momentum- động lực hoặc gọi là đà giúp cho quá trình diễn ra thuận lợi hơn.
Wnew = W old - (*v + * gradient) Trong đĩ:
: momentum, thường chọn 0.9 v: vận tốc
Trước khi đưa các tập dữ liệu vào mơ hình, ta cần thiết lập các thơng số mơ hình. Các thơng số này được ở bảng và hình bên dưới. Các bước thực hiện được tham khảo ở tài liệu hướng dẫn và cụ thể các thiết lập trong phần mềm Rapidminer Studio sẽ được trình bày ở phần tiếp theo.