2 Nền tảng và các cơng trình liên quan
3.2 Giai đoạn I I Phân loại các thành phần giao diện
3.2.1 Khai thác và tiền xử lý dữ liệu
Với đặc trưng của phương pháp học giám sát và kiến trúc học sâu của chúng, các mạng CNN dùng cho phân loại hình ảnh yêu cầu một lượng lớn dữ liệu đào tạo để đạt được phân loại chính xác. Dữ liệu đào tạo cho mạng phân loại hình ảnh CNN truyền thống thường bao gồm một tập hợp lớn các hình ảnh được gắn nhãn với các lớp tương ứng của chúng, trong đó các nhãn tương ứng với các đối tượng trong hình ảnh. Nhóm tận dụng tập dữ liệu mở cung cấp bởi ReDraw [23] với ảnh chụp màn hình cho các ứng dụng trên nền tảng Android.
Nhóm đã thực hiện một số loại kỹ thuật tiền xử lý để lọc và khử nhiễu các ảnh chụp màn hình ứng dụng.
• Lược bỏ màn hình ngang: Để giữ cho chiều cao và chiều rộng của
tất cả các màn hình đồng nhất, nhóm chỉ thu thập dữ liệu từ các màn hình hiển thị theo hướng dọc. Do đó, nhóm đã kiểm tra kích thước của ảnh chụp màn hình được trích xuất và xác minh rằng chiều rộng và chiều cao tương ứng với 1200x1920. Tuy nhiên, có một số trường hợp góc trong đó hình ảnh có kích thước chân dung chính xác nhưng nó lại
ở chế độ ngang. Vì vậy, để khắc phục điều này, nhóm đã kiểm tra tệp xml uiautomator được giải nén và xác thực kích thước của màn hình để đảm bảo ảnh định hướng dọc.
• Loại bỏ các màn hình chỉ chứa các thành phần bố cục: Trong
Android, các thành phần Bố cục được sử dụng làm vùng chứa để nhóm các loại thành phần chức năng khác lại với nhau như Button và Spinner. Tuy nhiên, một số màn hình có thể chỉ bao gồm các thành phần bố cục. Do đó, để đảm bảo sự đa dạng trong tập dữ liệu của nhóm, nhóm đã phân tích mã nguồn được trích xuất trong tập dữ liệu để loại bỏ các màn hình chỉ bao gồm các thành phần bố cục.
• Lọc WebView: Trong khi nhiều ứng dụng Android phổ biến nhất là
ứng dụng gốc, một số ứng dụng có thể có bản chất kết hợp, tức là sử dụng nội dung web trong trình bao bọc ứng dụng gốc. Vì các ứng dụng như vậy sử dụng các thành phần khơng thể trích xuất thơng qua mã nguồn nên nhóm loại bỏ chúng khỏi tập dữ liệu của nhóm bằng cách xóa các màn hình trong đó WebView chiếm hơn 50% diện tích màn hình.