Nghiên cứu các phương pháp nhận dạng từ dưới cursor mouse trên Desktop WIndows. Viết chương trình nhận dạng này

Nghiên cứu các phương pháp nhận dạng từ dưới cursor mouse trên Desktop WIndows. Viết chương trình nhận dạng này

Báo Cáo Luận Văn Tốt Nghiệp Trang 1 SVTH : Lương Cao Hoài Tâm Lớp TH40 MỤC LỤC LỜI MỞ ĐẦU 3 CHƯƠNG 1: TÌM HIỂU VỀ LẬP TRÌNH WINDOWS 4 I. Khái quát về lập trình trong Windows 5 II. Thông điệp và xử lý thông điệp 7 III. Giao diện thiết bò đồ họa GDI 11 IV. Cửa sổ trong Windows 15 V. Chương trình Windows tiếp nhận thông điệp chuột 22 CHƯƠNG 2: TÌM HIỂU VỀ HOOK 26 1 - Chuỗi hook 27 2 - Thủ tục hook 27 3 - Các loại hook 28 4 - Sử dụng hook 30 5 - Hook trong Windows 3.x 31 6 - Giới thiệu một số hàm liên quan đến hook 33 CHƯƠNG 3: KỸ THUẬT OVERRIDE HÀM API 36 I. Khái quát về kỹ thuật override 37 II. Lý do sử dụng kỹ thuật override trong lập trình Windows 37 III. Cơ chế hoạt động và quản lý bộ nhớ trên Windows 16bits 38 IV. Cơ chế hoạt động và quản lý bộ nhớ trên Windows 32bits 41 V. Hiện thực kỹ thuật override trên Windows 16bits 45 VI. Một số hàm được sử dụng trong kỹ thuật override 50 CHƯƠNG 4: KẾT XUẤT VĂN BẢN TRONG WINDOWS 54 I. Kết xuất văn bản trong Windows 55 II. Các hàm căn bản để kết xuất văn bản 55 CHƯƠNG 5: PHÂN TÍCH VÀ THIẾT KẾ CHƯƠNG TRÌNH 66 I. Phân tích vấn đề 67 II. Thiết kế chương trình 68 III. Giới thiệu một số hàm có liên quan 78 IV. Giới thiệu một số cấu trúc dữ liệu có liên quan 92 KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN 97 THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Báo Cáo Luận Văn Tốt Nghiệp Trang 2 SVTH : Lương Cao Hoài Tâm Lớp TH40 Đề tài : Nghiên cứu các phương pháp nhận dạng từ dưới cursor mouse trên Desktop Windows. Viết chương trình nhận dạng từ này. THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Báo Cáo Luận Văn Tốt Nghiệp Trang 3 SVTH : Lương Cao Hoài Tâm Lớp TH40 Lời Mở Đầu gày nay, hầu như mọi công việc hàng ngày liên quan đến cuộc sống của chúng ta đều diễn ra trên máy tính. Từ việc soạn thảo văn bản, gởi nhận thông tin đến việc tra cứu, truy cập thông tin từ hệ thống mạng máy tính toàn cầu Internet đối với người sử dụng là công việc thường ngày và rất phổ biến. Từ đó, sẽ phát sinh vấn đề là người sử dụng sẽ cần tìm hiểu ý nghóa của một từ, một câu hoặc cần phải dòch một đoạn văn bản, một file dữ liệu nào đó ra tiếng Việt và ngược lại. Đây là một nhu cầu cần thiết và hầu như xảy ra thường xuyên đối với nhiều người, do đó nhận dạng từ đặc biệt là nhận dạng từ trên màn hình trong môi trường Windows là việc làm cần thiết và có ý nghóa thực tế. Kết quả của việc nhận dạng từ sẽ được dùng để xây dựng nên các ứng dụng khác chẳng hạn như các từ điển được tra cứu theo kiểu tương tác trực tiếp sẽ rất thuận tiện cho người sử dụng bởi vì theo cách này thì cho dù đang ở trong bất kỳ ứng dụng nào khi cần tra cứu thì thao tác trực tiếp ngay trên ứng dụng đang dùng tức là chỉ cần click chuột vào đó chứ không cần phải mở từ điển rồi tra cứu từ đó theo kiểu cổ điển. Vì thế, trong thời gian làm Luận Án Tốt nghiệp được sự hướng dẫn của thầy Lê Tấn Hùng nhóm sinh viên chúng tôi thực hiện đề tài: “ Nhận dạng từ dưới cursor mouse trên deskop Windows. Viết chương trình nhận dạng từ này ”. Trong giai đoạn đầu của Luận Án Tốt Nghiệp chúng tôi đã nghiên cứu được một số vấn đề quan trọng và căn bản có ý nghóa trong việc thực hiện yêu cầu đã đặt ra của đề tài. Đề tài này chỉ tập trung nhận dạng từ ở dạng text trên desktop của môi trường Windows rồi xuất kết quả ra. Trong thời gian làm Luận Án Tốt Nghiệp nhóm sinh viên chúng tôi đã tiến hành nghiên cứu cơ chế hoạt động và quản lý của hệ điều hành Windows. Nghiên cứu về phương thức lập trình trong môi trường Windows và các phương tiện mà Windows hỗ trợ khi lập trình. Tham khảo và nghiên cứu kỹ thuật override các hàm giao tiếp của Windows ở chế độ 16 bit và 32 bit. Nghiên cứu cách xử lý các thông điệp trong Windows và tìm hiểu về cách kết xuất văn bản, về chế độ ánh xạ, vấn đề tọa độ . . . và cách xử lý văn bản. Trên cơ sở đó bước đầu chúng tôi đã xây dựng xong một ứng dụng có khả năng nhận dạng được từ trên nền Windows 16 bit được viết bằng ngôn ngữ Visual C++ version 1.5 và hướng phát triển trong thời gian tới là hiện thực nó trên nền Win32. Báo cáo của chúng tôi sẽ lần lượt điểm qua những nội dung mà chúng tôi đã nghiên cứu và tìm hiểu được trong thời gian qua. Sau đó là phần giới thiệu chi tiết về chương trình từ khâu phân tích-thiết kế cho đến phần chương trình nguồn THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Báo Cáo Luận Văn Tốt Nghiệp Trang 4 SVTH : Lương Cao Hoài Tâm Lớp TH40 và cuối cùng sẽ là nêu những vấn đề còn tồn tại và hướng phát triển trong tương lai. THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Báo Cáo Luận Văn Tốt Nghiệp Trang 5 SVTH : Lương Cao Hoài Tâm Lớp TH40 Chương 1: T T Ì Ì M M H H I I E E Å Å U U V V E E À À L L A A Ä Ä P P T T R R Ì Ì N N H H W W I I N N D D O O W W S S THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Báo Cáo Luận Văn Tốt Nghiệp Trang 6 SVTH : Lương Cao Hoài Tâm Lớp TH40 I - KHÁI QUÁT VỀ LẬP TRÌNH TRONG WINDOWS: 1 - Khái quát về lập trình trong Windows: Môi trường lập trình Windows về cơ bản là dựa trên bộ hàm API (Application Programmer Interface), nó có chức năng như các ngắt trong bảng vector ngắt của DOS, nhưng nó thân thiện hơn ở chỗ cách gọi hàm API giống hệt cách gọi hàm của ngôn ngữ cấp cao, mỗi hàm có một tên gọi hẳn hoi, và tên gọi thường được đặt rất phù hợp với công dụng của hàm (mặc dù có hơi dài dòng) từ đó tạo khả năng gợi nhớ cao. Với Windows, người lập trình không còn phải lập trình theo kiểu assembly nữa mà lập trình theo kiểu ngôn ngữ cấp cao, mọi hoạt động trong máy ở mức thấp từ hàm API trở xuống thuộc phạm vi của Windows, và Windows không khuyến khích việc các ứng dụng can thiệp vào lónh vực này. Bù lại, bằng các hàm API, nó hỗ trợ rất hiệu quả cho người lập trình, giúp khai thác khả năng của thiết bò triệt để, dễ dàng và tiện lợi hơn bao giờ hết. Có thể nói Windows đã mở ra cho người lập trình không gian rộng lớn để phát triển ứng dụng, và hạn chế không gian phát triển hệ thống. Điều này dẫn đến hệ quả là các ứng dụng được tạo ra hết sức dễ dàng, và quan trọng là hệ thống chạy ổn đònh hơn, không bò treo do lỗi của ứng dụng, không thể xâm nhập, nhưng sẽ rất khó khăn nếu người lập trình muốn trực tiếp điều khiển hoạt động trong máy và phát triển về lập trình hệ thống. - Tìm hiểu hàm Windows API: Windows là một hệ điều hành đa nhiệm (multitasking) mà qua đó các ứng dụng ở trong môi trường Windows sẽ giao tiếp với user thông qua một hay nhiều giao diện. Để truy cập các giao diện này thì các ứng dụng được xây dựng trên môi trường Windows sẽ sử dụng tập các hàm được gọi là giao diện chương trình ứng dụng API (Application Program Interface). Chương trình của người sử dụng có thể gọi tới các hàm API để truy cập tới mọi tài nguyên của Windows. GDI là một bộ phận của API, giao diện thiết bò đồ họa GDI (Graphic Device Interface) có nhiệm vụ duy trì sự độc lập của Windows đối với các thiết bò đồ họa hay còn gọi là khả năng độc lập thiết bò (device independent) tức là cho phép Windows làm việc với nhiều kiểu thiết bò đồ họa khác nhau. THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Báo Cáo Luận Văn Tốt Nghiệp Trang 7 SVTH : Lương Cao Hoài Tâm Lớp TH40 2 - Thư viện liên kết động DLL (Dynamic Link Library): Thư viện liên kết động là các tập tin được Windows lưu dưới dạng nhò phân chứa các hàm mà mọi ứng dụng trên Windows đều có thể sử dụng. Nét đặc trưng của DLL là nó có thể được sử dụng bởi nhiều ứng dụng tại cùng một thời điểm hay nói cách khác thư viện liên kết động có thể cùng một lúc được gọi bởi nhiều chương trình. DLL là một dữ liệu chia sẻ được (shared data). Có 3 loại DLL khác nhau: - Thư viện liên kết động API: thuộc hệ thống Windows, khi cài hệ điều hành thì nó đã có sẵn. Chúng được nạp khi Windows khởi động. - Thư viện liên kết động third party: do các công ty khác tạo ra trên môi trường Windows, hỗ trợ thêm công tác lập trình trong Windows. - Thư viện liên kết động do chúng ta tạo ra. Windows sử dụng cấu trúc thư viện liên kết động DLL (Dynamic Link Library) nhằm mục đích không sao chép một khối lượng lớn các mã vào trong chương trình như ở các thư viện thông thường. Nhờ cấu trúc động của DLL nên mọi chương trình đều có thể truy cập thư viện trong thời gian thực thi. Các hàm API được Windows giữ dưới dạng hỗn hợp trong một số DLL. Trong quá trình dòch khi gặp lệnh gọi hàm API từ chương trình ứng dụng thì chương trình dòch không thêm mã này vào module thực hiện mà chỉ thêm các lệnh liên kết (chứa tên của DLL bên trong có hàm cần nạp) và tên hàm đó. Khi thực thi chương trình thì hàm API thực sự mới được nạp vào bộ nhớ để thực hiện. Cùng với sự phát triển của Windows là sựï phát triển của lập trình hướng đối tượng, và để hỗ trợ cho việc lập trình hướng đối tượng, Microsoft đã cung cấp cho người lập trình một bộ thư viện các lớp cơ bản để phát triển các ứng dụng hướng đối tượng gọi là MFC (Microsoft Foundation Classes), nội dung của nó bao gồm thông tin về các lớp cơ bản được chuẩn hóa như lớp application; document; view; OLE; cửa sổ; nút bấm; text; v.v…, trong các lớp này mọi thứ liên quan đến nó (bao gồm dữ liệu và các chương trình xử lý của nó) đều được làm hoàn chỉnh, người lập trình chỉ việc lấy ra sử dụng, hoặc có thể thêm bớt một ít tính năng đặc trưng cho đối tượng của mình. Mục tiêu chính của MFC là hệ thống hóa các hàm API, cung cấp một thể thức gọi gọn các hàm API, cung cấp một “khung làm việc” (framework) cực mạnh để người lập trình không cần THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Báo Cáo Luận Văn Tốt Nghiệp Trang 8 SVTH : Lương Cao Hoài Tâm Lớp TH40 phải quan tâm đến những đoạn chương trình thuộc về “thủ tục” mà chỉ cần quan tâm đến phần cốt lõi để đạt được mục đích. II - THÔNG ĐIỆP VÀ XỬ LÝ THÔNG ĐIỆP: 1 - Khái niệm: Lập trình trên môi trường Windows khác với lập trình ở các môi trường khác ở điểm là lập trình trên Windows luôn luôn gắn liền với những thông điệp. Mọi hoạt động xảy ra trên một chương trình Windows đều thông qua các thông điệp. Thông điệp sẽ được hệ thống báo cho các ứng dụng biết các tác động từ bên ngoài vào hệ thống Windows. Một cửa sổ có thể gởi đi một thông điệp cho một cửa sổ khác và các cửa sổ đáp ứng lại thông điệp bằng cách gởi đi một thông điệp khác cho một cửa sổ khác. Trong Windows có 3 loại thông điệp cơ bản: - Những thông điệp tổng quát: có mã nhận diện mang tiền tố WM_ được coi là phần lớn trong ứng dụng và Windows đã cung cấp các hàm để giải quyết. - Những control notification: đây là những thông điệp WM_COMMAND được chuyển từ cửa sổ con tới cửa sổ bố mẹ. - Những nút lệnh: là thông điệp WM_COMMAND phát đi từ trình đơn, từ các nút điều khiển. Đây là loại thông điệp yêu cầu ứng dụng phải thực hiện một công việc gì đó. 2 - Gởi đi các thông điệp: Windows cho phép ứng dụng gởi đi những thông điệp cho mình, cho các ứng dụng khác hoặc cho hệ thống. Có 3 hàm Windows API để gởi thông điệp đi: a) Hàm SendMessage: Cú pháp: LRESULT SendMessage(hwnd, uMsg, wParam, lParam) HWND hwnd; // handle của cửa sổ nhận (đích) UINT uMsg; // thông điệp để gởi WPARAM wParam; // thông số thông điệp đầu tiên THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Báo Cáo Luận Văn Tốt Nghiệp Trang 9 SVTH : Lương Cao Hoài Tâm Lớp TH40 LPARAM lParam; // thông số thông điệp thứ hai - Hàm SendMessage gởi thông điệp tới một hay nhiều cửa sổ. Hàm gọi thủ tục cửa sổ cho cửa sổ và không trở về cho đến lúc thủ tục cửa sổ đã xử lý thông điệp. - Giá trò trả về: cho biết kết quả xử lý thông điệp và phụ thuộc vào thông điệp được gởi. b) Hàm PostMessage: - Cú pháp: BOOL PostMessage(hwnd, uMsg, wParam, lParam) HWND hwnd; // handle của của sổ đích UINT uMsg; // thông điệp gởi WPARAM wParam; // thông số thông điệp đầu tiên LPARAM lParam; // thông số thông điệp thứ hai - Hàm PostMessage gởi (đặt) một thông điệp vào trong hàng thông điệp cửa sổ và rồi trở về mà không đợi cửa sổ tương ứng xử lý thông điệp. Những thông điệp trong một hàng thông điệp được lấy bằng cách gọi hàm SetMessage hay PeekMessage. - Giá trò trả về: trả về khác 0 nếu thành công, ngược lại 0. c) Hàm SendDlgItemMessage: - Cú pháp: LRESULT SendDlgItemMessage(hwndDlg,idDlgItem,uMsg,wParam,lParam) HWND hwndDlg; // handle của hộp hội thoại int idDlgItem; // mã nhận diện ô điều khiển sẽ nhận thông điệp UINT uMsg; // thông điệp gởi đi WPARAM wParam; // thông số thông điệp đầu tiên LPARAM lParam; // thông số thông điệp thứ hai - Hàm SendDlgItemMessage gởi một thông điệp tới một điều khiển trong hộp hội thoại. THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Báo Cáo Luận Văn Tốt Nghiệp Trang 10 SVTH : Lương Cao Hoài Tâm Lớp TH40 - Giá trò trả về: cho biết kết quả xử lý thông điệp và phụ thuộc vào thông điệp được gởi. 3 - Vòng lặp thông điệp: Một thread hoặc một process đẩy một thông điệp ra khỏi hàng đợi bằng cách dùng vòng lặp thông điệp. Vòng loop chính của một ứng dụng đặt tại cuối hàm WinMain() của ứng dụng đó. Vòng lặp thông điệp có dạng như sau: while GetMessage(&msg,NULL,0,0) { TranslateMessage(&msg); DispatchMessage(&msg); } Sau đây là Sơ đồ dòng thông điệp: Thread1 Message Queue Thread2 Message Queue Thread3 Message Queue System Dispatcher Hardware Event Occur System Message Queue GetMessage() TranslateMessage() Dispatch Message() GetMessage() TranslateMessage() Dispatch Message() GetMessage() TranslateMessage() Dispatch Message() WndProc() WndProc() WndProc() DefWndProc() DefWndProc() DefWndProc() Thread1 Hook Thread2 Hook Thread3 Hook System Dispatcher THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN [...]... không bao giờ cho phép chương trình làm việc trực tiếp với một DC mà GDI phân phối cho chương trình một handle để nhận dạng một DC cụ thể Tất cả các hàm API; GDI đều nhận thông số đầu tiên là một handle – hdc DC là một công cụ chứa các thuộc tính vẽ, DC cho phép kết nối logic một chương trình về một thiết bò cụ thể nào đó Ngoài ra do Windows là một hệ điều hành đa nhiệm nên các chương trình không thể truy... cầu V – CHƯƠNG TRÌNH WINDOWS TIẾP NHẬN THÔNG ĐIỆP CHUỘT: Giới thiệu dòng chảy dữ liệu thông điệp nhập từ con chuột: Hardware event queue Virtual & Scan code Mouse Device driver Hook chain GetMessage() DispatchMessage() WindowProc() DefWindowProc() 1 - Mouse: Khi mouse báo vò trí của mình (vò trí cursor) và có tác động lên mouse thì một tín hiệu được phát đi từ mouse gây ra một ngắt quãng, mouse driver... Nghiệp Trang 32 sau khi tất cả các quá trình nối hoàn toàn với DLL đã kết thúc hay gọi FreeLibrary và tất cả các quá trình đã gọi thủ tục hook lại tiếp tục quá trình xử lý bên ngoài DLL Một phương pháp lựa chọn cho việc đặt thủ tục toàn cục là cung cấp một hàm cài đặt trong DLL, cùng với thủ tục hook Với phương pháp này, ứng dụng cài đặt không cần handle chỉ tới module DLL Bằng cách nối với DLL, ứng dụng... lúc ngắt Còn lại tất cả các event khác đều được đưa vào hardware event queue 3 - Hardware event queue: Các mouse event được đưa vào hardware event queue chờ giao cho message loop của chương trình giải quyết Queu này là một vùng đệm có thể chứa tối đa 120 event Những event trong queue chưa thuộc một chương trình cụ thể nào cho tới khi nó được tiếp nhận bởi hàm GetMessage() Điều này đảm bảo cho hệ thống... ra do Windows là một hệ điều hành đa nhiệm nên các chương trình không thể truy xuất trực tiếp các thiết bò vật lý để tránh xung đột Thay vào đó, chương trình Windows phải sử dụng kết nối logic do DC đại diện Nghóa là tất cả các chương trình cách tiếp cận này để GDI có thể giải quyết tranh chấp khi 2 chương trình yêu cầu dùng cùng một thiết bò nên DC còn có vai trò làm permission slip DC lưu trữ thông... GetMessage() 4 - GetMessage() loop: GetMessage() loop đưa các thông điệp vào xử lý GetMessage() sẽ quyết đònh chương trình nào sẽ tiếp nhận thông điệp bằng cách xem chương trình nào sở hữu cửa sổ mà con trỏ chuột nằm trên đó Tùy theo vò trí của con trỏ mà phát sinh hai loại thông điệp: thông điệp vùng client và thông điệp vùng non-client Muốn biết cursor ở vùng nào thì GetMessage() chuyển đi một thông... non-client Trước khi SendMessage() trả về một thông điệp chuột cho chương trình của ta thì có một việc mà hàm này phải thi hành: nó phải bảo đảm là hình dáng cursor phù hợp vò trí hiện thời của mouse Muốn thế nó phải gởi đi một thông điệp khác cho thủ tục cửa sổ WM_GETCURSOR Tương tự như thông điệp WM_NCHITTEST đa số chương trình phớt lờ thông điệp này và giao cho DefWindowProc() thực hiện Mã hit-test code... INTERFACE): 1 - Khái niệm: Windows là một hệ điều hành đa nhiệm (multitasking) trong đó các ứng dụng giao tiếp với user thông qua một hay nhiều giao diện Để truy xuất các giao diện thì chương trình ứng dụng phải sử dụng các hàm Giao diện chương trình ứng dụng API là tập các lệnh mà một ứng dụng sử dụng để yêu cầu và tiến hành các dòch vụ cấp thấp được thi hành bởi Windows Giao diện thiết bò đồ họa GDI (Graphic... dụng in ra các kết xuất và nhận các dữ liệu từ người dùng SVTH : Lương Cao Hoài Tâm Lớp TH40 THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Báo Cáo Luận Văn Tốt Nghiệp Trang 17 Windows quản lý tất cả cửa sổ hiện có trong hệ thống bằng cách gán cho mỗi cửa sổ một handle (trên thực tế nó là một số nguyên)ø, ta chỉ cần có được handle cửa sổ thì có thể thao tác mọi thứ trên cửa sổ đó Một cửa sổ chia sẻ màn hình với các cửa... với các cửa sổ khác, kể cả các cửa sổ của ứng dụng khác Chỉ có một cửa sổ trong một thời điểm có thể nhận dữ liệu nhập từ người dùng Người dùng có thể dùng chuột, bàn phím, hay các thiết bò nhập khác để tương tác với cửa sổ này và ứng dụng sở hữu nó 1 - Các loại cửa sổ: Windows cung cấp nhiều kiểu cửa sổ khác nhau để có thể kết hợp hình thành nên các hình thức cửa sổ khác nhau Các kiểu được sử dụng trong