Nghiên cứu tính toán song song và ứng dụng vào hệ thống tính cước data 3g

1 HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG NHỮ THANH THẾ NGHIÊN CỨU TÍNH TOÁN SONG SONG VÀ ỨNG DỤNG VÀO HỆ THỐNG TÍNH CƯỚC DATA 3G TÓM TẮT LUẬN VĂN THẠC SĨ HÀ NỘI - 2013 2 Luận văn được hoàn thành tại: HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG Người hướng dẫn khoa học: TS. TRỊNH ANH TUẤN Phản biện 1: ……………………………………………………………… Phản biện 2: …………………………………………………… ……… Luận văn sẽ được bảo vệ trước Hội đồng chấm luận văn thạc sĩ tại Học viện Công nghệ Bưu chính Viễn thông Vào lúc: giờ ngày tháng năm Có thể tìm hiểu luận văn tại: - Thư viện của Học viện Công nghệ Bưu chính Viễn thông 3 MỞ ĐẦU 1. Lý do chọn đề tài Nhu cầu tính toán trong lĩnh vực khoa học, công nghệ ngày càng cao và trở thành một thách thức lớn, từ đó các giải pháp nhằm tăng tốc độ tính toán đã được ra đời, từ năm 2001 đến năm 2003 tốc độ của Pentium 4 đă tăng gấp đôi từ 1.5GHz lên đến 3GHz, tuy nhiên hiệu năng của CPU (Central Processing Unit) không tăng tương xứng như mức gia tăng xung của CPU, và việc gia tăng tốc độ xung của CPU nhanh chóng chạm phải ngưỡng tối đa mà cụ thể trong khoảng thời gian 2 năm từ năm 2003 đến năm 2005 tốc độ của CPU chỉ tăng từ 3GHz lên 3.8GHz. Trong quá trình tăng tốc độ xung của CPU các nhà sản xuất đã chạm phải vấn đề về nhiệt độ của CPU sẽ quá cao và các giải pháp tản nhiệt khí đã đến mức tới hạn không thể đáp ứng được khả năng làm mát khi CPU hoạt động ở xung quá cao như vậy. Vì vậy việc gia tăng xung hoạt động của CPU không sớm thì muộn cũng sẽ đi vào bế tắc. Trước tình hình này, các nhà nghiên cứu vi xử lý đã chuyển hướng sang phát triển công nghệ đa lõi, nhiều lõi, với cơ chế xử lý song song trong các máy tính nhằm tăng hiệu năng và tiết kiệm năng lượng. Với dữ liệu lớn mà Hệ thống tính cước data 3g mạng Vinaphone đang đảm nhiệm, cần tăng tốc xử lý và tính toán. Để đảm bảo thời gian cung cấp thông tin cho khách hàng. Xuất phát từ nhu cầu trên tôi chọn đề tài: “NGHIÊN CỨU TÍNH TOÁN SONG SONG VÀ ỨNG DỤNG VÀO HỆ THỐNG TÍNH CƯỚC DATA 3G” 4 2. Luận văn được tổ chức thành ba chương Chương 1. Nghiên cứu tổng quan về tính toán song song - Giới thiệu chung tính toán song song - Phân loại máy tính toán song song - Các mô hình lập trình tính toán song song Chương 2. Nghiên cứu thư viện lập trình song song Pthread - Giới thiệu PThread - Cài đặt PTHREAD với Visual studio 2008 64bit - Giới thiệu các hàm chính của pthread - Đồng bộ hóa các tác vụ trong Pthread - Một số ví dụ mẫu về Pthread Chương 3: Ứng dụng tính toán song song vào bài toán tính cước data 3g cho Vinaphone. - Khảo sát hiện trạng hệ thống - Đề xuất giải pháp tính cước data 3g trên hệ đa lõi - Phân tích, thiết kế hệ thống tính cước - Cài đặt và thử nghiệm - So sánh, đánh giá kết quả giữa chương trình trước và sau khi áp dụng tính toán song song 5 Chương 1 - NGHIÊN CỨU TỔNG QUAN VỀ TÍNH TOÁN SONG SONG 1.1. Tổng quan về tính toán song song Khoa học kỹ thuật ngày càng phát triển, đặt ra nhiều bài toán với khối lượng tính toán rất lớn. Trong số đó có những bài toán mà kết quả chỉ có ý nghĩa nếu được hoàn thành trong khoảng thời gian cho phép. Để giải quyết những bài toán này, người ta đã nghiên cứu tăng tốc độ tính toán bằng hai phương pháp hay kết hợp cả hai: - Phương pháp 1: Cải tiến công nghệ, tăng tốc độ xử lý của máy tính. Công việc này đòi hỏi nhiều thời gian, công sức và tiền của, nhưng tốc độ cũng chỉ đạt được đến một giới hạn nào đó. - Phương pháp 2: Chia bài toán ra thành những công việc nhỏ để có thể chạy song song trên nhiều bộ xử lý. Việc phát triển công nghệ tính toán theo phương pháp 2 đã cho ra đời công nghệ tính toán song song, đó là việc sử dụng đồng thời nhiều tài nguyên tính toán để giải quyết một bài toán. Các tài nguyên tính toán có thể bao gồm một máy tính với nhiều bộ vi xử lý, một tập các máy tính kết nối mạng hay là một sự kết hợp của hai dạng trên 1.1.1. Các mô hình tính toán song song Một hệ thống máy tính song song là một máy tính với nhiều hơn một bộ xử lý cho phép xử lý song song. Dựa vào sự phân biệt ở kết nối giữa các bộ xử lý (hay thành phần xử lý), giữa bộ xử lý và bộ nhớ mà có rất nhiều loại kiến trúc máy tính song song khác nhau. Nhưng theo nguyên tắc phân loại của Flynn thì có hai kiến trúc máy tính song song song thông dụng sau: ƒ SIMD - Single Instruction Multiple Data: đơn lệnh đa dữ liệu ƒ MIMD - Multiple Instruction Multiple Data: đa lệnh đa dữ liệu 6 1.1.1.1. Mô hình đơn lệnh đa dữ liệu – SIMD SIMD là một kiểu máy tính song song có tất cả các bộ xử lý chỉ thực hiện một lệnh duy nhất. Tuy nhiên lệnh này được thực hiện trên các bộ dữ liệu khác nhau ứng với từng bộ xử lý khác nhau. Mô hình này có ưu điểm là đơn giản trong phần cứng cũng như phần mềm nhưng chỉ phù hợp để giải quyết các vấn đề tương đối đặc thù có tính cân đối cao trong xử lý như xử lý ảnh … Các giải thuật cho các đa máy tính thường chạy không hiệu quả trên các máy SIMD. 1.1.1.2. Mô hình đa lệnh đa dữ liệu – SIMD MIMD là một mô hình kiến trúc máy tính song song thông dụng hiện nay. Với mô hình này thì tất cả các bộ xử lý sẽ thực hiện các lệnh khác nhau với các dữ liệu riêng khác nhau. Sự thực thi các lệnh có thể theo cơ chế đồng bộ hoặc không đồng, xác định hay không xác định. Điều này giúp cho mô hình MIMD rất linh hoạt trong việc xử lý song song. 1.2. Mô hình lập trình song song Công việc lập trình song song bao gồm việc thiết kế, lập trình các chương trình máy tính song song sao cho nó chạy được trên các hệ thống máy tính song song. Hay có nghĩa là song song hoá các chương trình tuần tự nhằm giải quyết một vấn đề lớn hoặc làm giảm thời gian thực thi hoặc cả hai. Lập trình song song tập trung vào việc phân chia bài toán tổng thể ra thành các công việc con nhỏ hơn rồi định vị các công việc đó đến từng bộ xử lý và đồng bộ các công việc để nhận được kết quả cuối cùng. Nguyên tắc quan trọng nhất ở đây chính là tính đồng thời hoặc xử lý nhiều tác vụ cùng một lúc. Có hai hướng chính trong việc tiếp cận lập trình song song: - Song song hoá ngầm định: bộ biên dịch hay một vài chương trình khác tự động phân chia các công việc đến các bộ xử lý. 7 - Song song hoá tường minh: người lập trình phải tự phân chia chương trình của họ đế nó có thể thực thi song song. Hiện nay có rất nhiều mô hình lập trình song song: Đa luồng, Truyền thông điệp, Song song dữ liệu, Lai 1.2.1. Mô hình đa luồng Nhiều hệ thống cung cấp sự hỗ trợ cả hai luồng nhân và luồng người dùng nên tạo ra nhiều mô hình đa luồng khác nhau. Chúng ta sẽ xem xét ba loại cài đặt luồng thông thường. 1.2.1.1. Mô hình 1:1 (thread cấp nhân) Mô hình một-một ánh xạ mỗi luồng người dùng tới một luồng nhân. Nó cung cấp khả năng đồng hành tốt hơn mô hình nhiều-một bằng cách cho một luồng khác chạy khi một luồng thực hiện lời gọi hệ thống nghẽn; nó cũng cho phép nhiều luồng chạy song song trên các bộ xử lý khác nhau. 1.2.1.2. Mô hình N:1 (thread cấp người dùng) Một mô hình N:1: tất cả các thread cấp ứng dụng đều vạch ra một đơn thực thể được lập lịch cấp nhân. Nhân không có tri thức về thread ứng dụng. Với phương pháp này, ngữ cảnh chuyển có thể được hoàn thành rất nhanh và ngoài ra, nó có thể được thực hiện ngay cả trên những nhân đơn giản mà không hỗ trợ thread. 1.2.1.3. Mô hình N:M (thread tích hợp) Mô hình N:M chỉ ra với N thread ứng dụng tương ứng với M thực thể nhân Đây là kết hợp giữa cấp nhân (1:1) và cấp người dùng (N:1). Nói chung, hệ thống thread N:M thể hiện phức tạp hơn thread nhân hoặc thread người dùng, bởi vì đòi hỏi mã của cả thread nhân và thread người dùng. 8 1.2.2. Mô hình truyền thông điệp Truyền thông điệp là mô hình được sử dụng rộng rãi trong tính toán song song hiện nay. Nó thường áp dụng cho các hệ thống phân tán. 1.2.3. Mô hình song song dữ liệu Mô hình song song dữ liệu nhấn mạnh các thao tác song song trên một tập dữ liệu. Các luồng làm việc chung trên cùng một cấu trúc dữ liệu nhưng ở các phần khác nhau. 1.2.4. Mô hình lai Là sự kết hợp của hai hay nhiều mô hình lập trình song song để tạo ra sự thuận lợi và hiệu quả hơn trong việc tính toán. 1.2.5. Mô hình đơn chương trình đa dữ liệu Mô hình đơn chương trình đa dữ liệu là một mô hình lập trình ở mức cao mà có thể thực hiện bởi sự kết hợp các mô hình lập trình song song ở trên. Một chương trình được thực thi bởi tất cả các tác vụ cùng một lúc và các tác vụ sử dụng các dữ liệu khác nhau. 1.2.6. Mô hình đa chương trình đa dữ liệu Giống như SPMD, mô hình đa chương trình đa dữ liệu (MPMD) là một mô hình lập trình ở mức cao mà có thể thực hiện bởi sự kết hợp các mô hình lập trình song song ở trên. 1.3. Sự cần thiết của công cụ phát triển ứng dụng song song Lập trình là một công việc đòi hỏi cần đầu tư nhiều công sức và thời gian. Vì thế các môi trường phát triển tích hợp đã được phát triển từ rất sớm nhằm trợ giúp cho các lập trình viên thuận lợi hơn trong việc lập trình đồng thời làm giảm thời gian lập trình. Hiện nay, các môi trường phát triển tích hợp như Microsoft Visual Studio, Borland Studio, Eclipse, thực sự đã làm cho việc lập trình trở lên dễ dàng thậm chí đối với cả những người mới bắt đầu học lập trình. 9 Chương 2 – NGHIÊN CỨU THƯ VIỆN LẬP TRÌNH SONG SONG PTHREAD Thread là một mô hình lập trình phổ biến cho phép nhiều thread đơn có thể chạy trên cùng một tiến trình, và các thread này có thể chia sẻ tài nguyên của tiến trình cũng như có thể tính toán độc lập. Và ứng dụng hữu ích nhất của mô hình này là khi nó được áp dụng cho một tiến trình đơn lẻ để cho phép tính toán song song trên một hệ thống đa xử lý. Trong bản luận văn này, tôi sẽ trình bày mô hình này trên chuẩn IEEE POSIX 1003.1c, được gọi là POSIX thread hay Pthread. 2.1. Giới thiệu về Thread và Multithread 2.1.1. Tổng quan về Thread Trong khoa học máy tính một chuỗi các tính toán kết quả từ một nhánh của một chương trình máy tính chia thành hai hoặc nhiều nhiệm vụ chạy đồng thời. Sự thể hiện của các thread và tiến trình là khác nhau trong một hệ điều hành, nhưng trong hầu hết các trường hợp, một thread được nằm bên trong một tiến trình. Nhiều thread có thể tồn tại cùng trong một tiến trình và chia sẻ tài nguyên như bộ nhớ, trong khi những tiến trình khác nhau không thế chia sẻ tài nguyên. 2.1.2. So sánh Thread với tiến trình Thread khác với tiến trình trong hệ điều hành đa nhiệm truyền thống ở các điểm sau: - Các tiến trình thường được độc lập, còn các thread thì tồn tại như là các tập con của một tiến trình. - Tiến trình có trạng thái thông tin đáng kể, trong khi nhiều thread trong một tiến trình chia sẽ trạng thái tiến trình cũng như bộ nhớ và các tài nguyên khác. - Tiến trình có vùng địa chỉ riêng biệt, trong khi thread chia sẽ không gian địa chỉ của chúng. - Ngữ cảnh chuyển giữa các thread trong cùng một tiến trình thường sẽ nhanh hơn chuyển giữa các tiến trình. 10 2.1.3. Đa thread và những lợi thế Multi thread như là một mô hình lập trình phổ biến và cho phép thực hiện nhiều thread tồn tại trong một tiến trình đơn. Những thread này chia sẻ tài nguyên của tiến trình nhưng cũng có thể tính toán độc lập. Mô hình lập trình thread cung cấp cho người phát triển những sự hữu ích của việc tính toán đồng thời. Lợi thế này của lập trình multi thread cho phép nó tính toán nhanh hơn trên hệ thống máy tính có nhiều CPU, CPU với nhiều nhân hoặc qua một cụm máy – bởi vì những thread của chương trình cho vay chính bản thân nó để thực hiện sự đồng thời. 2.1.4. Vấn đề đưa ra của thread Truy cập đồng thời và cấu trúc dữ liệu, những thread trong cùng một tiến trình chia sẻ cùng không gian địa chỉ, điều này cho phép đồng thời chạy các đoạn mã thành từng cặp để trao đổi dữ liệu một cách thuận tiện và chặt chẽ mà không cần chi phí hoạt động hoặc sự phức tạo của giao tiếp liên tiến trình. Tuy nhiên, khi chia sẽ giữa các thread, kể cả những cấu trúc dữ liệu đơn giản cũng trở nên rủi ro nếu chúng yêu cầu nhiều hơn một cấu trúc CPU để cập nhật: hai thread có thể cố gắng cập nhật cấu trúc dữ liệu cùng lúc và tìm thấy những sự thay đổi không mong muốn. 2.2. Cài đặt Pthread với Visual studio 2008 64bit Mục này hướng dẫn chi tiết nguồn tải các lib, inlcule và cấu hình Pthread với Visual studio 2008 64bit. 2.3. Lập trình trên POSIX THREAD 2.3.1. Tổng quan về Pthread 2.3.1.1. Khái niệm Pthread Thread là một dòng các điều khiển trong một process hay một ứng dụng. [...]... rõ rằng, với lượng dữ liệu đầu càng lớn, thì hiệu năng tính toán của việc sử dụng thuật toán tuần tự càng lớn so với việc không sử dụng tín toán song song Như vậy với đề tài “NGHIÊN CỨU TÍNH TOÁN SONG SONG VÀ ỨNG DỤNG VÀO HỆ THỐNG TÍNH CƯỚC DATA 3G tôi mong muốn đem lại phần nào kiến thức để giúp mọi người có thể ứng dụng vào các bài toán tính toán với số liệu lớn Để tôi có được những kết quả như ngày... và thử nghiệm Ở mục này này nêu lên các nội dung - Cấu hình tại máy tính cước - Một số kết quả, và hình ảnh thử nghiệm hệ thống 26 3.5 ĐÁNH GIÁ, SO SÁNH SỰ CẢI TIẾN SO VỚI TÍNH TOÁN TUẦN TỰ 3.5.1 So sánh 3.5.1.1 Thời gian tính toán tuần tự và tính toán song song áp dụng chức năng tách cước Thông tin thời gian thực hiện tính toán (tính theo giờ) Số bản ghi Tính toán tuần tự Tính toán tuần tự Tính toán. .. semaphonre Chương 3 – ỨNG DỤNG TÍNH TOÁN SONG SONG VÀO BÀI TOÁN TÍNH CƯỚC DATA 3G VINAPHONE 3.1 Hiện trạng hệ thống 3.1.1 Cơ sở hạ tầng - Hệ điều hành: Window 2008 64bit - Bộ vi xử lý: Intel Xeon CPU x7542 24-core 2.7 GHz - Bộ nhớ RAM: 64GB DDR 3 - Ổ cứng: 2.3TB - Database: Oracle 11g 3.1.2 Hệ thống tính cước data 3g - Nguồn dữ liệu - Quy trình xử lý - Phần mềm xử lý - Khó khăn và hạn chế 3.2 Giải pháp... quả tính toán song song nhanh hơn rất nhiều so với tính toán tuần tự cùng dùng c++ 27 3.5.1.2 Biểu đồ hiện tính toán tuần tự và tính toán song song chức năng tách cước chi tiết Hình 3.3 Biểu đồ so sánh thời gian thực hiện 3.5.2 Đánh giá kết quả Với số lượng phần tử nhỏ < 200 triệu bản thì tính toán trên tuần tự và tính toán song song đều rất nhanh Nhưng khi số lượng bản ghi mô phỏng tăng lên thì áp dụng. .. trong tương lai có thể phát triển và mở rộng theo các định hướng sau: - Hoàn thiện và triển khai cho các cán bộ vận hành tại Trung tâm tính cước Vinaphone - Xây dựng các form thiết lập các tham số, báo cáo thống kê - Áp dụng tính toán song song vào chức năng thu thập số liệu - Triển khai áp dụng tính toán song song vào các hệ thống: o Đối soát dữ liệu: đối soát lưu lượng cước của Vinaphone với các đối... soát lưu lượng cước của Vinaphone với các đối tác Viettel, Mobifone, … o Tổng hợp cước: tổng hợp dữ liệu cước chi tiết và thông tin thuê bao để tạo dữ liệu hóa đơn - Nghiên cứu tính toán lưới, đám mây (sử dụng MPI hoặc PVM) - Nghiên cứu tính toán dữ liệu lớn dùng giải pháp Bigdata, MapReduce - Nghiên cứu tính toán song song trên GPU ... phẩm mới và dịch vụ, tích hợp với sản phẩm của bên thứ 3 - Module chức năng tính cước data 3g cho thuê bao trả sau đóng vai trò tính toán dữ liệu cước chi tiết, khuyến mại cho khách hàng - Module được xây dựng để thực hiện các chức năng chính sau: o Thu thập thông tin dữ liệu o Sắp xếp thông tin o Tính cước data 3g  Lọc bản ghi cước trùng, áp giá, khuyến mại theo từng gói cước dịch vụ  Cho phép tính. .. ghi mô phỏng tăng lên thì áp dụng tính toán song song nhanh hơn tuần tự rất nhiều lần 28 KẾT LUẬN Trong khóa luận tốt nghiệp này, tôi đã tìm hiểu về thread, multithread và các lợi thế của thread và multithread so với tiến trình và đa tiến trình Ngoài ra, tôi cũng đồng thời cài đặt thành công vào bài toàn tính cước data 3g cho Vinaphone để thấy được hiệu quả của việc sử dụng multithread Biều đồ so sánh... nhằm tối ưu hóa các biểu đồ và báo cáo - Quản trị - Giám sát và quản lý tại một điểm duy nhất tất cả các module và các quá trình 21 3.2.2 Giải pháp chi tiết tính cước Hình 3.2 Mô hình giải pháp tính cước 3g Rating3g có kiến trúc dựa trên nhiều lớp chức năng Điều này cho phép hệ thống được triển khai ở quy mô khác nhau, cho các dịch vụ khác nhau và các sản phẩm Ngoài ra, hệ thống có đủ linh hoạt để phù... Giải pháp đề xuất Kết hợp với việc tận dụng cấu hình thiết bị phần cứng sẵn có tại Trung tâm, Tôi đề xuất dùng công nghệ lập trình Microsoft Visual C++ 2008 64bit để tận dụng bộ nhớ Ram và áp dụng phương pháp xử lý xong xong để tận dụng số lượng CPU sẵn có của máy chủ 20 3.2.1 Giải pháp tổng thể Tôi xin đề xuất Giải pháp Tính cước data 3g cho Trung tâm cước để đáp ứng những yêu cầu đề ra Giải pháp được . 3: Ứng dụng tính toán song song vào bài toán tính cước data 3g cho Vinaphone. - Khảo sát hiện trạng hệ thống - Đề xuất giải pháp tính cước data 3g trên. “NGHIÊN CỨU TÍNH TOÁN SONG SONG VÀ ỨNG DỤNG VÀO HỆ THỐNG TÍNH CƯỚC DATA 3G 4 2. Luận văn được tổ chức thành ba chương Chương 1. Nghiên