Phần 1: Lý thuyết chung về mô phỏng mạng và đánh giá hiệu năng ppsx

1 Phần 1: Lý thuyết chung về mô phỏng mạng và đánh giá hiệu năng Chương 1 - Tổng quan v ề sự đánh giá và phân tích hi ệu năng của hệ thống (system performance evaluation and analysis) Tác giả: R. Jain Dịch thuật: Nguyễn Thị Hiền, Nguyễn Mạnh Linh Biên tập: Hoàng Trọng Minh 1.1 Các lỗi thường gặp Mục này sẽ trình bày v ề các lỗi thường gặp trong phân tích và đánh giá hi ệu năng hệ thống. Hầu hết các lỗi được liệt kê ở đây là lỗi không cố ý mà do các nhầm lẫn đơn giản, nhận thức sai hoặc thiếu kiến thức về các kỹ thuật đánh giá hi ệu năng. E1- Không có mục đích Mục đích là phần quan trọng nhất trong bất kỳ phương pháp đánh giá hi ệu năng nào. Tuy nhiên , trong nhiều trường hợp, khởi đầu của việc đánh giá hiệu năng chưa xác định được mục đích rõ ràng. Một người làm công vi ệc phân tích hiệu năng thường gắn bó chặt chẽ và lâu dài cùng với bộ phận thiết kế. Sau quá trình thi ết kế, người phân tích hiệu năng có thể bắt đầu mô hình hóa hoặc mô phỏng thiết kế đó. Khi được hỏi về mục đích, nh ững câu trả lời tiêu bi ểu của các nhà phân tích là : mô hình này sẽ giúp chúng ta trả lời các vấn đề phát sinh t ừ thiết kế. Yêu cầu chung đối với các mô hình kiểu này là đ ảm bảo tính mềm dẻo và dễ thay đổi để giải quyết những vấn đề phức tạp. Người phân tích có kinh nghi ệm đều hiểu rằng: Không có mô hình cụ thể nào được sử dụng cho một mục đích chung chung. Mỗi một mô hình phải được phát tri ển với mục đích cụ thể xác định trước. Các thông số, khối lượng công vi ệc và phương pháp thực hiện đều phụ thuộc vào m ục đích. Các phần của thiết kế hệ thống trong m ột mô hình được nghiên cứu tùy theo các vấn đề khác nhau. Bởi vậy, trước khi viết dòng mã chương tr ình mô ph ỏng đầu tiên hoặc viết phương trình đầu tiên của một mô hình phân tích hoặc trước khi cài đ ặt một thí nghiệm đo, người phân tích cần hiểu về hệ thống và nhận thức rõ vấn đề để giải quyết. Điều đó sẽ giúp nhận biết chính xác các thông số, khối lượng công việc và phương phá p thực hiện. Xác lập các mục đích không phải là một bài toán đơn giản. Bởi vì hầu hết các vấn đề về hiệu năng đều mơ hồ khi được trình bày lần đầu. Vì vậy, nhận thức rõ vấn đề viết ra một tập hợp của các mục đích là việc khó. Một khi vấn đề được sáng tỏ và mục đích đã được viết ra, thì việc tìm ra giải pháp thường sẽ dễ dàng hơn. E2- Các mục đích thiên vị (biased) Một lỗi thông thư ờng khác là việc đưa ra các mục đích theo hướng thiên vị ngầm hoặc thiên vị rõ rệt. Ví dụ, nếu mục đích là “Chỉ ra rằng hệ thống của chúng ta tốt hơn hệ thống của người khác”, vấn đề này trở thành việc tìm kiếm các thông s ố và tải làm việc sao cho hệ thống của chúng ta trở nên tốt hơn. Đúng ra thì cần phải tìm ra các thông số và tải làm việc đúng đắn để so sánh hai h ệ thống. Một nguyên tắc của quy ước chuyên nghiệp của người phân tích là không th iên vị. Vai trò của người phân tích gi ống như vai trò của Ban giám kh ảo. Không nên có bất kỳ sự thiên vị nào định trước và mọi kết luận phải dựa vào kết quả phân tích chứ không phải là dựa vào các niềm tin thuần túy. E3. Phương pháp tiếp cận không có hệ thống Các nhà phân tích thường tiến hành theo phương pháp tiếp cận không có hệ thống; bởi vậy họ lựa chọn tham số hệ thống, các yếu tố ảnh hưởng, thông số (hiệu năng) và tải làm việc một cách tùy ý. Điều này sẽ dẫn tới các kết luận sai. Phương pháp ti ếp cận hệ thống được sử dụng để giải quyết một 2 vấn đề về hiệu năng là nhận biết một tập hoàn chỉnh của các mục đích, tham s ố hệ thống, các nhân tố ảnh hưởng, các thông s ố hiệu năng và tải làm việc. E4. Phân tích mà không hiểu về vấn đề Các nhà phân tích thiếu kinh nghi ệm cảm thấy rằng không có gì thực sự có được trước khi một mô hình được dựng nên và chỉ có được một số kết quả. Với kinh nghi ệm đã có, họ nhận ra rằng, phần lớn của các nỗ lực phân tích là dùng cho vi ệc xác định một vấn đề. Phần này thường chiếm tới 40% tổng số nỗ lực này. Điều này khẳng định một châm ngôn xưa : “Khi một vấn đề được nêu ra rõ ràng thì đã được giải quyết xong m ột nửa”. 60% còn l ại liên qua t ới vấn đề thiết kế các phương pháp , giải thích kết quả và trình bày kết luận. Việc phát triển của mô hình t ự bản thân nó là ph ần nhỏ của quá trình gi ải quyết vấn đề. Ví dụ như, xe ô tô và tàu h ỏa là phương tiện để đi tới đâu đó chứ không phải là điểm đến cuối cùng. Các mô hình là phương th ức để đi đến kết luận chứ không phải là kết quả cuối cùng. Các nhà phân tích đã được đào tạo về các khía cạnh mô hình hóa của vấn đề đánh giá hiệu năng nhưng không được đào tạo về việc xác định vấn đề hoặc trình bày kết quả thì thường thấy rằng mô hình c ủa họ bị bỏ đi bởi người phê duy ệt, vì người phê duyệt là người đang tìm kiếm đường hướng chứ không tìm kiếm một mô hình. E5. Các thông s ố hiệu năng không đ úng Một thông số hiệu năng (metric) ứng với một tiêu chí được sử dụng để định lượng hiệu năng của hệ thống. Các ví dụ về các thông số hiệu năng hay dùng là thông lượng (throughput) và thời gian đáp ứng (response time) . Sự lựa chọn của các thông số hiệu năng đúng đắn phụ thuộc vào các dịch vụ cung cấp bởi hệ thống hoặc bởi hệ thống con đang được mô hình hóa. Một lỗi chung khi l ựa chọn các thông số hiệu năng đ ó là các nhà phân thích thường chọn các thông số dễ tính toán hoặc dễ đo đạc hơn là chọn thông s ố thích hợp. E6 Tải làm việc không có tính đại diện (unrepresentative workload) Tải làm việc được sử dụng để so sánh hai h ệ thống cần đại diện cho khía c ạnh sử dụng thực tiễn của các hệ thống này trong lĩnh vực của chúng. Ví dụ, nếu các gói dữ liệu trong m ạng thông th ường bao gồm hai loại có kích thước ngắn và dài thì tải làm việc dùng để so sánh hai m ạng phải bao gồm các gói dữ liệu có kích thước ngắn và dài. Việc chọn tải làm việc ảnh hưởng rất lớn tới kết quả của việc nghiên c ứu hiệu năng. Tải làm việc sai sẽ dẫn tới các kết luận sai. E7 Phương pháp đánh giá sai Có ba phương pháp đánh giá: đo lư ờng, mô ph ỏng và mô hình hóa phân tích . Các nhà phân tích thường có một phương pháp ưa thích và được sử dụng thường xuyên đ ối với mọi vấn đề về đánh giá hiệu năng. Ví dụ như những ai thành thạo về lý thuyết hàng đợi sẽ có xu hướng quy đ ổi mọi vấn đề về hiệu năng sang m ột vấn đề về hàng đợi ngay cả khi hệ thống quá phức tạp và thuận lợi cho việc đo lường. Những ai thành thạo về lập trình sẽ thường có xu hướng giải quyết mọi vấn đề bằng mô phỏng. Việc gắn với một phương pháp đơn lẻ này dẫn tới kết quả một mô hình mà họ có thể giải quyết tốt nhất hơn là một mô hình giải quyết tốt nhất vấn đề này. Vấn đề đối với các quy trình chuyển đổi này là chúng có thể đưa thêm các hiện tượng vào mô hình, trong khi các hiện tượng này không có trong hệ thống nguyên gốc hoặc dẫn đến có thể bỏ qua các hiện tượng quan trọng thuộc về hệ thống nguyên g ốc. Một nhà phân tích cần có hiểu biết cơ bản về cả ba phương pháp. Khi xem xét lựa chọn phương pháp đánh giá hiệu năng, cần chú ý tới nhiều hệ số khác nhau. E8 Bỏ qua các thông số quan trọng Nên tạo ra một danh sách hoàn chỉnh về các đặc điểm của hệ thống và của tải làm việc ảnh hưởng tới hiệu năng của hệ thống. Những đặc điểm này được gọi chung là thông s ố. Các thông số tải làm việc có thể bao gồm số người sử dụng, các loại yêu cầu đến, sự ưu tiên, v…v. Nhà phân tích có thể 3 chọn một tập hợp các giá trị cho mỗi thông số. Kết quả nghiên cứu cuối cùng phụ thuộc nhiều vào các chọn lựa này. Bỏ sót một hoặc nhiều thông số quan trọng có thể nhận được các kết quả vô ích. E9. Bỏ qua các hệ số quan trọng Các thông số biến đổi trong nghiên c ứu thì được gọi là các hệ số. Ví dụ như trong s ố các thông s ố về tải làm việc liệt kê trên đây, chỉ có số lượng người sử dụng có th ể được chọn như là một hệ số, và các thông s ố khác có th ể được giữ nguyên tại các giá tr ị điển hình. Không ph ải tất cả các thông số có tác động như nhau đối với hiệu năng. Điều quan trọng là nhận ra những tham số mà nếu chúng thay đ ổi thì sẽ gây nên ảnh hưởng quan trọng tới hiệu năng. Trừ khi có lý do nào khác, những thông số này nên được sử dụng như là các hệ số trong vi ệc nghiên c ứu hiệu năng. Ví dụ như nếu tốc độ (rate) gói đến tác động tới thời gian đáp ứng của một gateway của mạng hơn là ảnh hưởng của kích thước gói tới nó, việc nghiên c ứu sẽ tốt hơn nếu như sử dụng một số tốc độ đến khác nhau thay vì quan tâm t ới kích thư ớc gói. E10 Thiết kế thí nghiệm không thích h ợp Sự thiết kế thí nghiệm liên quan t ới số lượng các phép đo hoặc các thí nghiệm mô phỏng được thực hiện và các giá trị củ a các thông số sử dụng trong m ỗi thínghiệm. Việc chọn đúng các giá trị nà y có thể mang tới nhiều thông tin hơn đ ối với cùng một số lượng các thí nghiệm. Chọn lựa không đ úng có thể gây ra lãng phí thời gian của nhà phân tích và tài nguyên. E11. Mức độ chi tiết không thích đáng Mức độ chi tiết được sử dụng trong mô hình c ủa hệ thống có ảnh hưởng quan trọng trong v iệc hệ thống hóa, công thức hóa vấn đề. Một lỗi chung xảy ra là việc sử dụng lối tiếp cận chi tiết đối với mô hình hóa ở mức cao sẽ thực hiện và ngược lại. E12. Không phân tích Một vấn đề chung trong d ự án đo lường là chúng thư ờng được thực hiện bởi các nhà phân tích hiệu năng, đó thường là những người giỏi về các kỹ thuật đo nhưng thi ếu sự thành thạo trong phân tích dữ liệu. Họ thu thập một lượng khổng lồ các dữ liệu nhưng không bi ết phương pháp phân tích ho ặc giải thích nó như th ế nào. E13. Phân tích sai Các nhà phân tích có thể gây nên hàng loạt các lỗi trong khi đo đ ạc, mô phỏng và mô hình hóa phân tích vì dụ như lấy giá trị trung bình của các tỷ số và thời gian mô phỏng quá ngắn. E14. Không phân tích đ ộ nhậy Các nhà phân tích thường quá nhấn mạnh đến kết quả của sự phân tích của họ, trình bày nó như là một thực tế hơn là một bằng chứng. Thực tế mà trong đó các kết quả nhạy cảm đối với tải làm việc và thông số hệ thống thì thường bị coi nhẹ. Khi không có sự phân tích độ nhậy, không thể chắc chắn rằng liệu các kết luận có thay đổi hay không n ếu như phân tích này được thức hiện trong m ột thiết lập khác biệt đôi chút. Không có phân tích đ ộ nhạy thì sẽ khó khăn cho vi ệc đánh giá sự quan trọng tương đối của các thông s ố khác nhau. E15. Bỏ qua các lỗi đầu vào Thường là các thông số được lựa chọn không th ể đo được. Thay vào đó, ta sử dụng các biến có thể đo được khác để ước lượng thông s ố này. Ví dụ như trong m ột thiết bị mạng máy tính, các gói dữ liệu được lưu trữ trong danh sách liên k ết của bộ đệm. Mỗi một bộ đệm có dung lư ợng là 512x8bit . Với một số lượng bộ đệm được yêu cầu để lưu trữ gói dữ liệu, không th ể dự báo trước một cách chính xác s ố gói hoặc số bít trong gói d ữ liệu. Điều nãy dẫn tới độ bất định được cộng thêm ở dữ liệu đầu vào. Nhà phân tích c ần điều chỉnh mức độ tin cậy trong kết quả đầu ra của mô hình thu được từ dữ liệu này 4 E16. Cách xử lý mẫu ngoại lai không thích h ợp Những giá trị quá cao ho ặc quá thấp so với phần lớn giá trị trong một tập hợp được gọi là mẫu ngoại lai. Mẫu ngoại lai trong đ ầu vào hoặc đầu ra của mô hình là một vấn đề. Nếu mẫu ngoại lai không được tạo ra bởi một hiện tượng trong h ệ thống thực, nó có th ể được bỏ qua. Mô hình b ao trùm mẫu ngoại lai có thể tạo nên một mô hình không h ợp lệ. Mặt khác, nếu mẫu ngoại lai là sự xuất hiện có thể xảy ra trong trong hệ thống thực, mẫu ngoại lai này cần hiện diện trong mô hình. Việc bỏ qua mẫu ngoại lai kiểu này có thể tạo nên một mô hình không h ợp lệ. E17. Giả thiết không có thay đổi trong tương lai : Tương lai th ường được giả thiết sẽ giống như quá khứ. Một mô hình dựa trên tải làm việc và hiệu năng quan sát được trong quá khứ được sử dụng để dự báo hiệu năng trong tương la i. Tải làm việc và hoạt động hệ thống trong tương la i được giả thiết là giống như nh ững gì đã đo được. Nhà phân tích và người thực hiện quyết định nên thảo luận về giả thiết này và giới hạn thời lượng tương lai cho các dự đoán. E18. Bỏ qua tính biến thiên Thường thì người ta chỉ phân tích hiệu năng trung bình bởi vì việc xác định tính biến thiên th ường gặp khó khăn. Nếu độ biến thiên lớn, nếu chỉ sử dụng duy nhất giá trị trung bình có thể dẫn tới quyết định sai. Ví dụ, việc quyết định dựa trên nhu cầu máy tính trung bình hàng ngày có thể không có ích nếu như không tính t ới đặc tính tải đạt đỉnh điểm theo gi ờ, gây tác động bất lợi tới hiệu năng người sử dụng. E19 Phân tích quá phức tạp Các nhà phân tích hiệu năng nên đi đến kết luận bằng phương th ức đơn giản nhất có thể. Tốt nhất là luôn bắt đầu với một mô hình hoặc thí nghiệm đơn giản nhằm đạt được một số kết quả và sau đó tăng thêm tính phức tạp. Các mô hình công b ố trong tài liệu khoa học và các mô hình sử dụng trong thực tế khác nhau rõ rệt. Các mô hình trong các tài liệu khoa học, trong các trường học thường là quá phức tạp. Phần lớn các vấn đề hiệu năng trong th ực tế hàng ngày được giải quyết bởi các mô hình đơn giản. Các mô hình phức tạp nếu có thì cũ ng hiếm khi được sử dụng. E20. Trình bày kết quả không thích hợp Đích cuối cùng của mọi nghiên cứu hiệu năng là để hỗ trợ bài toán quyết định. Một phân tích mà không tạo ra bất kỳ kết quả hữu ích nào thì đó là một sự thất bại bởi đó là sự phân tích với kết quả khó hiểu đối với người đưa ra quy ết định. Người phân tích phải có trách nhiệm chuyển tải các kết quả phân tích tới người đưa ra quy ết định qua việc sử dụng các từ ngữ, hình ảnh, đồ thị để giả i thích kết quả phân tích. E21. Bỏ qua các khía cạnh xã hội Sự trình bày thành công k ết quả phân tích yêu c ầu 2 loại kỹ năng: xã hội và chuyên biệt. Kỹ năng viết và nói là k ỹ năng xã hội trong khi mô hình hóa và phân tích d ữ liệu là các kỹ năng chuyên biệt. Hầu hết các nhà phân tích đ ều có các kỹ năng chuyên biệt tốt, nhưng ch ỉ những người có các kỹ năng xã hội tốt thì mới thành công khi bán các kết quả của họ cho những người ra quyết định. Việc chấp nhận kết qủa phân tích yêu c ầu hình thành sự tin tưởng giữa người ra quyết định và nhà phân tích, và sự trình bày các kết quả tới người ra quyết định theo cách hiểu chính xác nh ất. Nếu những người ra quyết định không tin t ưởng hoặc không hi ểu sự phân tích, thì nhà phân tích thất bại trong việc tạo nên ấn tượng đối với quyết định cuối cùng. Các kỹ năng xã hội đặc biệt quan trọng khi trình bày các kết quả mà chú ng có ảnh hưởng tới niềm tin và giá trị củ a người ra quyết định hoặc yêu cầu về một thay đổi quan trọng trong thi ết kế. E22. Bỏ sót các giả thiết và các giới hạn Các giả thiết và các giới hạn của mô hình phân tích thường bị bỏ qua trong báo cáo cuối cùng. Điều này có thể làm cho người sử dụng áp dụng mô hình phân tích này vào một ngữ cảnh khác khi mà 5 các giả thiết không còn hợp lệ. Đôi khi các nhà phân tích lên danh sách các giả thiết ngay ở phần mở đầu báo cáo nhưng họ quên mất các giới hạn và đưa ra các kết luận về các môi trường mà phân tích này không áp dụng vào. Bảng 1.1: Danh sách kiểm tra để tránh các l ỗi thường gặp khi đánh giá hi ệu năng 1. Liệu hệ thống được định nghĩa đúng chưa và mục đích đư ợc nêu ra rõ ràng chưa ? 2. Các mục tiêu được nêu ra có đảm bảo tính không thiên vị? 3. Các bước phân tích đi theo h ệ thống không? 4. Vấn đề được hiểu rõ ràng tr ước khi phân tích không? 5. Các tham s ố hiệu năng có thích hợp cho vấn đề này không ? 6. Tải làm việc có đúng cho vấn đề này không? 7. Kỹ thuật đánh giá có phù hợp không? 8. Danh sách thông s ố có ảnh hưởng đến hiệu năng đã được hoàn thiện chưa? 9. Tất cả các thông s ố ảnh hưởng đến hiệu năng mà được coi như các thừa số được thay đ ổi chưa? 10. Thiết kế thí nghiệm hiệu quả chưa khi xét theo thời gian và kết quả? 11. Mức độ chi tiết đã hợp lý chưa? 12. Dữ liệu đo đạc được phân tích và giải thích chưa? 13. Sự phân tích đã đúng về thống kê chưa ? 14. Độ nhạ y phân tích được thực hiện chưa? 15. Các lỗi đầu vào có thay đổi kểt quả đáng kể không? 16. Các mẫu ngoại lai của đầu vào ho ặc đầu ra được xem xét m ột cách thích đáng chưa ? 17. Các thay đổi trong tương lai của hệ thống và tải làm việc được mô hình hóa chưa? 18. Phương sai của dữ liệu đầu vào được quan tâm không ? 19. Phương sai của kết quả được phân tích chưa? 20. Sự phân tích này có dễ giải thích không? 21. Cách thức trình bày có phù hợp với người đọc không? 22. Các kết quả có được trình bày dưới dạng đồ thị nhiều nhất có thể không? 23. Các giả thiết và các giới hạn của sự phân tích được đưa vào tài liệu rõ ràng không ? Một cách tiếp cận có hệ thống cho việc đánh giá hi ệu năng Các thông s ố, tải làm việc và kỹ thuật đánh giá được sử dụng đối với một vấn đề thì thường không thể được sử dụng cho v ấn đề tiếp theo. Tuy nhiên có các bước chung cho t ất cả dự án đáng giá hi ệu năng mà chúng giúp bạn tránh đư ợc các lỗi ghi trong ph ần 1.1 Các bư ớc này thực hiện như sau. Bước 1- Xác định mục tiêu và định nghĩa hệ thống Bước đầu tiên trong vài d ự án đánh giá hi ệu năng là xác định mục tiêu của việc nghiên cứu và định nghĩa xem cái gì tạo nên hệ thống bằng cách phác h ọa các giới hạn của hệ thống. Bước 2: Lập danh sách các dịch vụ và kết quả nhận được Mỗi một hệ thống cung c ấp một tập hợp các dịch vụ. Danh sách c ủa dịch vụ và kết quả khả thi sẽ hữu ích sau này trong vi ệc chọn thông s ố và tải làm việc đúng. Bước 3 Lựa chọn các thông s ố đo Bước tiếp theo là l ựa chọn các tiêu chuẩn để so sánh hiệu năng, chúng được gọi là các thông s ố đo. Nhìn chung, các thông s ố này liên hệ với tốc độ, độ chính xác, và ích lợi của dịch vụ. Bước 4: Lập danh sách các thông số Bước tiếp theo trong d ự án thực hiện là tạo danh sách t ất cả các thông s ố ảnh hưởng tới hiệu năng. Danh sách này có th ể được phân chia thành các thông số hệ thống và các thông s ố tải làm việc Bước 5: Lựa chọn các thừa số để nghiên c ứu 6 Danh sách các th ông số có thể phân chia thành 2 phần: các thông s ố sẽ được thay đổi trong quá trình đánh giá và các thông s ố không thay đ ổi. Những thông số được thay đổi gọi là thừa số và những giá trị của chúng đư ợc gọi là mức độ. 1.2 Lựa chọn kỹ thuật và thông số đo Lựa chọn một kỹ thuật đánh giá và l ựa chọn tham số đo là hai bư ớc quan trọng trong t ất cả các dự án đánh giá hi ệu năng. Có r ất nhiều vấn đề cần xem xét đ ể có được lựa chọn chính xác. 1.2.1 Lựa chọn một kỹ thuật đánh giá Có ba k ỹ thuật đánh giá hi ệu năng là mô h ình hóa phân tích, ph ương pháp mô ph ỏng và đo đ ạc. Có một số khía cạnh cần xem xét đ ể quyết định xem k ỹ thuật nào là p hù hợp nhất để sử dụng. Những khía c ạnh đó đư ợc liệt kê trong b ảng 3.1 và đư ợc sắp xếp theo m ức quan trọng giảm dần. Một vấn đề quan trọng trong vi ệc quyết định kỹ thuật đánh giá đó là chu tr ình vòng đời trong hệ thống. Các phương pháp đo đ ạc chỉ khả thi nếu đã tồn tại hệ thống khác tương t ự như hệ thống ta đưa ra khảo sát, như là khi thi ết kế một phiên bản cải tiến hơn của một sản phẩm. Nếu hệ thống đưa ra là một khái niệm mới thì chỉ có thể chọn mô hình hóa phân tích và ph ương pháp mô ph ỏng để thực hiện đánh giá. Mô hình hóa phân tích và mô ph ỏng có thể sử dụng cho nh ững trường hợp mà đo đạc là không kh ả thi, nhưng nh ìn chung để thuyết phục hơn thì nên kết hợp những phương pháp đó dựa trên các k ết quả đo đạc trước đó. Bảng 1.2 Những tiêu chí đ ể lựa chọn kỹ thuật đánh giá Tiêu chí Mô hình phân tích Mô phỏng Đo đạc 1. Giai đo ạn Bất cứ giai đoạn nào Bất cứ giai đoạn nào Sau thiết kế thử nghiệm (postprototype) 2. Thời gian yêu c ầu Ngắn Trung bình Thay đổi 3. Công c ụ Nhà phân tích Các ngôn ng ữ máy tính Các dụng cụ đo 4. Tính chính xác a Thấp Vừa phải Thay đổi 5. Tính đánh đ ổi Dễ Vừa phải Khó 6. Giá thành Thấp Trung bình Cao 7. Tính d ễ bán Thấp Trung bình Cao a a Trong tất cả các trư ờng hợp, kết quả có thể bị sai lệch. Vấn đề tiếp theo cần cân nhắc đó là th ời gian sử dụng cho công vi ệc đánh giá. Trong h ầu hết các trường hợp, các kết quả được yêu cầu từ ngày hôm trư ớc (thời gian đánh giá ng ắn). Nếu đúng như vậy thì mô hình hóa phân tích là s ự lựa chọn duy nhất. Các phương pháp mô ph ỏng cần một thời gian dài, các phương pháp đo đ ạc thường mất nhiều thời gian hơn mô h ình hóa phân tích nh ưng không lâu như mô ph ỏng. Theo ý ngh ĩa của định luật Murphy thì ph ương pháp đo đ ạc được sử dụng thường xuyên hơn hai phương pháp c òn lại (Nếu một việc có thể diễn ra theo chiều hướng xấu, nó sẽ như vậy – Họa vộ đơn chí). K ết quả là, thời gian cần thiết dành cho đo đ ạc biến động nhiều nhất trong ba k ỹ thuật. Điểm quan tâm ti ếp theo là tính s ẵn sàng của công c ụ. Các loại công cụ bao gồm: các kỹ năng mô hình hóa, các ng ôn ngữ mô phỏng, và các thi ết bị đo đạc. Nhiều nhà phân tích hi ệu năng rất thành thạo và khéo léo trong mô hình hóa. H ọ không cần sử dụng tới bất cứ hệ thống thật đắt tiền nào. Những người khác không thành th ạo các lý thuy ết hàng đợi thì lại quan tâm hơn đ ến đo đạc và mô phỏng. Thiếu kiến thức về các ngôn ng ữ và kỹ thuật mô phỏng khiến nhiều nhà phân tích xa r ời các công cụ mô phỏng hữu dụng. Mức độ chính xác đ òi hỏi cũng là một mối quan tâm khác. Nhìn chung, mô hình hóa phân tích yêu cầu nhiều sự đơn giản hóa và giả thiết đến nỗi nếu các kết quả trở nên chính xác thì ngay c ả các nhà 7 phân tích c ũng phải ngạc nhiên. Các phương pháp mô ph ỏng có th ể kết hợp nhiều chi tiết, yếu tố hơn và yêu c ầu ít giả thiết hơn là mô h ình hóa phân tích và do đó thường gần hơn với thực tế. Các phương pháp đo đ ạc mặc dù nghe có v ẻ gần thực tế nhất nhưng kết quả lại có thể thiếu chính xác, đơn giản vì có nhi ều tham số môi trường tác động đến đối với từng thử nghiệm, như là c ấu hình h ệ thống, loại tải làm việc, và thời gian đo đ ạc. Các tham s ố cũng có th ể không th ể hiện khoảng làm việc thay đổi trong các h ệ thống thực tế. Do vậy tính chính xác c ủa kết quả đo đạc thu được có thể thay đổi từ cao đến không có gì. Cần phải chỉ ra rằng mức độ chính xác và tính đúng đ ắn của kết luận là không đồng nhất. Một kết quả chính xác đ ến mười chữ số thập phân cũng có th ể bị hiểu sai hay ho ặc nhầm lẫn; do đó có th ể dẫn tới kết luận sai. Mục đích của công vi ệc nghiên c ứu hiệu năng là v ừa để so sánh các phương án khác nhau v ừa để tìm ra giá tr ị tham số tối ưu. Các m ô hình phân tích th ường cung c ấp một cái nhìn t ốt nhất về tác dụng của các tham s ố khác nhau và s ự tương tác gi ữa chúng. V ới các phương pháp mô ph ỏng, có thể tìm được khoảng giá trị tham số cho tổ hợp tối ưu, nhưng thư ờng không th ể hiện được rõ ràng sự tương x ứng giữa tham số này với tham số khác. Các phương pháp đo đ ạc là kỹ thuật ít thể hiện được tính tương x ứng giữa các tham s ố nhất. Thật không d ễ khi khẳng định rằng hiệu năng đư ợc cải thiện là kết quả của một vài sự thay đổi ngẫu nhiên về môi trường hoặc hiệu chỉnh một vài tham s ố nhất định. Chi phí cấp cho dự án cũng là một yếu tố quan trọng. Đo đ ạc đòi hỏi phải có thiết bị thật, dụng cụ đo đạc và thời gian. Đây chính là k ỹ thuật tốn kém nh ất trong 3 k ỹ thuật đã nêu. Chi phí, đi kèm v ới khả năng dễ dàng thay đ ổi cấu hình, th ường là lí do đ ể phát triển các phương pháp mô ph ỏng cho các hệ thống đắt tiền. Mô hình hóa phân tích ch ỉ đòi hỏi giấy và bút chì (c ộng với thời gian của nhà phân tích) nên có th ể xem như là k ỹ thuật rẻ nhất. Tính bán đ ược của kết quả đánh giá có th ể là lý lẽ quan trọng khi ch ọn xem xét các chi phí, lao động của phương pháp đo đ ạc. Và kết quả đó dễ được thuyết phục hơn nếu nó được thực hiện với hệ thống thực. Nhiều người hoài nghi v ề các kết quả phân tích đơn gi ản vì họ không hiểu công ngh ệ thực hiện hoặc kết quả cuối cùng. Trong th ực tế, người phát tri ển các k ỹ thuật mô hình hóa phân tích mới thường kiểm chứng, xác nh ận chúng b ằng cách s ử dụng các phương pháp mô ph ỏng hoặc đo lường thực sự. Đôi khi vi ệc sử dụng hai hay nhiều kỹ thuật đồng thời mang lại nhiều lợi ích. Ví d ụ, bạn có thể sử dụng mô ph ỏng và mô hình hóa phân tích cùng nhau để kiểm tra và xác nh ận kết quả riêng của từng phương pháp. Cho đến khi chưa ch ứng mình được tội lỗi, mọi người đều được xem là vô t ội, nghĩa là cho đến khi chưa đư ợc xác nhận kiểm chứng thì mọi kết quả đánh giá đ ều đáng nghi ng ờ. Điều đó đưa chúng ta đ ến với 3 quy t ắc xác minh sau đây:  Không tin tư ởng vào k ết quả của một mô hình mô ph ỏng cho đ ến khi chúng đ ã được xác nhận bởi mô hình hóa p hân tích hay đo đ ạc.  Không tin tư ởng vào k ết quả của một mô hình phân tích cho đến khi cũng đã được xác nhận bởi mô hình mô ph ỏng hay đo đ ạc.  Không tin tư ởng vào k ết quả của phương pháp đo đ ạc cho đến khi chúng đ ã được xác nhận bởi mô hình mô ph ỏng hay mô hình phân tích. Trong th ực tế , sự cần thiết của quy tắc thứ 3 cho việc xác nhận các kết quả đo đạc nên được nhấn mạnh vì đây là quy t ắc hay bị bỏ qua nhất. Phương pháp đo đ ạc dễ bị mắc các lỗi khi thí nghi ệm hoặc các sai sót hơn là hai k ỹ thuật kia. Yêu cầu duy nhất của phép xác minh là k ết quả phải không trái với trực quan mong đ ợi. Phương pháp xác minh như th ế gọi là trực giác của những chuyên gia , thường được sử dụng cho các mô hình mô ph ỏng. Phương pháp này và các phương pháp khác có thể được sử dụng cho các k ết quả đo đạc và phân tích. 8 Hai hay nhi ều kỹ thuật cũng có th ể được sử dụng tiếp nối nhau. Ví d ụ, trong m ột trường hợp, một mô hình phân tích đơn giản được sử dụng để tìm ra kho ảng phù h ợp cho các tham s ố của hệ thống và một mô hình mô ph ỏng được sử dụng sau đó đ ể nghiên c ứu hiệu năng của thệ thống trong khoảng đó. Đi ều này làm gi ảm số trường hợp mà phép mô ph ỏng cần xét đến và dẫn đến việc sử dụng tài nguyên hi ệu quả hơn. 1.3- Ý ngh ĩa của “Confidence interval” trong vi ệc so sánh k ết quả Từ tiếng Anh sample và example đều bắt nguồn từ một từ Pháp cổ là essample. Mặc dù hiện nay đây là hai t ừ riêng biệt, nhưng vi ệc nhớ đến nguồn gốc chung c ủa chúng c ũng khá l à quan trọng. Một mẫu (sample) chỉ đơn giản là một ví dụ (example). Một ví dụ thường không đủ để chứng minh một giả thiết. Tương t ự như vậy, một mẫu thường là không đ ủ để đưa ra m ột phát biểu rõ ràng v ề mọi hệ thống. Nhưng s ự khác biệt này thường bị bỏ quên. Chúng ta thư ờng đo đạc 2 hệ thống với chỉ 5 hay 10 t ải làm việc (workloads) và sau đó k ết luận rằng một hệ thống tốt hơn hệ thống kia. Mục đích của phần này là để củng cố sự khác biệt và để thảo luận làm th ế nào để sử dụng các m ẫu dữ liệu để so sánh hai h ệ thống hoặc nhiều hơn. Ý tưởng cơ bản là một phát biểu chính xác có th ể không chính xá c với các thuộc tính của tất cả các hệ thống, nhưng m ột tuyên bố xác suất về khoảng trong đó các thu ộc tính của hầu hết các hệ thống tồn tại có thể đúng. Khái ni ệm về khoảng tin cậy (confidence interval ) được giới thiệu trong phần này là m ột khái niệm cơ bản mà bất cứ nhà phân tích hi ệu năng hệ thống nào cũng cần biết để hiểu rõ vấn đề. 1.3.1 Mẫu đối ngược với quần thể Giả sử chúng ta vi ết một chương tr ình máy tính để tạo ra vài tri ệu số ngẫu nhiên v ới thuộc tính cho trước, ví dụ như có giá trị trung bình ¼ và độ lệch chuẩn Ã. Bây gi ờ chúng ta đưa các s ố đó vào m ột cái bình và rút ra m ột mẫu của n số . Giả thiết mẫu {x 1 , x 2 , . . . , x n } có giá tr ị trung bình m ẫu là . Giá trị trung bình mẫu khác với Ã. Để phân biệt hai giá tr ị đó, được gọi là giá trị trung bình mẫu và ¼ đư ợc gọi là trung bình c ủa quần thể. Từ quần thể ám chỉ tất cả các số nằm trong chi ếc bình. Trong hầu hết các vấn đề thực tế, các thuộc tính của quần thể (ví dụ như giá trị trung bình qu ần thể là không được biết , và mục đích của nhà phân tích là ư ớc lượng các thu ộc tính đó. Ví d ụ, trong th ử nghiệm của chúng ta v ề đo thời gian x ử lý của một chương tr ình, giá trị trung bình mẫu rút ra t ừ một mẫu đơn lẻ của n giá trị chỉ là một ước lượng đơn gi ản của giá trị trung bình. Để xác định chính xác giá tr ị trung bình, chúng ta c ần thực hiện lại thí nghi ệm tới vô hạn lần, điều đó gần như là không thể làm được. Các thuộc tính của quần thể được gọi là các tham số trong khi các m ẫu thử được gọi là các thống kê. Ví dụ, trung bình t ập hợp là một tham số trong khi giá trị trung bình mẫu là một thống kê. Ta c ần phải phân biệt hai khái ni ệm này bởi vì các tham s ố là cố định (fixed) trong khi th ống kê là m ột biến ngẫu nhiên. Ví d ụ, nếu chúng ta l ấy ra hai m ẫu n phần tử từ một tập phân ph ối bình thường với trung bình ¼ và độ lệch chuẩn Ã, kỳ vọng mẫu 1 x và 2 x của hai mẫu sẽ khác nhau. Trong th ực tế, chúng ta có th ể rút ra nhi ều mẫu và đưa ra m ột hàm phân b ố cho giá trị trung bình mẫu. Không có phân bố nào như v ậy đúng cho giá tr ị trung bình c ủa cả quần thể. Nó là c ố định và chỉ có thể xác định nếu chúng ta xem xét trên toàn b ộ quần thể. Thông thư ờng, các ký hi ệu Hy Lạp như ¼ hay à thường được dùng để chỉ các tham s ố, trong khi các ký hi ệu tiếng Anh như x và s được dùng để chỉ thống kê. 9 1.3.2 Kho ảng tin c ậy cho giá trị trung bình Mỗi giá trị trung bình mẫu là một đánh giá c ủa giá trị trung bình qu ần thể. Đưa ra k mẫu, chúng ta có k đánh giá và nh ững đánh giá đ ó là khác nhau. V ấn đề tiếp theo là lấy ra một đánh giá duy nh ất cho giá trị tủ ng bình quần thể từ k đánh giá trên. Trong th ực tế, không th ể lấy ra một đánh giá hoàn h ảo cho giá trị trung bình quần thể từ một số hữu hạn các m ẫu có độ kích thước hữu hạn. Điều tốt nhất chúng ta có th ể làm là lấy ra được các biên xác suất. Từ đó, chúng ta có th ể lấy ra 2 biên, ví d ụ, c 1 và c 2 , như thế sẽ có một xác suất cao, 1 - ±, mà kỳ vọng lý thuy ết nằm trong kho ảng (c 1 ,c 2 ): Probability{c 1 d¼dc 2 } = 1 - ± Khoảng (c 1 ,c 2 ) được gọi là khoảng tin cậy cho giá trị trung bình của quần thể , ± được gọi là mức ý nghĩa (significant level), 100(1 - ±) được gọi là mức tin cậy (confidence level), và (1 - ±) được gọi là hệ số tin cậy (confidence coefficient) . Chú ý rằng mức tin cậy thường được biểu diễn dưới dạng phần trăm và thư ờng gần đến giá trị 100%, ví d ụ, 90% hay 95%; trong khi m ức ý nghĩa được biểu diễn bởi một phân số và thường có giá tr ị gần 0, ví d ụ 0.05 hay 0.1. Một cách để xác định khoảng tin cậy 90% là sử dụng 5% và 95% của các giá trị trung bình mẫu làm các biên. Ví d ụ, chúng ta có th ể lấy k mẫu, tìm các giá trị trung bình mẫu, sắp xếp chúng ra theo một thứ tự tăng dần và lấy ra trong t ập sắp xếp đó phần tử thứ [1+0.05( k-1)] và [1+0.95( k-1)] . Có một điều may m ắn là chúng ta không c ần thiết phải lấy ra quá nhi ều mẫu. Có thể xác định được khoảng tin cậy chỉ từ duy nhất một mẫu, bởi vì định lý giới hạn trung tâm cho ta xác đ ịnh được phân phối của giá trị trung bình mẫu. Định lý đó phát bi ểu rằng nếu các giá t rị trong m ẫu {x1, x2, . . . , xn} là đ ộc lập và được lấy ra từ cùng m ột tập có giá trị trung bình ¼ và độ lệch chuẩn à thì giá trị trung bình mẫu của mẫu đó có phân ph ối thường xấp xỉ với giá trị trung bình ¼ và độ lệch chuẩn / n  . ( , / )x N n   : Độ lệch chuẩn của giá trị trung bình mẫu được gọi là sai số chuẩn. Sai số chuẩn khác với độ lệch chuẩn của tập. Nếu độ lệch chuẩn của tập là Ã, thì sai s ố chuẩn chỉ là / n  Từ biểu thức trên, dễ thấy rằng khi kích thư ớc mẫu n tăng lên th ì sai số chuẩn sẽ giảm xuống. Sử dụng định lý giới hạn trung tâm, khoảng tin cậy 100(1 - ±)% cho trung bình qu ần thể được đưa ra: 1 /2 1 /2 ( / , / )x z s n x z s n       10 Ở đây, x là giá trị trung bình mẫu, s là độ lệch chuẩn của mẫu, n là độ lớn mẫu, và z 1-±/2 là điểm phân vị (1 -±/2) của một đại lượng ngẫu nhiên. Ví dụ 1. Với mẫu ở ví dụ 12.4, k ỳ vọng x = 3.90, đ ộ lệch chuẩn s = 0.95 và n = 32: 3.90 (1.645)(0.95) / 32m Một khoảng tin cậy 90% cho k ỳ vọng = (3.62, 4.17) Chúng ta có th ể phát biểu rằng với khoảng tin cậy 90% thì trung bình t ập nằm trong kho ảng 3.62 và 4.17. Xác su ất sai của phát biểu này là 10%. Có ngh ĩa là, nếu chúng ta l ấy 100 m ẫu và đưa ra m ột khoảng tin cậy cho mỗi mẫu như chỉ ra trên hình 13.1, thì trong 90 m ẫu sẽ có khoảng tin cậy chứa giá trị trung bình lý thuyết và 10 m ẫu thì giá trị trung bình lý thuyết sẽ không n ằm trong kho ảng tin cậy. Tương tự như vậy: Khoảng tin cậy 95% cho k ỳ vọng = 3.90 (1.960)(0.95) / 32m = (3.57, 4.23) Khoảng tin cậy 99% cho giá trị trung bình = 3.90 (2.576)(0.95) / 32m = (3.46, 4.33) Hình 1.3.2 Ý nghĩa của khoảng tin cậy Khoảng tin cậy đề cập ở trên chỉ áp dụng cho các m ẫu lớn có độ lớn (kích thư ớc) lớn hơn 30 giá tr ị. Với các mẫu nhỏ, khoảng tin cậy chỉ có thể được xây dựng nếu các giá tr ị đến từ một tập phân bố chuẩn. Với những mẫu như v ậy khoảng tin cậy 100(1 - ±)% đư ợc đưa ra: [1 /2; 1] [1 /2; 1] ( / , / ) n n x t s n x t s n         Ở đây t [1-±/2;n-1] là điểm phân vị (1 - ±/2) của biến ngẫu nhiên t với n – 1 bậc tự do. Các đi ểm phân v ị đó được liệt kê trong b ảng A.4 c ủa phụ lục. Khoảng này dựa trên một sự thật là với các mẫu từ một tập chuẩn 2 ( , ),( ) / ( / )N x n      có một phân bố N(0,1) và 2 2 ( 1) /n s   có một phân bố chi bình phương (phân b ố x 2 ) với n – 1 bậc tự do, và do đó 2 ( ) / /x s n   có một phân bố t với n – 1 [...]... phần mềm mô phỏng họ sử dụng Kết quả là sẽ tăng cường tính hiệu quả mà nhờ nó người sử dụng có thể xây dựng, kiểm tra, và sử dụng các mô hình mô phỏng sự kiện rời rạc Cách tiếp cận sử dụng trong chương này nhằm mục đích phát triển một cách đánh giá tổng quát về cơ sở logic của mô phỏng sự kiện rời rạc, giới thiệu từ vựng chung và tăng cường sự ủng hộ đối với cách đánh giá này Ba ví dụ về phần mềm mô. .. Thiếu các kỹ năng cần thiết Một dự án mô phỏng cần ít nhất bốn kỹ năng sau (a) Kỹ năng về lãnh đạo dự án Có khả năng tạo ra động lực, lãnh đạo và quản lý các thành viên trong nhóm mô phỏng (b) Kỹ năng về mô hình hóa và thống kê thông tin Có khả năng chỉ ra các đặc trưng chủ chốt của hệ thống và mô hìnhchúng ở mức độ chi tiết cần thiết (c) Kỹ năng về lập trình Là khả năng viết ra một chương trình máy tính... tính năng lượng: E=mc2 19 Mô hình tuyến tính và mô hình phi tuyến: Nếu mô hình có thông số đầu ra là một hàm tuyến tính của các thông số đầu vào thì đó là mô hình tuyến tính, nếu không thì đó là mô hình phi tuyến, hãy xem hình 2.4 dưới đây Hình 2.4 Mô hình tuyến tính và mô hình phi tuyến Mô hình mở và mô hình đóng: Nếu tham số đầu vào là ở bên ngoài so với mô hình và độc lập với mô hình thì đó là mô. .. sử dụng của một dự án mô phỏng Bảng 2.1 Danh sách cần KIỂM TRA về các MÔ PHỎNG 1.Các việc cần kiểm tra trước khi phát triển mô phỏng (a) Mục tiêu của mô phỏng trên lý thuyết đã được xác định hợp lý ? (b) Mức độ chi tiết trong mô hình thích hợpvới mục đích hay không ? (c) Nhóm mô phỏng có bao gồm đầy đủ các thành viên với các vị trí: lãnh đạo, mô hình hóa, lập trình và am hiểu về hệ thống máy tính hay... Ba ví dụ về phần mềm mô phỏng thương mại (SIMAN với ngôn ngữ mô phỏng được viết trong ARENA; ProModel; và GPSS/H) được thảo luận theo cách đánh giá tổng quan này Sự khác biệt giữa ba phần mềm này trong trong một vài tình huống được mô tả để nêu bật sự cần thiết phải hiểu các đặc tính của phần mềm mô phỏng Mục 3.2 thảo luận về cách đánh giá luồng lưu lượng và bản chất của mô phỏng sự kiện rời rạc, bao... khác nhau trong hệ thống và dẫn đến các kết quả có thể sẽ không thể hiện được hệ thống thực 2.2 Các lý do khác khiến mô phỏng bị sai 1 Sự ước lượng thời gian không hợp lý: Nguyên nhân chính và trước tiên khiến cho các mô hình mô phỏng thất bại là các nhà phát triển đánh giá không đúng thời gian và nỗ lực cần thiết để pháp triển một mô hình mô phỏng Thời gian giành cho các dự án mô phỏng thường được bắt... ngôn ngữ mô phỏng liên tục và những ngôn ngữ mô phỏng sự kiện rời rạc, phụ thuộc vào loại sự kiện mà chúng mô phỏng Các ngôn ngữ mô phỏng liên tục được thiết kế để xử lý những mô hình sự kiện liên tục thường được diễn tả bằng các phương trình vi phân Ví dụ về loại này là cáci ngôn ngữ CSMP và DYNAMO Những ngôn ngữ này thường phổ biến trong các mô hình hệ thống hóa học Mặt khác, các ngôn ngữ mô phỏng sự... kiểm tra được để thực hiện mô hình chính xác (d) Am hiểu về hệ thống được mô hình mô hình hệ thống Là khả năng hiểu về hệ thống, giải thích được cho nhóm mô phỏng về hệ thống, iễn giải các kết quả mô phỏng dưới dạng ảnh hưởng của chúng lên thiết kế hệ thống Một nhóm mô phỏng nên bao gồm các thành viên có các kỹ năng trên, và người đứng đầu lý tưởng nhất là người có đủ 4 kỹ năng trên 4 Mức độ tham gia... tích hiệu năng : mô hình hóa phân tích, đo đạc và mô phỏng thì việc thực hiện mô phỏng là cần nhiều thời gian nhất, nhất là đối với các mô hình hoàn toàn mới thì quá trình phát triển phải bắt đầu từ con số không Ngoài ra cũng cần có thời gian để xác thực lại mô hình Những người phân tích mới đối với lĩnh vực này thường không đánh giá đúng về độ phức tạp khi triển khai mô phỏng Đối với các dự án mô phỏng. .. mô phỏng 1 Mức độ chi tiết không hợp lý: Mô phỏng cho phép nghiên cứu một hệ thống chi tiết hơn mô hình phân tích Việc phân tích đòi hỏi nhiều đơn giản hóa và giả thiết Hay nói cách khác, mô hình phân tích là kém chi tiết hơn Trong mô hình mô phỏng, mức độ chi tiết chỉ bị hạn chế bởi thời gian giành cho việc phát triển mô phỏng Mô phỏng càng chi tiết yêu cầu càng nhiều thời gian để phát triển Khả năng . 1 Phần 1: Lý thuyết chung về mô phỏng mạng và đánh giá hiệu năng Chương 1 - Tổng quan v ề sự đánh giá và phân tích hi ệu năng của hệ thống (system performance. đề về đánh giá hiệu năng. Ví dụ như những ai thành thạo về lý thuyết hàng đợi sẽ có xu hướng quy đ ổi mọi vấn đề về hiệu năng sang m ột vấn đề về hàng đợi ngay cả khi hệ thống quá phức tạp và. k đánh giá và nh ững đánh giá đ ó là khác nhau. V ấn đề tiếp theo là lấy ra một đánh giá duy nh ất cho giá trị tủ ng bình quần thể từ k đánh giá trên. Trong th ực tế, không th ể lấy ra một đánh