ソフトウェアテスト [8] テストの評価と信頼性評価と信頼性と信頼性信頼性 Software Testing [8] Evaluation of testing and reliability あまん ひろひさ ひろひさ 阿萬 裕久 裕久（ AMAN Hirohisa ） aman@ehime-u.ac.jp (C) 2007-2022 Hirohisa AMAN テストの評価と信頼性評価と信頼性 テストはソフトウェアの品質保証を行う活ソフトウェアの評価と信頼性品質保証を行う活を行う活行う活う活活 動 テストが必要完璧 ⇒ 欠陥（フォールト）はソフトウェアの品質保証を行う活存在せず，障害は発生しない．せず，障害は発生しない．障害は発生しない．はソフトウェアの品質保証を行う活発生しない．しない． いわゆる「バグ解決率」のはソフトウェアの品質保証を行う活無い．い． 「テストと信頼性いう活活動」のの評価と信頼性評価と信頼性が必要必要 網羅率に基づく評価基づく評価づく評価評価と信頼性 バグ解決率解決率に基づく評価基づく評価づく評価評価と信頼性 運用性に基づく評価基づく評価づく評価評価と信頼性 (C) 2007-2022 Hirohisa AMAN テストの評価と信頼性評価と信頼性（１） 網羅率に基づく評価基づく評価づく評価評価と信頼性 テストケースが必要「どれだけ網羅したのか網羅したの評価と信頼性か」の と信頼性いう活視点での評価での評価と信頼性評価と信頼性 状態遷移に基づく評価着目 仕様に従った動作・入出力に基づく評価従った動作・入出力った動作・入出力に基づく評価着目 ※ ブラックボックステスト プログ解決率ラムでの実行の流れでの評価と信頼性実行う活の評価と信頼性流れれに基づく評価着目 ※ ホワイトボックステスト (C) 2007-2022 Hirohisa AMAN テストの評価と信頼性評価と信頼性（２） バグ解決率解決率に基づく評価基づく評価づく評価評価と信頼性 テストを行う活実施することでバグが見つかり，すること信頼性でバグ解決率が必要見つかり，つかり，障害は発生しない． それが必要修正されていくされていく評価 もしもバグ解決率の評価と信頼性総数が必要分かっていれば，そのかっていれば，障害は発生しない．その評価と信頼性 中での解決数からテスト活動の評価ができでの評価と信頼性解決数からテスト活動の評価ができテスト活動の評価と信頼性評価と信頼性が必要でき る バグ解決率の評価と信頼性 解決率 ＝ 解決したバグ解決率数 バグ解決率の評価と信頼性総数 ※ バグ解決率と信頼性いう活用語は正確でないことに注意； はソフトウェアの品質保証を行う活正されていく確でないことに注意； でないこと信頼性に基づく評価注意； 正されていくしく評価動作しない現象（「障害は発生しない．，障害は発生しない．不具合」の）が必要テストで見つかり，つかり，障害は発生しない．その評価と信頼性源であであ る「欠陥」の（フォールト）あるいはソフトウェアの品質保証を行う活それを行う活作り出した「エラー」のを行う活解決するこ と信頼性が必要「解決」のに基づく評価あたる． (C) 2007-2022 Hirohisa AMAN どう活やって「バグ解決率総数」のを行う活知るのかるの評価と信頼性か 結論からいえば，からテスト活動の評価ができいえば，障害は発生しない．真の個数は分からないの評価と信頼性個数はソフトウェアの品質保証を行う活分かっていれば，そのからテスト活動の評価ができない 人間をシステムに例えるならば，一生のうちを行う活システムでの実行の流れに基づく評価例えるならば，一生のうちえるならテスト活動の評価ができば，障害は発生しない．一生しない．の評価と信頼性う活ち 何回病気になるのかに基づく評価なるの評価と信頼性かを行う活知るのかろう活と信頼性するの評価と信頼性に基づく評価似てて いる 「不具合の評価と信頼性発生しない．≒病気の症状が出る」と考える病気になるのかの評価と信頼性症状が必要出る」のと信頼性考えるえる と信頼性，障害は発生しない．フォールトはソフトウェアの品質保証を行う活その評価と信頼性源であと信頼性なった細菌やウイやウイ ルスであり，障害は発生しない．エラーはソフトウェアの品質保証を行う活それに基づく評価感染するに至っするに基づく評価至っっ た行う活為ともとれる．と信頼性もと信頼性れる． （統計的に）に基づく評価）バグ解決率総数を行う活推定するしかない (C) 2007-2022 Hirohisa AMAN バグ解決率数推定法① 捕獲・再捕獲法（１／ 捕獲・再捕獲法（１／ ４） 【例えるならば，一生のうち】 琵琶湖にブラックバスが何匹いるのかを調に基づく評価ブラックバスが必要何匹いるのかを調いるの評価と信頼性かを行う活調 べたい． ※ 琵琶湖にブラックバスが何匹いるのかを調に基づく評価いるすべての評価と信頼性魚を捕獲できればを行う活捕獲できれば よいが必要，障害は発生しない．それはソフトウェアの品質保証を行う活現実的に）に基づく評価不可能である．である． (C) 2007-2022 Hirohisa AMAN バグ解決率数推定法① 捕獲・再捕獲法（１／ 捕獲・再捕獲法 （２／ ４） いったん ひろひさ適当な数のブラックバスを捕獲すな数の評価と信頼性ブラックバスを行う活捕獲す る． そして，障害は発生しない．その評価と信頼性ブラックバスに基づく評価マーキング解決率を行う活 して，障害は発生しない．逃がすが必要す． しばらテスト活動の評価ができく評価した後，障害は発生しない．再びブラックバスを捕獲ブラックバスを行う活捕獲 する．その評価と信頼性中での解決数からテスト活動の評価ができに基づく評価マーキング解決率されたもの評価と信頼性が必要何 匹いるのかを調含まれているかまれているかで総数を行う活推定する． (C) 2007-2022 Hirohisa AMAN バグ解決率数推定法① 捕獲・再捕獲法（１／ 捕獲・再捕獲法 （３／ ４） この評価と信頼性よう活なイメージ 回目 10 匹いるのかを調に基づく評価 マーキング解決率 回目 10 匹いるのかを調中での解決数からテスト活動の評価ができ 匹いるのかを調 に基づく評価マーキング解決率 を行う活確でないことに注意； 認 その評価と信頼性後 再捕獲 全体における割合の推定に基づく評価おけ網羅したのかる割合の評価と信頼性推定 ＝ ： ： この評価と信頼性イメージ図だとだと信頼性 10 : ？ = : なの評価と信頼性で残りは りはソフトウェアの品質保証を行う活 40 匹いるのかを調 (C) 2007-2022 Hirohisa AMAN バグ解決率数推定法① 捕獲・再捕獲法（１／ 捕獲・再捕獲法 （４／ ４） これを行う活ソフトウェアに基づく評価適用すると信頼性 人工的に）なバグ解決率を行う活 個用意しておく評価（マーキン グ解決率） その評価と信頼性後，障害は発生しない．テストで人工的に）なバグ解決率が必要 個，障害は発生しない．そう活で ない本物のバグが 個の評価と信頼性バグ解決率が必要 個見つかり，つかったと信頼性する 本物のバグが 個の評価と信頼性バグ解決率の評価と信頼性総数はソフトウェアの品質保証を行う活次式で推定される．で推定される． より 𝑛𝑦 𝑥 (C) 2007-2022 Hirohisa AMAN 捕獲・再捕獲法の評価と信頼性欠点での評価 リアルな人工バグ解決率を行う活作るの評価と信頼性はソフトウェアの品質保証を行う活難しいしい どう活してもわざと信頼性らテスト活動の評価ができしいバグ解決率に基づく評価なってしまい ，障害は発生しない．すぐに基づく評価見つかり，つかってしまう活 エンジニアの評価と信頼性心理として「バグを作る」ことと信頼性して「バグ解決率を行う活作る」のこと信頼性 に基づく評価はソフトウェアの品質保証を行う活抵抗がある （現場の声）が必要ある （現場の声）の評価と信頼性声） いわば「捕まりやすい」の魚を捕獲できればを行う活放つつこと信頼性に基づく評価 なって，障害は発生しない．推定数が必要実際よりも小さくなってよりも小さくなってさく評価なって しまう活 𝑛𝑦 𝑥 ※ 本来よりも が小さく， が大きくなるよりも が必要小さくなってさく評価，障害は発生しない． が必要大きくなるきく評価なる (C) 2007-2022 Hirohisa AMAN 10