学問コラム

同じソフトなのに、テストが通ったり落ちたりするのはなぜ?

コードを書き換えていないのに、さっき成功したテストが今度は失敗しました。テストに落ちた回数は大事ですが、どんな条件で失敗したかも分からなければ、直すべき場所を絞れません。

コンピューター室のテスト画面
関連問題のイメージ

0.30回と28%は何を表す?

元の問題では失敗回数の期待値は0.10+0.20で0.30回です。一方、両方が成功する確率は、独立の仮定で0.90×0.80=0.72なので、一つ以上失敗する確率は28%。二つとも失敗した場合は、回数には2回、少なくとも一つ失敗したかという集計には1件と数えます。平均の失敗回数を百分率にした数字とは違います。

二つのテストが同じ環境を使っていたら

Googleの技術ブログは、同じコードでも結果が変わるテストを調べ、再現しにくい失敗がテスト結果への信頼を下げると説明しています[1]。二つのテストが同じ作業場所を使い、その空き容量が足りないと両方落ちるなら、失敗は独立に起きると考えにくくなります。単独で実行したときと続けて実行したときの結果を比べ、時刻や使った環境を記録します。失敗の数から条件の共通点へ視点を移すと、コードとテスト環境のどちらを調べるべきかが見えてきます。

同じ失敗を調べるときは、何度も再実行して通った結果だけを残すと、失敗がどの条件で現れたかを追えなくなります。順番、時刻、使った環境を添えて初回の結果も保存すると、偶然のように見える失敗に共通の条件があるか調べられます。

出典

  1. Google Testing Blog「Where do our flaky tests come from?」

関心ワード ソフトウェアテスト・独立・期待値

出典確認・更新