売り場の反応が一番違う時間だけ見れば、勝ちが分かる?
文具店で新しい陳列を試すと、昼だけ多くの人が商品を手に取ったとします。最も差が出た時間を見れば陳列の良し悪しは決まるのでしょうか。売り場の比較では、反応率を誰の行動から計算したかと、どの期間を見るかが大切です。

2時間後の差と、一日の差
元の問題の差は開始2時間後に最大の4ポイントです。グラフの傾きが正から負に変わる場所を、微分で見つけられます。一方、来店者が少ない時刻の差が大きくても、一日の販売数に直すと影響が小さいかもしれません。通行した人数、商品に触った人数、実際に買った人数を別々に数えると、展示がどの行動に関わったかを考えられます。
比べる組に同じ条件が届いたか
Microsoft Researchのオンライン実験の研究は、予定した割り当て比率と観測された人数の比率がずれる現象を扱っています[1]。売り場でも、Aを午前、Bを放課後にだけ出せば客層は違いそうです。時間帯を入れ替えて複数日試し、展示の前を通った人を各条件の分母にします。最後に、実施前に決めた期間全体で比べ、ある時間帯だけ違ったなら、その結果も併せて報告します。
試し置きの効果を「手に取った割合」で測る場合、同じ人が何度も棚を通ると集計結果が変わります。通過一回ごとの反応を調べるか、来店した一人ごとの反応を調べるかを先に決めておくと、二つの展示の結果を同じ単位で読めます。