広告のABテストで「どちらが勝ちか」を言えるのは、CVR（クリックのうち問い合わせや購入に至った割合）3%の広告で2割の差を見たい場合、片側およそ1万4,000クリックを集めてからです。CVRに倍近い差がある大きなテストなら、コンバージョン（CV、問い合わせや購入などの成果地点のこと）の数で片側30件、できれば50件が目安です。期間はGoogle広告の試験運用機能のヘルプが4〜6週間を推奨しています。広告を始めて数か月の担当者が「3日でBの勝ち」と決めている件数は、たいていこの10分の1以下です。

数字だけ見ると「そんなに待てない」と感じるはずで、その感覚は正しく、片側に月1,000クリックしか集まらないアカウントなら、1万4,000クリックまで1年以上かかります。だからテストの設計は、統計の正解を目指すのではなく、自社の件数で判断できる大きさの差だけを狙う、という引き算になります。狙う差を2割から5割に広げるだけで、必要なクリックは片側約1万4,000から約2,500へと、5分の1以下に減ります。

1. 「3日でBの勝ち」が間違いになる理由

広告Aが10クリックで1件、広告Bが10クリックで0件という差でBを止めた経験のある人は、多いはずです。ところが当たりが1割のくじを10回引いて1回も当たらないことは珍しくなく、CVR10%の広告が10クリックで0件になる確率は約35%あります。3回に1回は「たまたま0件」で、そのとき止めた広告Bは、本当はAと同じ実力だったかもしれません。

少ない件数は、偶然を隠します。

これを避けるために統計では「この差が偶然で起きる確率はどのくらいか」を計算し、その確率が5%を下回ったときに初めて差があると認める、という約束事を使います。細かい式を覚える必要はなく、押さえるべきは、見たい差が小さいほど、必要な件数が急に増える、という1点で、差が半分になると、必要件数はおおむね4倍になります。

数字は日によっても揺れます。月曜と土曜でCVRが倍違う業種は珍しくなく、月末に駆け込みが増える商材もあります。3日間のテストは、たまたま良い曜日に当たった側が勝つだけで、翌週には逆転することが珍しくありません。

2. 何件あれば判断できるか：目安の表

一般的な統計の条件（偶然の確率5%以下、本当の差を見逃す確率20%以下）で、どのくらいの件数が要るかを計算したのが次の表です。片側ごとの件数なので、AとBの合計はこの2倍になります。最下段はCTR（クリック率、表示回数に対するクリックの割合）のテストです。

表から読み取れることは2つあります。1つは、CTRのテストはCVRのテストよりずっと早く決着がつくこと。表示回数はクリック数の20倍前後あるので、8,200表示は数日で集まります。広告文の見出しのテストが短期間で済むのはこのためで、逆にLP（広告のリンク先ページ）やオファーのようにCVRで判断するテストは、どうしても長期戦になります。

もう1つは、2割の差を追うのはほとんどの中小規模アカウントでは現実的でない、ということです。片側に月1,000クリック（AとBの合計で2,000）が集まるアカウントでも、1万4,000クリックには14か月かかり、その間に季節もLPも競合も変わってしまいます。狙うなら5割以上の差。小さな改善の積み重ねは、ABテストではなく、月次の数字の推移で見るほうが向いています。

3. CV数で考える：30件と50件

クリック数ではなくCV数で目安を持つほうが、実務では使いやすい場面が多く、CVが片側30件あれば、CVRに倍近い差がある組み合わせは判別できます。3%と6%の比較なら片側およそ750クリック、低いほうのCV数にして22件前後で足りる計算です。Google広告が目標コンバージョン単価の評価に求める「直近30日・30件以上」という目安も、入札だけでなくテストの判断に流用できます。

50件という数字も出てきます。

Googleのデマンド ジェネレーション キャンペーンのヘルプは、CVが50件に届く前の成績評価を避けるよう求めており、Meta広告の広告セットが学習フェーズを抜ける目安も週50件とされています。Meta側の事情は「Meta広告の「学習が限定的」とは」で詳述しています。30件は「差が大きければ判断できる」線、50件は「機械も人も安心して評価できる」線、と覚えておくと使い分けやすくなります。別々の目的で示された目安です。同じ基準の言い換えではありません。

月のCVが10件前後のアカウントでは、片側30件に半年近くかかります。それでも待つ価値があるテストと、待つ前に諦めるべきテストがあり、分かれ目は「勝ったとき何が変わるか」です。LPの差し替えや価格の見せ方のように、勝てばCPA（CV1件あたりにかかった広告費）が3割変わるテストは、半年待つ価値があります。広告文の語尾の違いのような、勝っても数%しか変わらないテストは、月10件のアカウントでは一生決着がつかないので、やらないほうが時間を無駄にしません。

4. 「待つ期間」の決め方

件数が足りても、期間が短すぎるテストは信用できません。最低2週間です。理由は、曜日の偏りを2周分消すため。1週間だと、途中で祝日が入っただけで片側に偏ります。

Google広告の試験運用機能（ヘルプでの名称は「テスト」）は、ヘルプで4〜6週間以上の実施を推奨し、CVまでの時間が長い商材ではさらに延ばすよう書いています。開始直後の7日間は立ち上がりの期間として集計から外される仕様で、結果の画面では統計的に差があると判定された指標に青いアスタリスクが付き、信頼区間は初期設定で80%になっています。80%は「5回に1回は偶然でもこの差が出る」という緩さなので、重要な判断には95%に切り替えて見るほうが慎重です。

CVが起きるまでの日数も期間に足します。クリックから問い合わせまで平均5日かかる商材なら、テストを止めた日から5日間は、まだCVが追加で計上される可能性があります。集計を急がないこと。止めてすぐ集計すると、後から始めた側が不利に見えます。試験運用のヘルプでも「CVサイクルの1〜2周分を待つ」と書かれており、BtoBのように1周が3週間ある商材では、4〜6週間でも足りないことがあります。

テスト中は設定を触らないのが鉄則です。途中で予算を変えたり、片側の広告文だけ直したりすると、その時点から前後の数字を比べられなくなり、それまでの件数が無駄になります。自動入札を使っているなら、学習が途中で崩れないよう、変更の影響を「学習期間の目安」で確認してから手を入れます。

5. 件数が足りないときの代替案

件数が集まらないなら、やり方を変えます。1つ目は、CVの手前にある指標で判断することです。問い合わせではなくフォーム到達、購入ではなくカート投入のように、件数が5〜10倍多い中間地点で比べれば、同じ期間で判断に足る件数が貯まります。この設計は「マイクロコンバージョン設計」に書きました。ただし中間指標が良くても最終CVが良いとは限らないので、勝った側を採用した後に最終CVの推移を見る、という二段構えにします。

2つ目は、差の大きい案だけをテストすることです。見出しの一語を変えるのではなく、訴求そのものを変える。価格を前に出す案と、実績を前に出す案。差が大きければ、片側2,500クリックで決着が見えます。

3つ目は、ABテストをやめて、前後比較で見ることです。4週間Aを流し、次の4週間Bを流す。精度は落ちます。曜日と季節の影響を受けるからです。それでも片側の件数は倍になります。前後比較をするなら、検索数の増減や競合の動きを別途確認して、差の原因がテスト以外にないかを添えて判断します。

ここまでの目安を使えば、「3日でBの勝ち」と決める失敗は自分で防げます。テストの記録も自分で残せます。開始日、終了予定日、片側の目標件数、見たい差、勝ったときに何をするか、という5行をテスト前に書いておくと、途中で「もう決めていいのでは」と誘惑されたときの歯止めになり、後から「あのテストは何件で決めたのか」と聞かれたときの答えにもなります。記録のないテストは、勝ち負けに関係なく、半年後には誰も再現できません。

防ぎにくいのは、テストの設計そのものが偏っているケースのほうで、たとえば両案のリンク先が実は同じページで、差が出るはずのない比較になっていたり、片側だけに除外キーワードが効いていて、クリックの質が最初から違っていたりします。件数と期間が足りていても、比較の土俵が違えば結果は意味を持たず、しかも土俵の歪みは、設定を組んだ本人が見返しても気づきにくいものです。

※ テストの件数は足りているのに、結果が毎回ぶれる方へ ― 比較の土俵が揃っているかは、アカウントの設定を閲覧すれば確認できます。実際の診断レポートのサンプル（無料）で、どの設定をどう見るかをご覧ください。

6. 判断の線をどこに引くか

テストの結論を急ぐ気持ちは、上司に「で、どっちが良かったの」と聞かれる日が近いほど強くなります。そのときは件数と期間を先に報告しておきます。「片側30件まであと2週間、現時点ではBが優勢だが決められる段階ではない」という言い方ができれば、急かされて3日で決める事態は避けられます。

決めてよい線は、片側30件以上かつ2週間以上。

その線を自分で引き、守るところまでは、初心者でも今日から実行できます。テストの設計が公平か、勝った案を採用した後の数字が本当に改善しているか、その改善が季節や競合ではなくテストの結果なのか。この3つは、テストを組んだ当人には判定しにくい問いで、設計した本人が自分のテストを公平に読めるかというと、まず難しい。件数と期間は自社で守る。設計の公平さと結果の読み方は、設計に関わっていない目で確かめる。テストの話は、ここで線を引くと無理がありません。

※ テストの結果が本当に改善につながっているか、月に一度確かめたい方へ ― 読み取り専用の権限だけで受けられる月次チェックの形があります。実際の診断レポートのサンプル（無料）で項目をご確認ください。

よくある質問

Q. レスポンシブ検索広告の見出しのテストも、同じ件数が必要ですか？

A. 見出し単位のテストは、Google広告が組み合わせを自動で出し分けるため、人が件数を数えて判断する形には向いていません。管理画面のアセット別の評価（「低」「良」「最良」）を参考にしつつ、評価が出るまでの表示回数を待つのが現実的で、個々の見出しを自分でABテストするより、広告全体の訴求の違いを広告単位で比べるほうが判断しやすくなります。

Q. 片側30件に半年かかります。それでもテストすべきですか？

A. 設計を変えるサインです。CVの手前の指標で比べるか、訴求の差を大きくして片側2,500クリック程度で決着が見える形にするか、前後比較に切り替えるか。どれかを選べば、同じ半年で2〜3本のテストが回せます。テストの件数より、半年間なにも学べないことのほうが損失として大きいと考えて設計し直します。