安易に始めると崩壊する？ ABテストが大多数にとって意味がないといえる 4 つの理由
ABテストは、アプリ・ウェブ開発のコンバージョン率を高める為の取り組みとして、ほぼ当たり前の存在となった。僕も ABテストの導入には賛成だ。
しかし僕は、安易に ABテストを取り入れるべきではないとも考えている。むしろ闇雲に始めてしまうと、悪い結果を引き起こす可能性が高いと思っている。また、ABテストは、ほとんどのアプリ・ウェブ開発において、あまり意味がないという考えのスタンスでいる。
なぜ安易に始めてしまうと悪い結果を引き起こしてしまうのか。なぜ意味がないのか。その理由について 5 つの観点で解説する。
正しい選択をできるスキルがないと、誤った判断を下してしまう可能性がある
ABテストを行い、コンバージョン率だけを比較しても、優劣を判断することはできない。なぜかというと「その差は偶然発生したものかもしれない」という可能性があるからだ。この「差が生まれたのは偶然だった」ということを否定するために、統計学的に有意性があるかを確認する必要がある。
そのため大半の ABテストツールでは何かしらの検定方法で「勝率」を出してくれるのだが、勝敗の判定が出る前に「これは良い結果に違いない」とか「悪い結果だから」という理由で、テストを中断して判断してしまうようなことをしている人も少なくない。
これは間違った判断だ。テスト開始後、すぐに良し悪しを判断することはできない。そのため「良かったから・悪かったから」といって早期にテストを終了すると、実際はその逆の結果である可能性があるのだ。
ではどうすればいいのか？ それは簡単で、ツールが結果を出すまで、待てば良いだけだ。もしくは、事前に結果を出すのに適切なサンプルサイズを計算して、達したときに有意差がなければ、中断する。
また、データ自体のノイズを減らすという対策も必要である。例えば、スマホの画面表示にしか影響がないテストをした場合に、デスクトップのユーザーも ABテスト対象にしてしまうと、データに不要なノイズが含まれた状態になり、正しい選択ができなくなるおそれがある。
闇雲に ABテストを進めていくと、最終的にダークパターンになる
ABテストを行う理由は、コンバージョン率を最大化することにある。しかしこれは、こう解釈できるとも考えられないだろうか？
「どんな手を使ってでも、コンバージョン率が上がれば正義」
つまり、ABテストを続けていくうちに、「コンバージョン率」が最優先事項となってしまい、そればかりを追いかけるようになってしまう。
例えば、「サブスクに加入するボタンとスキップして購入手続きを進めるボタンがあり、スキップするボタンを小さく目立たないように変更するテストを行ったら、コンバージョン率が上がった」というテスト結果が得られたとする。この場合、ABテストは成功しているのだから反映されることになるだろう。
つまり、究極をいえば、それはダークパターンになる。最終的に、どんどんダークパターンなデザインが ABテストで成功して、ダークパターンだらけに染まってしまう。
まあ、それで良いという判断なら、それでも良いかもしれない。しかし、実際はダークパターンだらけになると、実はリピート率が悪いだとか、一部の人に見向きをされないだとか、ひどいデザインで炎上するとか……そういったリスクがあるだろう。つまり、長期的に見ると、顧客生涯価値 (LTV) が低下してしまう。
ダークパターンを実装した直後は一時的に KPI が改善するため、過ちに気づくには時間がかかることが多い。テストをする前・した後に、本当にこの UI で問題がないのかを定性的にチェックすることが大切だ。
意思決定のスピードが下がる
ABテストで結論を出すには、ある程度の時間がかかる。大規模な事業を行っていて、すぐに適切なサンプルサイズが貯まるのであれば問題ない。しかし、多くの企業が中小企業であるように、ほとんどのプロジェクトはすぐにデータが溜まるようなものではないだろう。
そのような環境に ABテストを取り入れると、途端に意思決定のスピードが下がる。基本的に ABテスト中はほかのテストを実行することができないので、決着がつくまで待ちの状態になる。
些細なことでもテストをしたくなってしまい、効率が下がる
ABテストツールを導入すると、ついなんでもかんでもテストしたくなってしまう。
デザインの些細な修正や、細かな色の変更。……などにとどまらず、どのみち絶対に変えないといけない要素までテストをしてしまう。
実際のところ、ちょっと変えるくらいでは、有意差が出るほどの影響はない。
「イヤイヤ、それでも変わるかもしれないからテストした方が良いよね？」という考え方もあるだろう。しかし、基本的に ABテストツールでは有意差がなかったテストは取り入れないよう指示が出るものが大半なので、それに従えば、その案は採用できないということになる。
そういった些細なテストには、法令などに対応するための変更や、アクセシビリティのための色変更やページ構造の変更も含まれるだろう。もしテストして悪化していることがわかったら、それらの変更を取りやめるのだろうか？ とても馬鹿げた話である。
まとめ
僕は ABテストという手段は、かなり土台ができていないと、成立しない代物だと思っている。
それはつまりどういう意味かというと、「かなり手を打ったよね」という段階に到達してから、テストを始める必要があるということ。問題が山積みであることが分かりきっている状態で、「う～んこの問題にはこういう仮説があってこういう解決をすることでこういう指標が何パーセント改善して……」みたいなことをやっていては、永遠に終わらない。
昨今のwebディレクターは「データ分析」「A/Bテスト」病にかかってしまい、考え方のスケールが小さくなっているのではないか。
僕が言いたいことは、この記事の主張に近いのかも。僕たちは ABテストに囚われすぎなのだと思う。ABテストに熱中していると、どうしても理屈っぽくなってしまう。目の前にあるデータをこねくり回して、「これはこうなんじゃないか？」みたいなことを延々とやってしまう。もちろんこれでも結果を残すことはできるんだけど、突飛もない「かいしんのいちげき」の前には無力である。
ともあれ、ABテストは、
大きな課題を解決するために、現在のパターンと大幅に変えたパターンを検証して、これからの大まかな方向性を決めるもの
もしくは、
ある程度最適化仕切った状態で、さらに指標を改善させるために現在のパターンと変更案を検証するもの
のどちらかで使用されるべき道具である、と考えている。
そもそも、ABテストは「勝者の道具」なのではないか
ABテストを含む、データドリブンによる最適化というのは、勝者のための手段なのではないだろうか？ 十分にトラフィックがあり、サンプル数を確保できる者が圧倒的に速度面で有利だ。
そうでない者でも ABテスト自体は可能だ。しかし、規模の大きい競合相手と同じように ABテストをしていても追いつくことができない。やはり、競合相手を追い抜くためには、抜本的に在り方を変えてしまうような革新性が必要なのではないだろうか。
ABテストが適していない場所もある
大幅な UI の変更というのは、ABテストのような手段を使わないで発表してしまうことが多い。というか、ABテストすることができない。UI はいわば製品の顔であり、そのようなものでテストするのは避けられる。
仮にテストができたとしても、ユーザーには現状維持バイアスが掛かるので、使い勝手や生産性など、あらゆる点において、オリジナルの UI が優れた結果を残すであろう。
Windows 8 の Modern UI や Apple の Liquid Glass というような、一般的には失敗作と位置づけられているものも、AB テストなんてしていないはずだ。
しかし、失敗作と言われているこれらのデザインも、間違いなく革新的なものだったし、後世のデザインに与えた影響は大きい。独創的で迷走してしまっているデザインはデザイナーの自慰行為とはよく言われるものの、そういった行為に近しいことをしないと、イノベーションが生まれないということを示されているように感じる。
ABテストについて詳しく知りたいなら「カバ本」を読もう
おすすめの本の紹介。
A/Bテスト実践ガイド 真のデータドリブンへ至る信用できる実験とは
通称「カバ本」と呼ばれている本である。なぜカバなのかというと、カバを意味する英単語 hippo と同じ頭文字で Highest Paid Person’s Opinion (最高給与所得者) という言葉にちなんでいる (と思われる。)。
かなり踏み込んだ領域まで話しているし、数学的な知識を要する部分もあるものの、一回さっと読んでみるだけでもかなり勉強になると思う。
