効果測定

Shopify向け接客AIエージェントROI計算ツール

編集可能なShopify向け接客AIエージェントROI計算ツールをダウンロードし、支援経由の売上を因果的な増分効果と見なさずに、増分粗利益を見積もる方法を学べます。

小包とサービスベルを、無地の価値トークンと比べて量る天秤
イラスト:活動を成果と取り違えず、検証済みの価値とプログラムの総コストを比較します。

基本原則: 会話後にどれだけ売上が発生したかではなく、エージェントを利用できたことで何が変わったかを計算します。十分なデータがあるストアでは介入群と対照群を比較し、実際に回避できたサポートコストだけを加え、プログラムの総コストを差し引きます。

お客様は、商品選びや疑問の解決に必要な手助けを得られます。事業者には、その運用コストが増分価値を生んだことを示す根拠も必要です。

このガイドは、投資判断の根拠をつくるEC責任者、測定内容を検証する財務・分析担当者、現金支出の削減額を見積もるサポート運用チームを対象としています。

バイスカウト® 接客AIエージェントは、事業者のストア情報を使って販売とサポートの会話に対応できるよう設計されています。ただし、会話、アトリビューション対象の注文、解決済みの質問が存在するだけでは、増分価値の証明にはなりません。根拠を示せるROIモデルでは、活動と成果を分けます。

スプレッドシートのすべての入力値を、自社ストアのデータに置き換えてください。介入群と対照群それぞれのコンバージョン率、返品調整後注文額、利益率を入力できます。各群の対象セッション当たり粗利益、増分差、検証済みの現金支出削減額、プログラムコスト、ROIを計算し、二重計上を見つけるための監査項目も表示します。

編集可能な接客AIエージェントROI計算ツールをダウンロード

クイックスタート: ファイルをコピーし、ストアで実施できる最も確度の高い測定レベルを選び、黄色のセルを同一期間のストア記録で置き換えます。予算判断に結果を使う前に、すべての監査項目を確認してください。

このスプレッドシートと測定計画は判断を支援するツールであり、成果を約束するものではありません。

このガイドの内容

検証可能な価値の流れから始める

観測でき、独立して確認できる価値の流れから始めます。多くのShopify事業者が検討するのは、次の四つです。

価値の流れお客様の行動事業者が測定するものROIへの反映方法
コンバージョン質問し、選択肢を比較して、購入するか離脱する介入群と対照群の購入率の差増分注文だけを計上
注文額関連する追加商品、アップグレード、セットを受け入れる介入群と対照群の実績注文額の差注文採算が変わる場合、各群の対象セッション当たり利益で把握
カート回復支援を受けた後に戻って購入を完了する対照群に対する完了注文の増分すでにコンバージョン向上に含まれる場合は、その中にとどめる
サポート余力スタッフの対応なしで回答を得る実際に回避した支払対象時間または外注単位現金支出の削減を計上し、再配分した余力は別に記録

エンゲージメントは有用ですが、それ自体は価値の流れではありません。会話数、レコメンドのクリック数、回答評価、引き継ぎ件数は、体験の診断に役立ちます。これらをそのまま金額に換算してはいけません。

Shopifyの分析フィールドのリファレンスでは、平均注文額、粗利益、粗利率、商品コンバージョン率、カート追加率などの指標を定義しています。これらの定義を一貫して使ってください。計算ツールで分けて入力する対照群と介入群の対象注文当たり返品調整後注文額は、事業者が定義する計画入力値であり、ShopifyのAOVではありません。控除項目を明記し、両群に同じ基準を適用してください。

因果的ROIの計算式

最もシンプルで説明可能な販売効果のモデルは、接客AIエージェントを利用できる介入群と、利用できないホールドアウト群との差を使います。以下の簡略版は、共通の返品調整後注文額と利益率を前提としています。ダウンロード版のワークブックでは、その直後に示す、より一般的な対象セッション当たり粗利益の方法を実装しているため、対照群と介入群で採算が異なる場合にも対応できます。

モデル化した展開時の増分注文数
  = モデル化した対象セッション数
  ×(介入群のコンバージョン率 - 対照群のコンバージョン率)

返品調整後の増分売上
  = 増分注文数
  × 対象注文当たり共通の返品調整後注文額

増分粗利益
  = 返品調整後の増分売上
  × 粗利率

検証済みのサポートコスト削減額
  = 今後シフトを組まない、または外注しないサポート時間
  × 該当する諸経費込みの人件費、または委託先の時間単価

検証済みの総便益
  = 増分粗利益
  + 検証済みのサポートコスト削減額
  + 独立して検証したその他の現金支出削減額

純便益
  = 検証済みの総便益
  - 接客AIエージェントプログラムの総コスト

ROI
  = 純便益
  ÷ 接客AIエージェントプログラムの総コスト

実験期間の見積もりでは、最初の式に介入群のセッション数を使います。全面展開の予測では、対象になると見込まれる全セッションを使い、外挿であることを明記してください。率の差にテスト全体のサンプル数を掛け、それを観測された介入効果と呼んではいけません。

可能であれば、割引と予想返品を反映した返品調整後注文額を見積もり、その独自入力値をShopifyのAOVと言い換えないでください。Shopifyでは粗利益を、純売上高から売上原価を差し引いたものと定義しています。フルフィルメント、決済、その他の注文単位のコストが重要な場合は、代わりに貢献利益を使い、控除項目を記録します。

介入によって注文額、返品、商品構成が変わる場合は、コンバージョンと注文額を別々の加算効果として扱わないでください。各群で一つの成果指標を使う方が適切です。

モデル化した展開時の増分粗利益
  = モデル化した対象セッション数
  ×(介入群の対象セッション当たり粗利益
     - 対照群の対象セッション当たり粗利益)

手早く方向性を見るモデルでは、粗利率が妥当な出発点です。財務判断に耐えるモデルでは、貢献利益に置き換え、含めるコストを正確に記録してください。

運用担当者向けメモ: 元の入力値を結果の横に残してください。レビュー担当者がどの前提も変更でき、答えがすぐ更新される状態にします。

支援経由の売上は増分売上ではない

支援経由の注文は、お客様がエージェントと対話した後に発生した注文です。増分注文は、エージェントを利用できたからこそ発生した注文です。両者は一部重なりますが、同じではありません。

配送について質問して購入したお客様は、質問しなくても購入していたかもしれません。別のお客様は、後で別の端末から戻るかもしれません。アトリビューションは経路を説明しますが、対照群との比較は因果効果を推定します。

Shopifyは複数のマーケティングアトリビューションモデルに対応し、いずれかのクリックを対象にするアトリビューションでは、受注数を上回る貢献が割り当てられる場合があると説明しています。貢献売上は調査に役立ちますが、単独でROIの分子にするには信頼性が不十分です。

指標答えられる問い適切な用途不適切な用途
会話数お客様はエージェントを利用したか利用状況と対応余力の計画すべてのチャットにAOVを掛ける
支援経由の注文対話後に注文が発生したか購買経路の分析とセグメント化支援経由の売上をすべて増分と呼ぶ
貢献売上どの接点に貢献が割り当てられたかアトリビューション表示の比較貢献の割り当てを因果的な向上と見なす
介入群と対照群の差エージェントを利用できると何が変わったか増分売上の推定偏りや欠測データを無視する
粗利益商品原価を差し引いた後にどれだけ価値が残ったかROIの分子売上と粗利益を二つの便益として報告する

支援経由の売上はダッシュボードに残して構いません。ただし、因果ではなく記述的な指標だと正しく表示してください。

因果効果を示す前にホールドアウトを実施する

実務上最も確度の高い設計では、対象となるお客様を次の二つの体験のいずれかに無作為に割り当てます。

  • 介入群: 接客AIエージェントを利用できます。
  • 対照群: 接客AIエージェントを利用できません。

お客様が利用するかどうかを決める前に体験を割り当てます。チャットした人としなかった人を比べると、自己選択の影響を受けます。難しい質問がある人、購入意向が高い人、複雑なカートを持つ人ほど、チャットを開きやすい可能性があるためです。

割り当てを一貫して維持し、価格、プロモーション、トラフィック構成、テーマ、在庫を運用上可能な限り安定させます。避けられない変更は記録してください。

割付時点の全員を対象にする考え方を使い、エージェントを開いた人だけでなく、割り当てられた全員を測定します。

開始前に、次の項目を書き出します。

  • 対象者と主要成果。通常は購入率または対象セッション当たり粗利益です。
  • 返金率、キャンセル率、引き継ぎ率、応答時間、お客様からの苦情などのガードレール指標。
  • 割り当て方法、配分、予定期間、判断基準。
  • 大規模なプロモーション、在庫切れ、チェックアウト障害など、テストを無効にし得る事象。

最初に数値がプラスへ振れた時点で止めないでください。無作為なホールドアウトが実行できない場合は、段階的な展開または比較可能な期間の比較を使い、因果性が弱い結果であることを明記します。

データが限られるストア向けの測定レベル

測定レベルは、「小規模」「大規模」といった呼び方ではなく、予想される対象セッション数と購入件数から選びます。セッションが少なくてもリピート購入が多いストアは、トラフィックが多くても購入率が非常に低いストアより、利用できる情報が多い場合があります。

測定レベル適する状況測定するもの導ける結論
1. 運用パイロット安定したコンバージョン差を推定するには購入件数が少なすぎる回答精度、未解決質問率、引き継ぎ、苦情、応答時間、実際に削減できた有償サポートの工数や件数より大きなテストに進めるだけの安全性と有用性があるか。増分売上ROIではない
2. 段階的比較無作為割り当てはできないが、比較可能な期間、商品、市場がある展開前後の対象セッション当たり粗利益と同じガードレールプロモーション、在庫、季節性、トラフィックの変化を開示したうえでの方向性を示す関連性
3. 無作為ホールドアウト事前に定めた効果を評価できるだけの成果事象が見込まれる継続的な割り当てとガードレールを伴う、割付群ベースのコンバージョンまたは対象セッション当たり粗利益データ品質と統計的不確実性を条件とする、テスト対象集団内での因果効果の推定

サンプルサイズを決める前に、ストアの基準購入率、判断に値する最小効果、必要な信頼度、予定する配分を使って分析担当者に算出してもらいます。一般的なトラフィックのしきい値では、この問いに答えられません。レベル1だけが責任ある選択肢である場合は、運用上の価値を記録し、計算ツールの増分売上をゼロに保ちます。

計算ツールの入力値と参照データ

可能な限り、事業者自身のデータを使います。業界平均は、個々のカタログの採算を表す代替値として適していません。

入力値推奨する出典固定すべき定義
モデル化した対象セッション数割り当てログと展開予測実験見積もりでは介入群のセッション、明記した予測では展開時に見込まれる全セッション
対照群のコンバージョン率ホールドアウト注文数÷ホールドアウトセッション数介入群と同じ対象条件と注文ルール
介入群のコンバージョン率介入群注文数÷介入群セッション数チャットした人だけでなく、割り当てられた全員を含める
対照群の返品調整後注文額Shopifyの注文と財務上の前提割引、返金、キャンセル、税、配送の扱いを明記した後の、対象となる対照群注文当たりの事業者定義額。ShopifyのAOVと表示しない
介入群の返品調整後注文額Shopifyの注文と財務上の前提対象となる各介入群注文に適用する、同じ事業者定義の基準
対照群の粗利率または貢献利益率財務または商品原価の記録対照群と対象期間に含めるコスト
介入群の粗利率または貢献利益率財務または商品原価の記録観測または予測した介入群の商品構成に適用する同じコスト定義
回避した支払対象のサポート時間人員、委託先、チケットの記録理論上の対応時間ではなく、今後シフトに入れない、または外注しない時間
諸経費込みの時間単価給与または委託先データ賃金に該当する事業主負担とツール費用を加えた額
検証済みのその他の現金支出削減額請求書、人員、運用記録独立した証拠があり、別の行で計上されていない、今後発生しない現金支出
プログラムコスト請求書と社内工数ソフトウェア、設定、監視、コンテンツ、連携
ガードレール返品、苦情、応答時間、品質保証ROIがプラスでも判断を覆し得るしきい値

Shopifyの注文コンバージョンサマリーは、訪問や参照元の調査に役立ちますが、Cookieのブロック、ヘッドレスストアフロント、その他の注文経路によって制約を受ける場合があります。実験の割り当てに代わるものではありません。

エージェントを内製、購入、またはハイブリッドのプロジェクトとして評価する場合は、ROIを計算する前に内製か購入かを判断するガイドとTCOワークシートを使い、プログラムコストの入力値を確定します。

編集可能なROI計算ツールを使う

ROI計算ツールをダウンロード。コピーを作成して、Shopify、財務、割り当て、人員、委託先の記録から黄色の入力セルを埋めます。初期値はあくまで例示であり、業界ベンチマーク、バイスカウト® 接客AIエージェントの成果、約束ではありません。判断前に必ず置き換えてください。

  1. 期間と対象集団を設定します。 実験期間の見積もりには介入群のセッションを使います。対象となる全見込みセッションは、明確に表示した展開予測に限って使います。
  2. 各群の採算を入力します。 対照群と介入群に一貫した、事業者定義の返品調整後注文額を使い、続いて各群の粗利率または貢献利益率を入力します。ワークブックは、対照群、介入群、増分の対象セッション当たり粗利益を直接計算します。
  3. サポートの現金支出削減額を入力します。 今後シフトに入れない時間や外注しない単位だけを含めます。
  4. 独立して検証できた場合に限り、その他の現金支出削減額を加えます。 この行には、理論上の余力、支援経由の売上、別の場所ですでに把握した価値を入れないでください。
  5. プログラムの総コストを入力します。 同じ期間のソフトウェア、設定、連携、監視、コンテンツ保守、社内運用工数を含めます。
  6. 監査項目を確認します。 支援経由の売上、回復したカート、再配分した給与制社員の稼働余力を重ねて加えていないことを確認します。

ワークブックでは、ソフトウェアと委託先のサブスクリプション、社内の設定と監視、その他のプログラムコストを分けています。その他のプログラムコストには、連携、請負業者、外部サービス、コンテンツ保守、または最初の二行に含まれない同期間のコストを入力してください。

ワークブックは、対照群と介入群の対象セッション当たり粗利益、増分粗利益、検証済みのサポート現金支出削減額、総便益、純便益、ROIを計算します。空欄は、コストや効果がゼロである証拠ではありません。予算判断に結果を使う前に、重要な空欄を解消してください。

無作為実験を実施できない場合でも、同じスプレッドシートに方向性を示す見積もりを記録できます。因果的ROIとして示すのではなく、結果の横に手法と限界を明記します。

仮定の計算例

計算方法を示すための例に限ります: これらの入力値は、ベンチマーク、バイスカウト® 接客AIエージェントの成果、他のストアの予測ではありません。

ある事業者が10,000件の対象セッションをモデル化するとします。対照群のコンバージョン率は2.0%、介入群は2.2%です。両群で、返品調整後注文額80ドルと粗利率50%を使います。対象セッション当たり粗利益は、対照群が0.80ドル、介入群が0.88ドルです。10,000件のセッションにわたる0.08ドルの差から、800ドルの増分粗利益が生じます。

人員記録から、支払対象のサポートコストを300ドル回避したことも確認できれば、検証済みの総便益は1,100ドルです。同じ期間にソフトウェアと委託先のコスト600ドル、社内の設定と監視200ドル、その他のプログラムコスト0ドルが含まれる場合、プログラムの総コストは800ドルです。したがって、純便益は300ドル、ROIは37.5%(300ドル÷800ドル)です。前提や証拠の状態が変われば、結論もそれに応じて更新しなければなりません。

二重計上を防ぐ六つのルール

二重計上を防ぐには、次のルールを使います。

  1. 注文は一度だけ計上します。 回復したカートが介入群と対照群のコンバージョン差に含まれる場合、回復したカートの売上を再度加えてはいけません。
  2. 売上か利益かを選びます。 増分売上は中間段階です。ROIに使う価値は、その結果として得られる粗利益または貢献利益です。
  3. コンバージョンと注文額を分けます。 テストで対象セッション当たり粗利益を直接推定する場合、独立したコンバージョン効果と注文額効果をさらに加えてはいけません。
  4. 自動回答をすべて金額換算しません。 諸経費込みの人件費が有効なのは、今後支払わなくなった、または購入しなくなった時間だけです。再配分した給与制社員の時間は余力として扱い、その成果を金額換算するのは、独立して測定され、別の場所に含まれていない場合に限ります。
  5. 割引と返品を差し引きます。 高額なインセンティブによる売上や、その後返品された売上は、チェックアウト時の金額ほどの価値がありません。
  6. アトリビューションを因果的な合計の外に置きます。 支援経由の売上とアトリビューション売上は仕組みの説明には使えますが、実験で得た向上分には加えません。

有効な監査の問いは、「同じ注文、時間、金額が別の行にも現れていないか」です。当てはまる場合は統合します。

計測上の欠落を明示的に扱う

ShopifyアナリティクスとGoogle Analyticsは、定義が異なり、JavaScript、Cookie、ブロッカー、タイムゾーン、プライバシー設定、接続状況の影響を受けるため、数値が異なる場合があります。Shopifyの差異に関するガイダンスを確認し、一つの割り当てシステムを実験の信頼できる唯一の情報源として選び、完了注文をShopifyの取引記録と照合してください。

測定できなかった対象トラフィックの割合を記録し、その結果がどの集団を表すかを説明します。同意を回避したり、生の会話文、メールアドレス、電話番号、その他の個人を特定できる情報を分析ツールへ送ったりしてはいけません。Google Analyticsでは個人を特定できる情報の収集を禁止しています

結果を無効にし得る失敗パターン

二重計上の監査後も、結果の信頼性を損ない得る設計上・運用上の失敗がないか確認します。

  • 介入群と対照群で、対象条件、注文、利益率の定義を変える。
  • プロモーション、在庫切れ、トラフィック構成、テーマ変更、障害が一方の群に与えた影響を、偏りとして記録しない。
  • 最初に数値がプラスへ振れた時点で終了する、または都合のよい日付やセグメントだけを選ぶ。
  • あるカテゴリーの利益率を、商品構成が大きく異なる介入群に適用する。
  • 割り当て対象の欠落や分析定義の不一致を定量化しない。
  • 財務結果がプラスという理由で、ページ速度の低下、質の低い回答、苦情、安全でない主張、過剰な引き継ぎを無視する。

ROIだけが判断基準ではありません。短期的な粗利益を増やしても、安全でない主張やサポート体験の悪化を招く介入は、変更せずに公開すべきではありません。

月次レビューのチェックリスト

最初の実験後は、次の運用チェックリストを使います。

  • 一貫した定義でコンバージョンと粗利益を再計算する。
  • 介入群と対照群を比較するか、適切な場合は小規模な継続ホールドアウトを維持する。
  • 割引、返金、キャンセル、商品原価を照合する。
  • 人員または委託先の記録でサポート時間を検証する。
  • 回答精度、引き継ぎ、応答時間、苦情を確認する。
  • カタログ、在庫、ポリシーの変更が結果に影響したか確認する。
  • 同意の対象範囲と計測上の欠落を記録する。
  • 社内運用工数を含めてプログラムコストを更新する。
  • 計算ツールの前提、証拠へのリンク、分析期間を更新する。

運用担当者向けメモ: 月次レビューは、グラフを作るだけでなく、具体的な判断につなげます。不足しているナレッジを改善する、ガードレールを変更する、効果の高いユースケースを拡大する、リスクのあるものを停止するといった判断です。

関連記事

ROIを主張する前に計算する

範囲を絞ったユースケースから始め、データが許す場合は対照群を維持し、支援経由の売上を示す見出しではなく、粗利益とお客様の成果をもとに拡大対象を決めます。

編集可能なROI計算ツールをダウンロード

自社カタログで基礎となる体験を試すには、バイスカウト® 接客AIエージェントの詳細を見るか、現在の料金を確認してください。バイスカウト® 接客AIエージェントは特定のROIを保証しません。成果はストア、カタログ、トラフィック、利益率、実装、測定設計によって異なります。

その他の記事

すべての記事

今すぐ試す

販売支援の効果を見極めやすく

ずっと無料。1分でセットアップ。