ROI-Rechner für KI-Shop-Agenten auf Shopify

Die Grundregel: Berechne, was sich verändert hat, weil der Agent verfügbar war – nicht, wie viel Umsatz nach einem Gespräch erzielt wurde. Nutze einen Vergleich zwischen Test- und Kontrollgruppe, wenn dein Shop genügend Daten hat, addiere nur tatsächlich vermiedene Supportkosten und ziehe die vollständigen Programmkosten ab.

Ein Shopper erhält Hilfe bei der Produktauswahl oder bei der Klärung einer Frage. Als Händler brauchst du zusätzlich Belege dafür, dass die Betriebskosten einen zusätzlichen Nutzen erzeugen.

Dieser Leitfaden richtet sich an E-Commerce-Verantwortliche, die den Business Case erstellen, an Finanz- und Analytics-Teams, die die Messung prüfen, sowie an Supportteams, die zahlungswirksame Einsparungen schätzen.

Der BuyScout® KI-Shop-Agent ist darauf ausgelegt, Verkaufs- und Supportgespräche anhand der Shop-Informationen eines Händlers zu führen. Doch weder ein Gespräch noch eine zugeordnete Bestellung oder eine gelöste Frage beweist einen zusätzlichen Nutzen. Ein belastbares ROI-Modell trennt Aktivität von Wirkung.

Ersetze in der Tabelle jede Eingabe durch Daten aus deinem eigenen Shop. Sie verarbeitet getrennte Conversion-Raten für Test- und Kontrollgruppe, retourenbereinigte Bestellwerte und Margen. Daraus berechnet sie für jede Gruppe den Rohertrag je qualifizierter Sitzung, die zusätzliche Differenz, nachgewiesene zahlungswirksame Einsparungen, Programmkosten und ROI. Gleichzeitig weisen Prüfschritte auf mögliche Doppelzählungen hin.

Bearbeitbaren ROI-Rechner für KI-Shop-Agenten herunterladen

Schnellstart: Erstelle eine Kopie, wähle die aussagekräftigste Messstufe, für die dein Shop eine zuverlässige Datengrundlage bietet, ersetze die gelben Zellen durch Shop-Daten aus demselben Zeitraum und prüfe jeden Kontrollhinweis, bevor du das Ergebnis für eine Budgetentscheidung nutzt.

Die Tabelle und dieser Messplan sind Entscheidungshilfen, keine Ergebnisversprechen.

In diesem Leitfaden

• Wertbeiträge und kausale Formel
• Kontrollgruppendesign und Messstufen
• Eingaben, Rechner und Rechenbeispiel
• Schutz vor Doppelzählung und Tracking-Fehlern
• Monatliche Betriebsprüfung

Mit nachprüfbaren Wertbeiträgen beginnen

Beginne mit Wertbeiträgen, die sich beobachten und unabhängig prüfen lassen. Für die meisten Shopify-Händler sind vier Bereiche relevant:

Interaktion ist nützlich, aber für sich genommen kein Wertbeitrag. Gespräche, Klicks auf Empfehlungen, Antwortbewertungen und Übergaben helfen dabei, das Erlebnis zu beurteilen. Sie sollten nicht direkt in Geld umgerechnet werden.

Shopifys Referenz zu Analytics-Feldern definiert Kennzahlen wie durchschnittlichen Bestellwert, Rohertrag, Bruttomarge, Produkt-Conversion-Rate und Rate der Warenkorbzugänge. Verwende diese Definitionen einheitlich. Die im Rechner getrennt erfassten retourenbereinigten Bestellwerte je einbezogener Bestellung für Kontroll- und Testgruppe sind vom Händler definierte Planungseingaben und nicht der Shopify-AOV. Benenne die enthaltenen Abzüge und nutze für beide Gruppen dieselbe Grundlage.

Die kausale ROI-Formel

Das einfachste belastbare Verkaufsmodell nutzt die Differenz zwischen einer Testgruppe, in der der KI-Shop-Agent verfügbar ist, und einer Kontrollgruppe, in der er nicht verfügbar ist. Die vereinfachte Variante unten setzt einen gemeinsamen retourenbereinigten Bestellwert und eine gemeinsame Marge voraus. Die herunterladbare Arbeitsmappe verwendet die direkt danach gezeigte allgemeinere Methode des Rohertrags je qualifizierter Sitzung, sodass sich die wirtschaftlichen Kennzahlen von Kontroll- und Testgruppe unterscheiden können.

zusätzliche Bestellungen beim modellierten Rollout
  = modellierte qualifizierte Sitzungen
  × (Conversion-Rate der Testgruppe - Conversion-Rate der Kontrollgruppe)

zusätzlicher retourenbereinigter Umsatz
  = zusätzliche Bestellungen
  × gemeinsamer retourenbereinigter Bestellwert je einbezogener Bestellung

zusätzlicher Rohertrag
  = zusätzlicher retourenbereinigter Umsatz
  × Bruttomarge

nachgewiesene Einsparungen bei Supportkosten
  = bezahlte Supportstunden, die nicht mehr eingeplant oder eingekauft werden
  × anwendbare Vollkosten oder Kosten des Dienstleisters pro Stunde

gesamter nachgewiesener Nutzen
  = zusätzlicher Rohertrag
  + nachgewiesene Einsparungen bei Supportkosten
  + andere unabhängig nachgewiesene zahlungswirksame Einsparungen

Nettonutzen
  = gesamter nachgewiesener Nutzen
  - Gesamtkosten des KI-Shop-Agent-Programms

ROI
  = Nettonutzen
  ÷ Gesamtkosten des KI-Shop-Agent-Programms

Für eine Schätzung des Testzeitraums verwendest du in der ersten Zeile die Sitzungen der Testgruppe. Für eine Hochrechnung auf den vollständigen Rollout verwendest du alle voraussichtlich qualifizierten Sitzungen und kennzeichnest die Extrapolation. Multipliziere die Ratendifferenz niemals mit der kombinierten Teststichprobe und bezeichne das Ergebnis als beobachteten Effekt der Testgruppe.

Schätze den retourenbereinigten Bestellwert nach Rabatten und erwarteten Retouren, soweit möglich, und bezeichne diese individuelle Eingabe nicht als Shopify-AOV. Shopify definiert den Rohertrag als Nettoumsatz abzüglich der Kosten der verkauften Waren. Wenn Fulfillment-, Zahlungs- oder andere bestellbezogene Kosten relevant sind, verwende stattdessen den Deckungsbeitrag und dokumentiere diese Abzüge.

Wenn die Testgruppe Bestellwert, Retouren oder Produktmix verändert, solltest du Conversion- und Bestellwertbeiträge nicht getrennt addieren. Nutze vorzugsweise eine Kennzahl auf Gruppenebene:

zusätzlicher Rohertrag beim modellierten Rollout
  = modellierte qualifizierte Sitzungen
  × (Rohertrag der Testgruppe je qualifizierter Sitzung
     - Rohertrag der Kontrollgruppe je qualifizierter Sitzung)

Für ein schnelles Richtungsmodell ist die Bruttomarge ein sinnvoller Ausgangspunkt. Für ein finanziell belastbares Modell ersetzt du sie durch den Deckungsbeitrag und dokumentierst genau, welche Kosten enthalten sind.

Hinweis für Betreiber: Bewahre die Rohdaten direkt neben dem Ergebnis auf. Prüfer sollten jede Annahme ändern und sofort sehen können, wie sich das Ergebnis aktualisiert.

Begleiteter Umsatz ist kein zusätzlicher Umsatz

Eine begleitete Bestellung erfolgte, nachdem ein Shopper mit dem Agenten interagiert hatte. Eine zusätzliche Bestellung erfolgte, weil der Agent verfügbar war. Diese Gruppen überschneiden sich, sind aber nicht identisch.

Ein Shopper, der eine Versandfrage stellt und anschließend kauft, hätte möglicherweise ohnehin bestellt. Ein anderer kehrt vielleicht später auf einem anderen Gerät zurück. Attribution beschreibt einen Pfad, während der Vergleich mit einer Kontrollgruppe die Kausalität schätzt.

Shopify unterstützt verschiedene Modelle der Marketing-Attribution und weist darauf hin, dass Any-Click-Attribution mehr Zuordnung vornehmen kann, als Bestellungen eingegangen sind. Zugeordnete Umsätze helfen bei der Analyse, sind als alleiniger ROI-Zähler jedoch ungeeignet.

Belasse den begleiteten Umsatz im Dashboard. Kennzeichne ihn nur korrekt: beschreibend, nicht kausal.

Vor kausaler Zuschreibung eine Kontrollgruppe einsetzen

Das aussagekräftigste praxistaugliche Design weist qualifizierte Shopper zufällig einer von zwei Erlebnisvarianten zu:

• Testgruppe: Der KI-Shop-Agent ist verfügbar.
• Kontrollgruppe: Der KI-Shop-Agent ist nicht verfügbar.

Weise die Erlebnisvariante zu, bevor der Shopper entscheidet, ob er interagiert. Wer Personen mit Chat mit Personen ohne Chat vergleicht, misst Selbstselektion: Menschen mit schwierigen Fragen, hoher Kaufabsicht oder komplexen Warenkörben öffnen den Chat möglicherweise häufiger.

Halte die Zuordnung dauerhaft stabil und stabilisiere Preise, Aktionen, Traffic-Mix, Theme und Bestand so weit, wie es der Betrieb zulässt. Dokumentiere unvermeidbare Änderungen.

Nutze einen Intention-to-treat-Ansatz: Miss alle zugewiesenen Personen, nicht nur diejenigen, die den Agenten geöffnet haben.

Halte vor dem Start Folgendes fest:

• Die qualifizierte Zielgruppe und das primäre Ergebnis, meist Kaufrate oder Rohertrag je qualifizierter Sitzung.
• Kontrollkennzahlen wie Erstattungsquote, Stornoquote, Übergabequote, Antwortlatenz und Beschwerden von Shoppern.
• Zuordnungsmethode, Aufteilung, geplante Dauer und Entscheidungsregel.
• Ereignisse, die den Test ungültig machen können, etwa eine große Aktion, ein Ausverkauf oder ein Checkout-Ausfall.

Beende den Test nicht beim ersten positiven Ausschlag. Wenn eine randomisierte Kontrollgruppe nicht machbar ist, nutze einen stufenweisen Rollout oder einen vergleichbaren Zeitraum und kennzeichne das Ergebnis als weniger aussagekräftig für kausale Schlussfolgerungen.

Messstufen für Shops mit begrenzter Datenbasis

Wähle die Messstufe anhand der erwarteten Anzahl qualifizierter Sitzungen und Käufe – nicht anhand von Bezeichnungen wie „klein“ oder „groß“. Ein Shop mit wenigen Sitzungen, aber häufigen Wiederholungskäufen kann mehr verwertbare Informationen liefern als ein Shop mit mehr Traffic und einer sehr niedrigen Kaufrate.

Bevor du eine Stichprobengröße festlegst, sollte ein Analyst anhand der Ausgangskaufrate des Shops, des kleinsten entscheidungsrelevanten Effekts, der gewünschten Sicherheit und der geplanten Aufteilung eine Berechnung durchführen. Ein allgemeiner Traffic-Schwellenwert kann diese Frage nicht beantworten. Wenn Stufe 1 die einzige verantwortbare Option ist, erfasse den betrieblichen Nutzen und setze den zusätzlichen Umsatz im Rechner auf null.

Eingaben für den Rechner und Quelldaten

Nutze nach Möglichkeit Händlerdaten. Branchendurchschnitte bilden die Wirtschaftlichkeit eines konkreten Katalogs nur schlecht ab.

Shopifys Zusammenfassung der Bestell-Conversion hilft bei der Untersuchung von Besuchen und Verweisquellen, kann jedoch durch blockierte Cookies, Headless-Storefronts oder andere Bestellwege eingeschränkt sein. Sie ersetzt nicht die Zuordnung im Experiment.

Wenn der Agent als Eigenentwicklung, Kauf- oder Hybridprojekt bewertet wird, ermittle mit dem Leitfaden „Eigenentwicklung oder Kauf“ und der TCO-Arbeitsvorlage zunächst die Programmkosten, bevor du den ROI berechnest.

Den bearbeitbaren ROI-Rechner verwenden

Lade den ROI-Rechner herunter, erstelle eine Kopie und fülle die gelben Eingabezellen mit Daten aus Shopify-, Finanz-, Zuordnungs-, Personal- und Dienstleisterunterlagen aus. Die Startwerte dienen ausdrücklich nur zur Veranschaulichung – sie sind weder Branchenbenchmarks noch Ergebnisse des BuyScout® KI-Shop-Agenten oder Versprechen – und müssen vor einer Entscheidung ersetzt werden.

1. Zeitraum und qualifizierte Population festlegen. Verwende für eine Schätzung des Testzeitraums die Sitzungen der Testgruppe. Nutze alle erwarteten qualifizierten Sitzungen nur für eine klar gekennzeichnete Rollout-Hochrechnung.
2. Wirtschaftliche Kennzahlen der Gruppen eingeben. Verwende einheitliche, vom Händler definierte retourenbereinigte Bestellwerte für Kontroll- und Testgruppe und trage anschließend die Brutto- oder Deckungsbeitragsmarge jeder Gruppe ein. Die Arbeitsmappe berechnet den Rohertrag je qualifizierter Sitzung für Kontroll- und Testgruppe sowie die zusätzliche Differenz direkt.
3. Zahlungswirksame Supporteinsparungen eingeben. Berücksichtige nur bezahlte Stunden oder ausgelagerte Einheiten, die nicht mehr eingeplant oder eingekauft werden.
4. Andere zahlungswirksame Einsparungen nur bei unabhängigem Nachweis hinzufügen. Verwende diese Zeile nicht für theoretische Kapazität, begleiteten Umsatz oder bereits anderweitig erfassten Wert.
5. Vollständige Programmkosten eingeben. Berücksichtige Software, Einrichtung, Integration, Überwachung, Inhaltspflege und interne Betriebszeit für denselben Zeitraum.
6. Kontrollhinweise prüfen. Stelle sicher, dass begleiteter Umsatz, zurückgewonnene Warenkörbe und umverteilte Kapazität angestellter Mitarbeitender nicht erneut addiert wurden.

Die Arbeitsmappe trennt Software- und Dienstleisterabonnements, interne Einrichtung und Überwachung sowie andere Programmkosten. Nutze Andere Programmkosten für Integration, Auftragnehmer, externe Dienste, Inhaltspflege oder andere Kosten im betreffenden Zeitraum, die in den ersten beiden Zeilen nicht erfasst sind.

Die Arbeitsmappe berechnet Rohertrag je qualifizierter Sitzung für Kontroll- und Testgruppe, zusätzlichen Rohertrag, nachgewiesene zahlungswirksame Supporteinsparungen, Gesamtnutzen, Nettonutzen und ROI. Eine leere Eingabe ist kein Beleg für null Kosten oder null Wirkung. Kläre wesentliche Lücken, bevor du das Ergebnis für eine Budgetentscheidung nutzt.

Wenn kein randomisiertes Experiment möglich ist, kann dieselbe Tabelle eine richtungsweisende Schätzung erfassen. Kennzeichne Methode und Einschränkungen direkt neben dem Ergebnis, statt es als kausalen ROI darzustellen.

Hypothetisches Rechenbeispiel

Nur zur Veranschaulichung der Berechnung: Diese Eingaben sind weder ein Benchmark noch ein Ergebnis des BuyScout® KI-Shop-Agenten oder eine Prognose für einen anderen Shop.

Angenommen, ein Händler modelliert 10.000 qualifizierte Sitzungen. Die Kontrollgruppe erreicht eine Conversion-Rate von 2,0 %, die Testgruppe 2,2 %. Beide Gruppen verwenden einen retourenbereinigten Bestellwert von 80 US-Dollar und eine Bruttomarge von 50 %. Der Rohertrag je qualifizierter Sitzung beträgt in der Kontrollgruppe 0,80 US-Dollar und in der Testgruppe 0,88 US-Dollar. Die Differenz von 0,08 US-Dollar ergibt über 10.000 Sitzungen einen zusätzlichen Rohertrag von 800 US-Dollar.

Wenn Personalunterlagen zusätzlich 300 US-Dollar an vermiedenen bezahlten Supportkosten belegen, beträgt der nachgewiesene Gesamtnutzen 1.100 US-Dollar. Fallen im selben Zeitraum 600 US-Dollar für Software und Dienstleister, 200 US-Dollar für interne Einrichtung und Überwachung sowie 0 US-Dollar für andere Programmkosten an, betragen die gesamten Programmkosten 800 US-Dollar. Der Nettonutzen liegt somit bei 300 US-Dollar und der ROI bei 37,5 % (300 US-Dollar ÷ 800 US-Dollar). Ändert sich eine Annahme oder der Nachweisstatus, muss sich auch das Ergebnis entsprechend ändern.

Sechs Regeln gegen Doppelzählungen

Mit diesen Regeln vermeidest du Doppelzählungen:

1. Jede Bestellung nur einmal zählen. Wenn zurückgewonnene Warenkörbe bereits in der Conversion-Differenz zwischen Test- und Kontrollgruppe enthalten sind, darf ihr Umsatz nicht erneut addiert werden.
2. Zwischen Umsatz und Ertrag entscheiden. Zusätzlicher Umsatz ist ein Zwischenschritt. In den ROI fließt der daraus entstehende Brutto- oder Deckungsbeitrag ein.
3. Conversion und Bestellwert trennen. Wenn der Test den Rohertrag je qualifizierter Sitzung direkt schätzt, darfst du nicht zusätzlich unabhängige Conversion- und Bestellwertbeiträge addieren.
4. Nicht jede automatisierte Antwort monetarisieren. Vollständige Arbeitskosten sind nur für Stunden gültig, die nicht mehr bezahlt oder eingekauft werden. Behandle anderweitig eingesetzte Arbeitszeit angestellter Mitarbeitender als Kapazität. Monetarisiere deren Ergebnis nur, wenn es unabhängig gemessen und nicht bereits anderswo erfasst wurde.
5. Rabatte und Retouren abziehen. Der tatsächliche Wert eines Verkaufs, der durch einen teuren Anreiz zustande kommt oder retourniert wird, entspricht nicht seinem Checkout-Wert.
6. Attribution außerhalb der kausalen Summe halten. Begleiteter und zugeordneter Umsatz können den Mechanismus erklären, werden aber nicht zum experimentellen Uplift addiert.

Eine hilfreiche Prüffrage lautet: „Könnte dieselbe Bestellung, Stunde oder derselbe Geldbetrag in einer anderen Zeile auftauchen?“ Wenn ja, fasse die Posten zusammen.

Tracking-Lücken ausdrücklich berücksichtigen

Shopify Analytics und Google Analytics können voneinander abweichen, weil sie unterschiedliche Definitionen verwenden und durch JavaScript, Cookies, Blocker, Zeitzonen, Datenschutzeinstellungen und Verbindungsprobleme beeinflusst werden. Lies Shopifys Hinweise zu Abweichungen, lege ein Zuordnungssystem als verlässliche Quelle für das Experiment fest und gleiche abgeschlossene Bestellungen mit den Transaktionsdaten von Shopify ab.

Erfasse den Anteil des qualifizierten Traffics, der nicht gemessen werden konnte, und beschreibe die Population, für die das Ergebnis gilt. Umgehe keine Einwilligungsvorgaben und übermittle weder rohe Gesprächsinhalte noch E-Mail-Adressen, Telefonnummern oder andere erkennbare personenbezogene Daten an Analytics-Tools. Google Analytics untersagt die Erfassung personenbezogener Daten.

Fehlerquellen, die das Ergebnis ungültig machen können

Prüfe nach der Kontrolle auf Doppelzählungen auch Design- und Betriebsfehler, die das Ergebnis weiterhin unzuverlässig machen können:

• Unterschiedliche Definitionen für Qualifizierung, Bestellung oder Marge in Test- und Kontrollgruppe verwenden.
• Aktionen, Ausverkäufe, Traffic-Mix, Theme-Änderungen oder Ausfälle eine Gruppe beeinflussen lassen, ohne das Ungleichgewicht zu dokumentieren.
• Beim ersten positiven Ausschlag abbrechen oder nur günstige Zeiträume oder Segmente auswählen.
• Die Marge einer Kategorie auf einen deutlich anderen Produktmix der Testgruppe anwenden.
• Fehlende Abdeckung bei der Zuordnung oder Konflikte zwischen Analytics-Definitionen nicht quantifizieren.
• Langsamere Seiten, schlechte Antworten, Beschwerden, unsichere Aussagen oder übermäßige Übergaben ignorieren, weil das finanzielle Ergebnis positiv ist.

Der ROI ist nicht das einzige Entscheidungskriterium. Eine Testvariante, die den kurzfristigen Rohertrag steigert, dabei aber unsichere Aussagen oder ein schlechteres Supporterlebnis erzeugt, sollte nicht unverändert ausgerollt werden.

Checkliste für die monatliche Prüfung

Nutze diese Betriebscheckliste nach dem ersten Experiment:

• Conversion und Rohertrag mit einheitlichen Definitionen neu berechnen.
• Test- und Kontrollgruppe vergleichen oder, wo sinnvoll, eine kleine dauerhafte Kontrollgruppe beibehalten.
• Rabatte, Erstattungen, Stornierungen und Produktkosten abgleichen.
• Supportstunden anhand von Personal- oder Dienstleisterunterlagen prüfen.
• Antwortgenauigkeit, Übergaben, Latenz und Beschwerden prüfen.
• Prüfen, ob Änderungen an Katalog, Bestand oder Richtlinien die Ergebnisse beeinflusst haben.
• Abdeckung der Einwilligungen und Tracking-Lücken erfassen.
• Programmkosten um interne Betriebszeit aktualisieren.
• Annahmen, Nachweislinks und Analysezeitraum im Rechner aktualisieren.

Hinweis für Betreiber: Eine monatliche Prüfung sollte Entscheidungen hervorbringen, nicht nur Diagramme. Verbessere schwaches Wissen, passe eine Kontrollkennzahl an, weite einen erfolgreichen Anwendungsfall aus oder pausiere einen riskanten.

Weiterführende Artikel

• Kundenfragen nutzen, um Shopify-Produktseiten zu verbessern
• Konversationelle KI-Produktempfehlungen für Shopify
• Shopify-KI-Shop-Agent: Eigenentwicklung oder Kauf

ROI erst berechnen, dann belegen

Beginne mit einem eng umrissenen Anwendungsfall, behalte eine Kontrollgruppe bei, wenn die Datenlage es zulässt, und lass Rohertrag und Shopper-Ergebnisse – nicht Schlagzeilen zum begleiteten Umsatz – darüber entscheiden, was du ausweitest.

Bearbeitbaren ROI-Rechner herunterladen

Wenn du das zugrunde liegende Erlebnis mit deinem eigenen Katalog testen möchtest, kannst du den BuyScout® KI-Shop-Agenten entdecken oder aktuelle Preise ansehen. Der BuyScout® KI-Shop-Agent garantiert keinen bestimmten ROI. Die Ergebnisse hängen vom Shop, Katalog, Traffic, den Margen, der Umsetzung und dem Messdesign ab.