Paywall testen, ohne dich selbst zu täuschen
Paywall-Tests sind verlockend, weil kleine Änderungen große Wirkung auf den Umsatz haben können. Sie sind auch leicht falsch gemacht, besonders bei kleinen Apps mit wenig Traffic. Diese Anleitung zeigt eine Methode, die dich ehrlich hält. Sie baut auf Paywall-Design und Paywall-Platzierung auf.
Entscheide, welche Frage du stellst
Beginne mit einer Frage, formuliert als Vorhersage:
- „Wenn der Jahrestarif zuerst steht, steigen Jahreskäufe, ohne die Gesamt-Conversion zu senken.“
- „Eine dreitägige Testphase erhöht die zahlenden Konversionen nach der Testphase.“
- „Die Paywall nach dem ersten Ergebnis erhöht die Conversion, ohne die Abwanderung nach Tag 7 zu erhöhen.“
Kannst du die Vorhersage nicht formulieren, bist du nicht bereit zu testen.
Wähle die richtigen Kennzahlen
Hauptkennzahl: das, worum es in der Frage geht, normalerweise zahlende Nutzer pro Paywall-Aufruf oder pro neuem Nutzer.
Schutzkennzahlen: was nicht schlechter werden darf.
- Bindung an Tag 1, Tag 7 und Tag 30.
- Rückerstattungs- oder Kündigungsrate.
- Bewertungen und Stimmung der Rezensionen.
- Support-Anfragen.
Eine Variante, die erste Käufe erhöht, aber Rückerstattungen oder Ein-Stern-Bewertungen verdoppelt, ist ein Verlust. Bei Abos mit Testphase zeigt sich das echte Ergebnis oft erst Tage später (wenn die Testphase konvertiert), miss also das Endergebnis, nicht den Start der Testphase.
Randomisiere sauber
- Teile neue Nutzer zufällig in Gruppen und behalte jeden Nutzer den ganzen Test über in derselben Gruppe.
- Ändere pro Test eine Sache.
- Lass die Varianten gleichzeitig laufen. Diese Woche mit letzter Woche zu vergleichen mischt Saison, Aktionen und Store-Empfehlungen hinein.
- Schließe dich selbst, Tester und alle mit Sonderangebot aus.
Die meisten Abo-Werkzeuge und Remote-Konfigurationsdienste unterstützen das, oder du baust eine kleine Version selbst: Gruppe beim ersten Start zuweisen, speichern und mit jedem Ereignis protokollieren.
Wie lange und wie viele
Kleine Apps brauchen Geduld. Faustregeln:
- Mindestens eine volle Woche, besser zwei oder mehr, damit Werktage und Wochenenden zählen.
- Bei einem Abo mit Testphase läuft der Test weiter, bis die Ergebnisse der Testphase da sind.
- Brich nicht am ersten Tag ab, an dem eine Gruppe besser aussieht. Frühe Vorsprünge sind meist Rauschen.
- Hast du sehr wenige Paywall-Aufrufe pro Woche, sind große Änderungen testbar, kleine Feinheiten nicht. Eine Änderung von 2 % auf 2,2 % Conversion lässt sich mit einigen hundert Aufrufen nicht erkennen.
Nutze einen beliebigen Online-Rechner für Stichprobengrößen bei Anteilen, um zu sehen, wie viele Aufrufe pro Gruppe du für den gewünschten Unterschied bräuchtest. Liegt die Zahl weit über deinem Traffic, teste größere Änderungen oder nutze stattdessen qualitatives Feedback.
Verbinde Zahlen mit Menschen
Zahlen sagen dir, was passiert ist, nicht warum. Bitte einige Leute, die Paywall durchzugehen und laut zu denken: Was glauben sie zu kaufen, für wie viel, und wann wird abgebucht? Missverständnisse, die so auffallen, erklären ein schwaches Ergebnis meist besser als eine weitere Testrunde. Andere Entwickler sind dafür schnell; bei AppReviewX kannst du ein privates Review eines Paywall-Ablaufs anfragen.
Hüte dich vor diesen Fallen
- Hineinschauen und zu früh stoppen.
- Viele Dinge zugleich testen bei zu wenig Traffic.
- Start der Testphase als Umsatz zählen.
- Rückerstattungen und Bindung ignorieren.
- Dark Patterns, die den Test gewinnen und den Kunden verlieren: versteckte Schließen-Knöpfe, verwirrende Verlängerungsbedingungen, falsche Dringlichkeit. Sie können auch gegen Store-Regeln und Verbraucherrecht verstoßen.
- Verschiedene Store-Länder und Preise unbemerkt vermischt.
- Das Produkt während des Tests ändern.
Führe ein Protokoll
Halte Datum, Hypothese, Varianten mit Screenshots, Traffic, Ergebnis und Entscheidung fest. Nächstes Jahr weißt du nicht mehr, warum der Jahrestarif zuerst steht.
Checkliste
- Eine Frage, als Vorhersage formuliert.
- Hauptkennzahl plus Schutzkennzahlen.
- Zufällige Zuweisung, gleichzeitig, eine Änderung.
- Mindestens ein bis zwei Wochen; auf Ergebnisse der Testphase warten.
- Nötige Stichprobengröße prüfen.
- Einige qualitative Durchgänge ergänzen.
- Ergebnis und Entscheidung protokollieren.
Du brauchst Tester für deine App? Öffne eine Testgruppe bei AppReviewX. Kostenlos starten