4 Αρχές για τον υπολογισμό του πειραματισμού

Για πάνω από δύο χρόνια είμαι Επιστήμονας δεδομένων στην ομάδα ανάπτυξης στο Airbnb. Όταν ξεκίνησα για πρώτη φορά στην εταιρεία, εκτελέσαμε λιγότερα από 100 πειράματα σε μια δεδομένη εβδομάδα. Τώρα τρέχουμε περίπου 700. Καθώς όσοι από εμάς στο Growth γνωρίζουμε πολύ καλά, τέτοια ανάπτυξη δεν συμβαίνει οργανικά. Αντ 'αυτού, προκύπτει μέσω της καλλιέργειας. Για εμάς, αυτό σήμαινε όχι μόνο την οικοδόμηση των σωστών εργαλείων, όπως το εσωτερικό μας Πλαίσιο Αναφοράς Πειραμάτων [ERF], αλλά και τη διαμόρφωση ενεργού μιας ισχυρής κουλτούρας πειραματισμού σε όλες τις λειτουργίες. Εδώ συνοψίζω τέσσερις βασικές αρχές που διέπουν τη δουλειά μας και έχουν οδηγήσει σε βαθμιαίες αλλαγές στον αντίκτυπο του πειραματισμού στην επιχείρησή μας:

  1. Ο πειραματισμός προϊόντων πρέπει να βασίζεται σε υπόθεση,
  2. Ο καθορισμός του κατάλληλου «εκτεθειμένου πληθυσμού» είναι υψίστης σημασίας,
  3. Η κατανόηση της δύναμης είναι απαραίτητη, και
  4. Η αποτυχία είναι μια ευκαιρία.

Η άσκηση αυτών των αρχών δεν θα εξοικονομήσει μόνο έναν οργανισμό χρόνο και χρήμα, αλλά θα επιτρέψει απίστευτη εικόνα στους χρήστες και το προϊόν σας.

Ο πειραματισμός προϊόντος πρέπει να είναι υπόθεση- και όχι βάσει χαρακτηριστικών

Έχουμε απίστευτο μηχανικό ταλέντο στην Airbnb. Αυτό σημαίνει ότι είναι εύκολο να δημιουργήσετε ένα χαρακτηριστικό, αλλά αυτό δεν σημαίνει ότι πρέπει να είναι κατασκευασμένο, ή ότι το προϊόν θα είναι απαραίτητα καλύτερο λόγω αυτού. Στην ομάδα ανάπτυξης στο Airbnb, ξεκινάμε πάντα με την ερώτηση, "Τι λένε τα δεδομένα;" Εάν δεν κάνετε αυτήν την ερώτηση, ακολουθείτε μια απίστευτα αναποτελεσματική στρατηγική βελτιστοποίησης προϊόντων. Αν πρέπει να μαντέψετε, βάζετε το καροτσάκι πριν από το άλογο και πρέπει να κάνετε περισσότερη δουλειά πριν πειραματιστείτε.

Γιατί έχουν σημασία οι υποθέσεις; Χωρίς αυτά είστε αδέσμευτοι, αποσπάστε εύκολα από αυτά που φαίνεται να είναι θετικά αποτελέσματα, αλλά θα μπορούσαν να είναι στατιστικά προβλήματα. Σε αυτήν την περίπτωση είναι εύκολο να φτιάξετε μια ιστορία που ταιριάζει στα ευρήματά σας σε αντίθεση με το να κάνετε τη σκληρή δουλειά για να καταλάβετε τι συμβαίνει. Τα πράγματα μπορεί να σας εκπλήξουν - αφήστε τα! Εάν υπάρχει κάτι που δεν καταλαβαίνουμε, συνήθως ενημερώνουμε τις υποθέσεις μας και προσθέτουμε μετρήσεις για σαφήνεια κατά τη διάρκεια της πτήσης, καθώς ο αγωγός πειραματισμού τις ενσωματώνει με ευκολία.

Για παράδειγμα, η ομάδα μου πραγματοποίησε ένα πείραμα χρησιμοποιώντας μια νέα υπηρεσία μετάφρασης στον ιστό και στις εγγενείς εφαρμογές μας. Φυσικά, υποθέσαμε ότι αυτή η νέα και βελτιωμένη υπηρεσία θα αυξήσει τη μετατροπή και για τις δύο πλατφόρμες. Διαπιστώσαμε ότι η μετατροπή κρατήσεων στις εγγενείς εφαρμογές μας αυξήθηκε στην ομάδα πειραμάτων, αλλά δεν καταλάβαμε γιατί κάτι παρόμοιο δεν συνέβαινε στον ιστό. Αφού προβληματίσαμε, υποθέσαμε ότι αυτό οφειλόταν σε αλλαγή προϊόντος από μια άλλη ομάδα, σύμφωνα με την οποία οι επισκέπτες στις εγγενείς εφαρμογές μας ήταν πιο πιθανό να χρησιμοποιούν την υπηρεσία μετάφρασης από αυτούς στον ιστό. Προσθέσαμε ένα μέτρο για αυτό και ήταν σωστό! Ένα υψηλότερο ποσοστό χρηστών στην ομάδα πειράματος χρησιμοποιούσαν υπηρεσίες μετάφρασης και η νέα μας υπηρεσία μετάφρασης τους ενθάρρυνε να τη χρησιμοποιούν συχνότερα. Δεν μπορούσαμε να εντοπίσουμε μια αλλαγή στην ομάδα ιστού μας, επειδή δεν είχαν την εξωγενή αύξηση που είχε η εγγενής ομάδα. Μαθαίνοντας αυτό άνοιξε μια ολόκληρη περιοχή στρατηγικής ευκαιρίας για εμάς. Αν δεν είχαμε ενημερώσει τις υποθέσεις μας, ποιος ξέρει πού θα καταλήξαμε.

Ο ορισμός του σωστού «Εκτεθειμένου πληθυσμού» είναι το Paramount

Μην ξεκινήσετε απλώς μια λειτουργία ή δημιουργήστε ένα πείραμα και περιμένετε να συμβεί η μαγεία. Σε περισσότερες περιπτώσεις, δεν θα υπάρχει μαγεία. Αυτό δεν σημαίνει ότι δεν είστε φοβεροί, αλλά υπενθυμίζετε ότι η δουλειά μας είναι δύσκολη. Ένας τομέας όπου έχω δει αμέτρητες ομάδες να παλεύουν στον πειραματισμό είναι να ορίζει σωστά τον εκτεθειμένο πληθυσμό. Ο εκτεθειμένος πληθυσμός καθορίζει ποιος θα πρέπει να δει ένα χαρακτηριστικό και ποιος δεν θα πρέπει, και διαφέρει από το ποσοστό έκθεσης, το οποίο καθορίζει το ποσοστό του εκτεθειμένου πληθυσμού που θα συμπεριληφθεί στο πείραμά σας.

Για παράδειγμα, η ομάδα μου ήθελε να ξεκινήσει μια λειτουργία μετάφρασης μηνυμάτων για επισκέπτες που μιλούν διαφορετική γλώσσα από τον οικοδεσπότη τους, με την υπόθεση ότι αυτή η λειτουργία θα βελτίωνε τη μετατροπή σε βιβλίο. Ο προσδιορισμός της γλώσσας είναι αρκετά εύκολος, αλλά δεν είναι αρκετός. Εάν ξεκινήσαμε αυτήν τη δυνατότητα για όλους τους επισκέπτες που στέλνουν μηνύματα και μιλούν διαφορετική γλώσσα από τον κεντρικό υπολογιστή τους, θα εκθέσουμε υπερβολικά το πείραμά μας - γιατί δεν κάνουν όλοι οι επισκέπτες που κάνουν μήνυμα να κάνουν κράτηση. Κάποιοι ταξιδεύουν και πρέπει να ρωτήσουν πού βρίσκονται οι πετσέτες. Άλλοι μπορεί να έχουν αφήσει έναν φορτιστή τηλεφώνου πίσω και θα ήθελαν να επιστραφεί. Αν και αυτό μπορεί να φαίνεται απλό, θα εκπλαγείτε πόσο συχνά αυτό μπορεί να ξεφλουδίζει ή ακόμη και να αγνοείται, καθώς η αποτροπή του συχνά απαιτεί εποχιακές γνώσεις σχετικά με τα API της επιχείρησής σας. Ως αποτέλεσμα, η πρώτη ερώτηση που κάνω όταν συνομιλείτε με έναν μηχανικό για να καταλάβετε τι συμβαίνει σε ένα πείραμα είναι απλή: «Πότε συμβαίνει η έκθεση και πώς προσδιορίζεται;». Κάντε τους ανθρώπους να το σχεδιάσουν για εσάς εάν είναι απαραίτητο. Αυτή η συνομιλία θα πληρώσει μερίσματα και για τα δύο μέρη αργότερα. (Αν αναγνωρίσουν ότι μπορεί να είναι πάρα πολύ δουλειά για να εκθέσετε σωστά τους χρήστες, πρώτα σπρώξτε πίσω και, στη συνέχεια, δείτε την επιλογή Hail Mary παρακάτω.)

Οι μετρήσεις λογικής μπορούν να είναι χρήσιμες εδώ. Εάν το πείραμά σας περιορίζεται στους τρέχοντες χρήστες, προσθέστε μερικές μετρήσεις που θα υποδεικνύουν εάν υπάρχουν μη χρήστες (επισκέπτες) στο πείραμά σας, όπως εγγραφές. Εάν δείτε σημαντικούς αριθμούς εγγραφών στο πείραμά σας, πιθανότατα δεν το εκθέτετε σωστά. Μια άλλη απάντηση είναι να υπολογίσετε την παγκόσμια κάλυψη για τις μετρήσεις σας. Εάν περιμένετε ολόκληρο τον πληθυσμό να δει τη λειτουργία σας, επιβεβαιώστε ότι είναι. Η υπερβολική έκθεση θα αραιώσει τις μετρήσεις, με επιπτώσεις στην ισχύ. Είναι πραγματικά απαίσιο να χτίσεις ένα εξαιρετικό χαρακτηριστικό αλλά να μην μπορείς να ανιχνεύσεις τον αντίκτυπό του!

Χαιρετισμός Mary: Εάν δεν μπορείτε να εκθέσετε με ακρίβεια το πείραμά σας, βεβαιωθείτε ότι έχετε έναν τρόπο να προσδιορίσετε τους χρήστες που δεν πρέπει να συμμετέχουν στο πείραμα και να τους αφήσετε στο στάδιο της ανάλυσης. Στην Airbnb το κάνουμε αυτό ανεβάζοντας έναν "πίνακα αποκλεισμού" στον αγωγό πειραματισμού μας, ο οποίος περιλαμβάνει όλους τους χρήστες που πρέπει να απορριφθούν από την ανάλυση λόγω ακατάλληλης έκθεσης. Ο εντοπισμός αυτών των χρηστών μπορεί μερικές φορές να είναι απίστευτα επαχθείς. Εάν κάνετε αυτήν την εργασία, φροντίστε να το μοιραστείτε με τους συνεργάτες σας, καθώς είναι προς το συμφέρον ολόκληρης της ομάδας σας να κατανοήσετε τις προκλήσεις δεδομένων και να τις επιλύσετε με κλιμακωτούς τρόπους.

Η κατανόηση της δύναμης είναι απαραίτητη

Η ισχύς καθορίζει την ικανότητά σας να εντοπίζετε ένα αποτέλεσμα στο πείραμά σας, εάν υπάρχει. Δεν πρέπει να εκτελείτε πειράματα εάν δεν το καταλαβαίνετε. Μπορείτε και πρέπει να κάνετε καλύτερα από το να μαντέψετε.

Τρεις προτάσεις:

  1. Αποκτήστε μια ιδέα για τις βασικές τιμές πριν ξεκινήσετε ένα πείραμα χρησιμοποιώντας δεδομένα ιστορικού. Χωρίς βασικές τιμές, είστε ουσιαστικά στο σκοτάδι για το αν μπορείτε πραγματικά να εντοπίσετε τον αντίκτυπο της εκπληκτικής αλλαγής χαρακτηριστικών σας.
  2. Εκτός αν εργάζεστε σε χαρακτηριστικά που καταλαβαίνετε μέσα και έξω, πηγαίνετε μεγάλα ή πηγαίνετε σπίτι. Μην εκτοξεύετε κάτι εάν δεν πιστεύετε ότι θα μετακινήσει τη βελόνα. Αυτό είναι ιδιαίτερα σημαντικό εάν δεν είστε σίγουροι για τις βασικές τιμές. Εκτός αν τα βασικά ποσοστά σας είναι τεράστια, ο μόνος τρόπος για να εντοπίσετε αλλαγές είναι να κάνετε σε μεγάλες που θα μεταφέρουν μετρήσεις με σημαντικό τρόπο.
  3. Να θυμάστε ότι ο πειραματισμός δεν είναι ο μόνος τρόπος για να μάθετε πράγματα για τους χρήστες σας. Ακριβώς επειδή δεν έχετε ισχύ και επομένως δεν πρέπει να εκτελέσετε ένα ελεγχόμενο πείραμα δεν σημαίνει ότι το παιχνίδι τελείωσε. Στην Airbnb, συνεργαζόμαστε στενά με μια ομάδα ερευνητών και ερευνητών που κάνουν πρωτοποριακή και προσεκτική εργασία για τη συμπεριφορά των χρηστών. Δείτε τους ερευνητές ως συνεργάτες: οι γνώσεις τους μπορούν να είναι η γέφυρα που χρειάζεται η ομάδα σας για να κατανοήσει τους χρήστες σας για να αναπτύξει μια πραγματικά σημαντική επίδραση.

Η αποτυχία είναι μια ευκαιρία: Χρησιμοποιήστε την

Μερικές φορές είναι δελεαστικό να χρησιμοποιείτε τον πειραματισμό ως έναν τρόπο για να αποδείξετε ότι μπορείτε να μετακινήσετε μετρήσεις και αν (όταν) δεν το κάνετε, προχωρήστε (σε μια άλλη φοβερή ιδέα για το φεγγάρι). Θα πρέπει να μετακινείτε μετρήσεις και όταν το κάνετε, θα πρέπει να μπορείτε να το εμφανίσετε. Αλλά αν εστιάσετε μόνο στις νίκες, θα χάσετε έναν τόνο διορατικότητας και κινδυνεύετε να τυφλώσετε τα λάθη.

Τα πειράματα δεν αποτυγχάνουν - οι υποθέσεις αποδεικνύονται λανθασμένες

Όταν συμβεί αυτό, κάντε τη δουλειά σας να καταλάβετε γιατί. Μερικές ερωτήσεις για να ξεκινήσετε περιλαμβάνουν:

  • Ήταν λανθασμένη η υπόθεση ή ήταν ελαττωματική η εφαρμογή / εκτέλεση της υπόθεσης; Αρχίζουμε συνήθως με το δεύτερο και πηγαίνουμε στο πρώτο. Η δουλειά μας είναι περίπλοκη, συχνά με τρόπους που αψηφούν την πλήρη κατανόηση από οποιοδήποτε άτομο. Αυτό σημαίνει ότι δεν παίρνουμε τα πάντα σωστά την πρώτη φορά. Εάν προσθέτετε μια δυνατότητα που υποθέτετε ότι επηρεάζει τη μεταγενέστερη μετατροπή, μην αναζητάτε απλώς αλλαγές στη μετατροπή - μπορεί να μην βλέπετε καθόλου επειδή η λειτουργία σας ενδέχεται να μην λειτουργεί όπως προορίζεται. Ένας εύκολος τρόπος για να το δοκιμάσετε είναι να βεβαιωθείτε ότι έχετε συνδεθεί στις δυνατότητες που δοκιμάζετε. (Αυτός είναι ο λόγος για τον οποίο κάθε καλός επιστήμονας δεδομένων θα πιέσει για σωστή καταγραφή πριν από την έναρξη - δεν μπορούμε να μετρήσουμε πράγματα που δεν υπάρχουν.)
  • Οι μετρήσεις κινούνται μαζί με τους τρόπους που θα περίμενα; Οι διοχετεύσεις ακολουθούν προβλέψιμα μοτίβα. Εάν οι μετρήσεις ανάντη δεν υποστηρίζουν την κίνηση μετρήσεων κατάντη, θα πρέπει καλύτερα να έχετε μια καλή εξήγηση για αυτό. (Η ώθηση σε αυτό το μέτωπο είναι μια ποιότητα ενός εξαιρετικού Υπεύθυνου Προϊόντων.) Αλλά λάβετε υπόψη ότι η μεροληψία επιβεβαίωσης - οι περισσότεροι από εμάς έχουν κίνητρα για να επιβεβαιώσουν ότι η δουλειά μας είναι σημαντική. Για αυτόν τον λόγο, στην Airbnb προσπαθούμε να κάνουμε μια τακτική πρακτική να κοινωνικοποιούμε τα πειράματά μας τόσο μέσω ανεπίσημων check-in όσο και διμηνιαίων Κριτικές πειραμάτων, όπου οι ομάδες παρουσιάζουν μαθήματα που αντλήθηκαν από πειραματισμούς. Όσο περισσότερα άτομα ακούνε το εύρημα σας, τόσο περισσότερα σχόλια θα λάβετε για αυτό. Αυτή η διαδικασία θα δοκιμάσει εσάς και την ομάδα σας με όλους τους σωστούς τρόπους.
  • Δοκιμάζω αρκετά τολμηρές υποθέσεις; Πιθανότατα θα νιώσετε φοβερό εάν οι υποθέσεις σας επιβεβαιώνονται με συνέπεια. Αλλά πρόσεχε! Μην πιάσετε τη βελτιστοποίηση τοπικών μεγίστων. Συνέχισε να σπρώχνεις.

Υπάρχει μια καμπύλη μάθησης εδώ. Αλλά όπως τα περισσότερα πράγματα, γίνεται ευκολότερο. Είναι απίστευτο αυτό που μπορείτε να μάθετε ξεκινώντας από ένα μέρος περιέργειας.

συμπέρασμα

Ο πειραματισμός είναι σκληρή δουλειά. Ένα εξελιγμένο εργαλείο πειραματισμού είναι ακριβώς αυτό - ένα εργαλείο. Δεν λειτουργεί από μόνη της. Αυτό αφήνει όλους μας που πειραματίζονται με απίστευτες ευκαιρίες για να διαμορφώσουμε τις επιχειρήσεις που μας ενδιαφέρουν.

Ενδιαφέρεστε; Αναζητούμε πάντα ταλαντούχους ανθρώπους για να γίνουν μέλη της ομάδας μας για την Επιστήμη δεδομένων και το Analytics!