Prediksi membantu mendorong pelanggan untuk membeli pada waktu yang tepat, atau sebaliknya, untuk tidak menyentuhnya jika dia membeli dan sebagainya. Sebagai bagian dari pengujian AB, mekanisme personalisasi situs berbasis prediktif membantu meningkatkan rasio konversi toko online sebesar 16,5% dan ARPU sebesar 35,7% dibandingkan dengan grup kontrol.
Azamat Tibilov, Kepala Pemasaran Mario Berluchi, berbicara tentang mekanisme prediktif, pengukuran hasil, sejarah bisnis Ilmu Data, dan berbagi kiat untuk pengecer online yang juga ingin meningkatkan pendapatan melalui pemasaran yang bermakna dan berdasarkan data.
Mario Berluchi adalah produsen sepatu, tas, dan aksesori Rusia dengan lima toko offline di Moskow dan sebuah toko online.
Skala. 200 ribu pengunjung situs per bulan.
ITU. Situs di Bitrix, back office di 1C, platform data klien Mindbox.
Tugas. Tingkatkan pendapatan dengan bekerja dengan data yang terkumpul.
Hasil. Peningkatan konversi situs web sebesar 16,5% dalam pengujian AB, peningkatan ARPU sebesar 35,7%, penurunan pangsa keranjang yang ditinggalkan sebesar 17,2%.
Cara Kerja Mekanisme Personalisasi Situs Berbasis Prediksi
Saat klien mengunjungi situs, kami mencatat tindakannya dan menjalankannya melalui algoritme prediksi: "beli di sesi saat ini atau tidak beli" dan "akan kembali dalam 7 hari atau tidak kembali". Prediksi dihitung ulang setiap 10 detik untuk setiap klien.
Kondisi pemicu mekanik:
- jika ada barang di gerobak,
- jika tidak ada kupon diskon yang diterapkan,
- jika probabilitas pembelian yang diprediksi kurang dari 30%,
- jika klien diprediksi tidak akan kembali dalam 7 hari.
Jika kondisi terpenuhi, klien melihat pop-up di keranjang dan memutuskan apakah akan membeli produk di sesi saat ini atau tidak:
Pop-up muncul di keranjang jika, menurut prediksi algoritme, klien tidak memesan di sesi saat ini dan tidak kembali lagi nanti
Hasil Mekanika Prediktif
Tes AB dengan keyakinan 95%
Sebagian dari klien dalam pengujian berada di grup kontrol dan tidak melihat pop-up - untuknya, mekanik dinonaktifkan, dan bagian lainnya melihat. Kami membandingkan konversi, ARPU, dan pengabaian keranjang dalam grup ini - kami mendapatkan hasil yang signifikan secara statistik dengan keyakinan 95%:
↑ 16,5%
Peningkatan dalam konversi situs web relatif terhadap kelompok kontrol yang menggunakan metode uji-t
↑ 35,7%
Pertumbuhan ARPU menggunakan metode bootstrap
↓ 17,2%
Penurunan pangsa gerobak yang ditinggalkan menggunakan metode uji-z
Perbandingan konversi dan ARPU: pada Mei 2019 dan Mei 2020 - setelah diperkenalkannya mekanisme prediktif
Konversi sebelum dan sesudah implementasi mekanika prediktif
ARPU sebelum dan sesudah implementasi mekanika prediktif
Mengapa Anda meluncurkan arahan Ilmu Data
Awalnya, kami ingin membangun analitik ujung ke ujung untuk menilai kualitas saluran iklan dalam konteks pembelian nyata, karena 50% pesanan "jatuh" pada tahap konfirmasi.
Untuk analisis ujung-ke-ujung, data perilaku pengguna perlu dikumpulkan ke dalam database Google BigQuery. Selain tindakan pengguna standar - menambahkan item ke keranjang, mengunjungi kartu produk, melakukan pembelian - kami mengumpulkan lebih banyak tindakan dengan konten situs - klik. Lebih dari 20 ribu baris klik dikumpulkan setiap hari, dan data ini disimpan dalam database kami, yang tentu saja kami bayar.
Dengan lalu lintas kami - lebih dari 200 ribu pengguna per bulan - ada cukup data, dan kami melakukan analitik standar, misalnya, tindakan pengguna dengan konten setelah perubahan apa pun, pembelian setelah promosi. Kemudian kami melakukan sesi curah pendapat dengan pemilik perusahaan dan memutuskan untuk mencoba, selain analitik sederhana dan tes AB, untuk membuat sesuatu yang lebih menarik: mencoba memprediksi perilaku pelanggan di situs menggunakan algoritme pembelajaran mesin berdasarkan data historis kami. Kami memperlakukan ide-ide seperti itu sebagai produk internal di mana kami siap menginvestasikan uang dan waktu untuk mendapatkan hasil nanti - pertumbuhan metrik bisnis.
Hasilnya, departemen Ilmu Data dirakit dan dalam enam bulan mereka menerapkan mekanik dengan memprediksi tindakan pengguna, yang meningkatkan pendapatan. Karenanya, kami menemukan lini bisnis baru, yang memberi kami lebih dari 30% pendapatan dan terbayar dengan baik.
Spesialis apa yang dibutuhkan untuk Ilmu Data
Setiap tahap peluncuran mekanik prediktif melibatkan pekerjaan spesialis dengan fungsi yang berbeda, tetapi dari bidang terkait. Staf kami:
Analis. Menganalisis data, menemukan anomali, dan melakukan tes AB.
Dua Ilmuwan Data. Mereka menulis algoritme yang mengembalikan jawaban prediktif dalam bentuk kemungkinan tindakan pengguna tertentu di situs.
Pemasar. Mengembangkan dan meluncurkan mekanik menggunakan algoritme.
Pengembang. Menerapkan mekanisme dan algoritme di situs.
Bagaimana Mekanika Prediktif Bekerja
1. Kami menandai data awal Google Analytics menggunakan Google Tag Manager dan menggunakan streaming OWOX BI untuk mengumpulkan data di database Google BigQuery. Langkah-langkah ini membutuhkan sedikit waktu - dari menit pertama Anda dapat melihat bagaimana data cocok dengan database.
2. Analis melihat bagaimana data cocok dengan perilaku pengguna. Jika perlu, itu membuat grafik distribusi dan melihat seberapa berkualitas mereka, apakah ada ekornya. Jika ditemukan kesalahan, kami mengubah pengaturan streaming atau membersihkan data, karena tidak mungkin bekerja dengan data kotor dalam pembelajaran mesin.
3. Data Ilmuwan membuat fitur (rekayasa fitur) dari kunjungan dan konten, misalnya, jumlah produk yang dilihat, jumlah item yang ditambahkan ke favorit, jumlah item yang ditambahkan per sesi ke keranjang.
Distribusi bobot fitur algoritme - berdasarkan bobotnya, kami memprediksi perilaku klien
4. Melatih model pada data historis. Katakanlah kami ingin memprediksi apakah pengguna akan memiliki sesi berikutnya atau akan kembali kepada kami dalam 7 hari. Untuk melakukan ini, kami mengambil data historis, tanda - dan menerapkan algoritme. Untuk prediksi, kami menggunakan klasifikasi - jawaban binomial berupa 1 atau 0.
5. Kami memvalidasi model pada data historis: akurasi ramalan, metrik bisnis.
Pertama-tama, kami melihat proporsi akurasi (proporsi jawaban benar) dan ROC-AUC (area di bawah kurva kesalahan):
Akurasi 0.88 berarti 88% dari waktu kami secara akurat memprediksi bahwa pengguna akan kembali atau tidak. Presisi - Seberapa benar prediksi yang akan dikembalikan pengguna. Ingat (kelengkapan) - tentang berapa proporsi pengembalian nyata yang kami prediksi.
Kami menggunakan AUC ROC (area di bawah kurva kesalahan) untuk menilai performa algoritme pada sampel data.
Selain jawaban algoritme 1 dan 0, ada juga kemungkinan tindakan dalam persen. Dan di sini kami menetapkan ambang: jika kemungkinan pengguna kembali lebih dari 30% dan pengguna semacam itu paling sering kembali, maka jawabannya adalah 1.
6. Memprediksi tindakan pengguna.
7. Pemasar mengembangkan mekanisme untuk menerapkan ramalan.
8. Kami menjalankan uji-AB - hanya pada pengguna baru yang akrab dengan situs kami sekarang. Tes berlangsung sekitar tiga minggu, dan selama waktu ini kami mengamati bagaimana nilai p kumulatif berubah. Pada titik tertentu, perbedaan antara kelompok menjadi signifikan, kami memahami bahwa pengujian dapat segera diselesaikan dan mekanik dapat diluncurkan ke produksi.
9. Analis mengukur hasil mekanika.
Berdasarkan data pelanggan apa prediksi tersebut bekerja
Berbasis kunjungan. Berdasarkan tindakan di situs: melihat kartu produk, menambahkan produk ke keranjang, berbelanja.
Berbasis konten. Berdasarkan tindakan dengan konten situs. Pertama, kami mengumpulkan data tentang tindakan pengguna: membuka tabel ukuran, menambahkan produk ke favorit, membaca ulasan. Kemudian kami melihat bagaimana tindakan ini memengaruhi metrik proxy (konversi menengah sebelum memesan) - ini diperlukan karena ada lebih banyak data pada metrik ini daripada pesanan. Selanjutnya, kita melihat korelasi metrik proxy dengan konversi pembelian dan tingkat pengembalian.
Pendekatan berbasis kunjungan dan berbasis konten tumpang tindih. Namun berdasarkan kunjungan, kami mengevaluasi perilaku pengguna, dan berdasarkan konten - konten itu sendiri.
Berbasis CRM. Pengayaan data dari toko online CRM, akuntansi riwayat pembelian.
Tips belanja online
1. Analisis data, bahkan jika Anda adalah toko online kecil. Poin pertumbuhan disembunyikan dalam data yang memungkinkan Anda membawa bisnis Anda ke level berikutnya. Di dunia saat ini dengan persaingan yang sangat besar dalam digital, tidak mungkin menyelesaikan masalah pertumbuhan bisnis dengan suntikan uang yang dangkal.
2. Pertumbuhan konversi, metrik utama dari toko online, adalah faktor paling kuat dalam perkembangan bisnis Anda.
3. Jangan takut untuk membangun infrastruktur dan memperkenalkan teknologi baru ke dalam bisnis Anda. Pengenalan pembelajaran mesin memungkinkan Anda untuk mengambil langkah maju dan melepaskan diri dari pesaing.
4. Belajar menghitung ROI dari investasi dalam teknologi baru. Kebanyakan perusahaan takut menganggarkan dana untuk alat baru karena mereka tidak sepenuhnya memahami manfaat yang akan mereka terima.
Rencana lebih lanjut untuk pengembangan pemasaran
Sekarang kami memiliki penetapan harga dinamis dalam pekerjaan kami - kami akan mengevaluasi kapan harus memberikan diskon pada produk mana atau, sebaliknya, tidak memberikannya. Semuanya terdengar sederhana: produk sering dibeli - kami tidak memberikan diskon, jarang membeli - kami memberi. Tapi kami melangkah lebih dalam dan lebih luas - kami melihat di mana produk ini ada di katalog, mekanisme pemasaran apa yang diikutinya, berapa kali produk ini dilihat, berapa kali ditambahkan ke keranjang.
Dan langkah selanjutnya adalah penetapan harga dinamis untuk setiap pengguna.
Cara meniru mekanisme prediktif di toko online Anda
Kami sedang mengembangkan kerja sama dengan Mindbox dan menawarkan klien platform untuk mengimplementasikan mekanisme prediktif kami. Jika Anda ingin mengulanginya di toko online Anda, tulislah ke kolega Anda.
***
Penulis:
Azamat Tibilov, Direktur Pemasaran Mario Berluchi
Maria Baikauskas, Manajer
Mindbox Sema Semochkin, Editor Mindbox