Langkah yang Harus Ditempuh Agar Pengujian Lebih Efektif
Melalui kelas ini, kamu diajak untuk:
- Mengidentifikasi praktik terbaik untuk desain tes.
- Mengenali faktor-faktor yang dapat menghasilkan kekuatan statistik yang tinggi.
Pengantar
Setelah menentukan jenis tes yang ideal dalam rencana kampanye iklan, langkah yang harus kita tempuh adalah memastikan tes berjalan efektif. Hal ini bisa dilakukan dengan mengenal faktor-faktor pendukung efektivitas tes.
A/B Testing yang Efektif
Saat kita melakukan A/B testing, pastikan tes menghasilkan hasil yang cukup untuk menentukan strategi. Untuk mencapainya, ada dua faktor yang perlu dipahami.
Geser ke kanan untuk mengenali faktor-faktor tersebut.
Anggaran
Anggaran ini dihitung dengan menganalisis best practice A/B testing yang memiliki setelan (setting) serupa dengan kita.
Durasi
Secara umum, tes harus berjalan setidaknya selama tiga hari dan tidak lebih dari 30 hari.
Lift Test yang Efektif
Untuk lift test, ada beberapa faktor yang relevan dengan pengujian dan kampanye yang perlu dipertimbangkan. Lihat daftar berikut.
Geser ke kanan untuk mengenali faktor-faktor tersebut. Durasi Tes
Durasi harus cukup lama untuk menghasilkan sampel yang cukup besar guna mendeteksi efek. Idealnya, tes dilakukan saat tidak ada atau hanya sedikit iklan serentak.
Kekuatan Statistik
Kekuatan statistik adalah kemampuan untuk mengukur dampak secara termetodologis dan indikator apakah tes kita memiliki data yang cukup untuk melaporkan hasil yang terpercaya.
Lebih Jauh soal Manfaat Statistik
Penghitungan kekuatan statistik adalah fungsi dari:
Ketuk untuk mengenali faktor-faktor tersebut.Besarnya Efek
Perbedaan besar antara grup treatment dan grup kontrol akan meningkatkan kekuatan tes. Dengan kata lain, perbedaan yang lebih besar antara rasio konversi dasar dan peningkatan yang diantisipasi akan menghasilkan kekuatan statistik yang lebih tinggi.
Ukuran Sampel
Tes dan grup kontrol yang lebih besar akan meningkatkan kekuatan pengujian karena semakin besar sampel, semakin kecil kesalahan pengambilan sampel dalam tes.
Ambang Signifikansi Statistik
Semakin tinggi interval kepercayaan, semakin sulit untuk mencapai kekuatan untuk tes kita. Interval kepercayaan yang lebih tinggi berarti kita lebih konservatif dalam menolak hipotesis nol palsu.
Kekuatan Statistik dan Conversion Lift
Ada empat pertimbangan dalam mendesain Conversion Lift dengan kekuatan statistik.
Ketuk untuk mengenali faktor-faktor tersebut.Jangkauan
Untuk meningkatkan kekuatan statistik, kita dapat meningkatkan jangkauan atau grup kontrol. Langkah ini akan membantu kita untuk memiliki lebih banyak peluang mendeteksi peningkatan.
Anggaran
Anggaran mempengaruhi tekanan media untuk benar-benar menimbulkan efek . Meskipun anggaran tidak secara langsung memengaruhi kekuatan statistik, ia memengaruhi peningkatan.
Conversion Rate
Jika tingkat konversi dasar tinggi, maka tes akan memiliki lebih banyak kekuatan statistik. Tingkat konversi dasar adalah perkiraan persentase orang yang akan berkonversi tanpa melihat iklan kita, diuji berdasarkan kampanye-kampanye terdahulu.
Lift Percentage
Jika kita memperkirakan peningkatan yang besar, maka kekuatan statistik pengujian akan lebih tinggi. Jika kita berekspektasi sebaliknya, maka kita perlu memperhatikan faktor-faktor lain seperti ukuran sampel.
Kekuatan Statistik dan Brand Lift
Tes Brand Lift mengandalkan polling orang yang terpapar iklan dan tidak, hasilnya dibandingkan. Untuk meningkatkan kekuatan tes Brand Lift, kita perlu memastikan bahwa Anda memiliki anggaran yang cukup (atau, bobot media) per orang untuk mendorong hasil yang kuat. Semakin sering seseorang melihat iklan, semakin kuat kemungkinan efek peningkatannya.
Selayang Pandang
- Split test bermanfaat untuk memvalidasi dua opsi dalam strategi produk.
- Lift Test biasa digunakan untuk mengestimasi performa produk secara keseluruhan.
- Nested test berdasarkan kampanye lama dan baru.
Kuis
Apa yang perlu disiapkan untuk melakukan A/B Test?