Menguji Ulang Hipotesis

Melalui kelas ini, kamu diajak untuk:

• Mengidentifikasi keadaan atau kondisi ketika kita mungkin perlu menguji ulang hipotesis.

Skenario 1: Hasil Terkontaminasi

Kita perlu menguji ulang hipotesis jika hasil kita terkontaminasi. Hasil akan terkontaminasi ketika tidak ada perbedaan yang signifikan secara statistik antara grup tes dan grup kontrol. Salah satu contohnya adalah ketika grup kontrol terpapar treatment.

Contoh Hipotesis

Sebuah brand perhiasan e-niaga menjalankan tes untuk mengukur dampak tambahan dari upaya pemasaran perusahaan untuk menargetkan audiens berusia 35+ tahun. Setelah tes selesai, mereka mengamati bahwa tidak ada perbedaan yang signifikan secara statistik antara grup tes dan kontrol.

Namun, analis menemukan bahwa ada kampanye lain secara langsung di pasar yang menargetkan perempuan. Hal ini seharusnya tidak terjadi, karena kedua kampanye memiliki audiens yang tumpang tindih. Sehingga, sebagian besar grup kontrol terpapar iklan. Padahal, tujuan tes ini adalah untuk mengukur dampak saat tidak ada paparan iklan. Analis menyimpulkan bahwa tes itu tidak valid, dan hipotesis perlu diuji ulang.

Action Plan

Inilah cara untuk mengubah pendekatan pengukuran ketika hasil terkontaminasi:

• Identifikasi sumber dari apa yang dapat mempengaruhi paparan treatment. Dalam skenario di atas, sumber masalahnya adalah kampanye kedua.
• Hindari menguji audiens yang ditargetkan oleh beberapa kampanye. Dalam skenario di atas, kedua kampanye menargetkan perempuan.
• Luncurkan kembali tes dan pastikan, sebanyak mungkin, bahwa kontrol tidak terkena treatment. Ingat bahwa dalam kasus ini, kita tidak perlu menyesuaikan desain pengujian, dan parameternya tidak berubah. Dalam skenario ini, analis akan menguji ulang hipotesis.

Skenario 2: Hasil Tidak Meyakinkan

Setelah menyelesaikan tes, kita mungkin menemukan bahwa hasil tes tidak meyakinkan. Hasil dianggap tidak meyakinkan saat tidak ada perbedaan yang signifikan secara statistik antara grup tes dan kontrol. Di bawah ini adalah skenario di mana kita akan menguji ulang hipotesis Anda.

Contoh Hipotesis

Sebuah perusahaan yang menjual sepatu kets melakukan pengujian dengan parameter berikut:

• Ukuran grup kontrol 5%
• Durasi satu minggu
• Pembelanjaan pemasaran sebesar $10rb untuk menjangkau 50rb orang dan 250rb tayangan (frekuensi = 5)
• Perkiraan tingkat konversi kontrol sebesar 8%
• Keinginan untuk mendeteksi peningkatan minimal 10% dalam rasio konversi

Tepat sebelum menjalankan tes, anggaran dikurangi 50% menjadi $5rb. Pengurangan anggaran akan mengurangi jumlah orang yang dijangkau dan frekuensi jangkauan orang-orang dalam grup tes.

Namun, desain pengujian, khususnya ukuran grup kontrol, tidak diubah untuk memperhitungkan perubahan dalam pengeluaran pemasaran.

Setelah pengujian selesai, hasilnya menunjukkan bahwa tidak ada peningkatan rasio konversi yang signifikan secara statistik. Tidak ada lagi sepatu kets yang terjual dibandingkan jika kampanye tidak berjalan.

Dalam hal ini, kurangnya hasil yang signifikan secara statistik mungkin disebabkan karena pengeluaran pemasaran berkurang.

Tes Baru

Pengujian baru disiapkan dengan parameter berikut:

• Kontrol 15%
• Durasi 1 minggu
• Pembelanjaan pemasaran sebesar $5rb untuk menjangkau 25rb orang dan 125rb tayangan (frekuensi = 2)
• Perkiraan tingkat konversi kontrol sebesar 8%
• Keinginan untuk mendeteksi peningkatan minimal 10% dalam rasio konversi

Action Plan

Untuk mengubah pendekatan pengukuran ketika hasil tidak meyakinkan, pastikan studi kita memiliki kekuatan statistik yang cukup.

• Tingkatkan ukuran kontrol
• Durasi 1 minggu
• Jalankan tes untuk durasi yang lebih lama
• Tingkatkan pembelanjaan untuk memiliki populasi dan konversi dasar yang lebih tinggi
• Pastikan bahwa treatment tersebut cukup signifikan untuk membedakan pengalaman grup tes dari grup kontrol

Skenario 3: Validasi Hasil

Contoh Hipotesis 1

Seorang analis di Zoomture, sebuah perusahaan travel, melakukan tes selama musim sepi bisnis mereka. Hasil tes positif untuk jangka waktu ini. Mereka ingin menguji ulang hipotesis di musim puncak untuk memahami apakah hasilnya bertahan.

Action Plan

Saat kita ingin memvalidasi hasil di periode waktu yang berbeda, berikut cara menyesuaikan pendekatan pengukuran:

• Identifikasi periode waktu yang kita inginkan untuk mendapatkan insight (misalnya, musim liburan vs musim non-liburan) dengan audiens yang sama.
• Luncurkan kembali pengujian, ubah jadwal sembari mempertahankan parameter yang sama dari desain aslinya. Pahami bahwa beberapa parameter, seperti anggaran, mungkin berubah.
• Jangan mengubah hipotesis karena pertanyaan yang ingin coba dijawab masih sama.

Skenario 4: Validasi Hasil yang Salah

Ketika kita meninjau hasil pengujian, kita mungkin menemukan bahwa pendekatan pengukuran kita salah. Mungkin desain tes tidak sesuai dengan hipotesis, atau KPI yang dipilih salah. Dalam skenario ini, kita perlu menguji ulang hipotesis.

Contoh Hipotesis

Lisa adalah pemimpin analitik di perusahaan kacamata hitam. Ketika tesnya selesai, dia menyadari bahwa dia mengukur KPI yang salah. KPI untuk pengujian seharusnya meningkatkan pendapatan, tetapi pengujian disiapkan untuk mengukur peningkatan dalam unit yang terjual (tidak ada pelacakan untuk pendapatan). Dia memperbaiki masalah pelacakan dan menjalankan kembali pengujian untuk mengukur KPI yang benar.