Memahami peningkatan dalam ujian A/B

1. Apa yang dinaikkan dalam ujian ab?
2. Bagaimana anda mengira angkat pada ujian?
3. Apakah tahap keyakinan ujian a b memberitahu anda?

Apa yang dinaikkan dalam ujian ab?

Peningkatan: perbezaan antara prestasi variasi dan prestasi variasi asas (biasanya kumpulan kawalan). Contohnya, jika satu variasi mempunyai pendapatan bagi setiap pengguna $ 5, dan kawalan mempunyai pendapatan bagi setiap pengguna $ 4, peningkatan adalah 25%.

Bagaimana anda mengira angkat pada ujian?

Angkat dikira dengan mengambil perbezaan antara kadar penukaran rawatan dan kadar penukaran kawalan dibahagikan dengan kadar penukaran kawalan. Hasilnya adalah perbezaan persentas relatif rawatan berbanding dengan kawalan.

Apakah tahap keyakinan ujian a b memberitahu anda?

Biasanya, orang bersetuju dengan α = 5%, jadi tahap keyakinan, yang dikira sebagai 1-α, adalah 95%. Oleh itu, tahap keyakinan (1-α) adalah kebarangkalian tidak mendapat ralat Jenis I (α). Ini peratusan keyakinan terhadap hasilnya jika ujian menunjukkan bahawa varian a dan b tidak berbeza.