Использование «А/Б» и «Мульти» — тестов при редизайне — это закон. Но глобальные изменения проводятся не каждый день, а сайт должен постоянно развиваться. Следовательно, и тесты должны проводиться также постоянно. Но как определить — над каким именно элементом надо провести эксперимент?
МВТ-тестирование ПО — это форма A/B-тестирования, которая содержит от двух до четырех или более вариаций, причем каждая из последних включает в себя несколько модификаций. Метод обратного тестирования предоставляет конкретные результаты и может сыграть решающую роль в распределении денежных средств. Используйте информацию о различных акциях и скидках в заголовках, для того чтобы привлечь внимание.
Как Airbnb использует науку о данных для оптимизации маркетинга?
Но статистически есть шанс, что любой из вариантов станет победителем, пока не достигнут уровень статистической значимости. Однако если кажущийся проигрышным вариант обходится вам во много конверсий, его лучше остановить прежде, чем он достигнет статистической значимости. Так вы сможете снизить затраты на проведение теста и направить больше трафика на другие, более жизнеспособные вариации. Кроме того, в результате на сам тест уйдет меньше времени, т.к. А если тесты выполняются быстрее, то можно позволить себе проводить их более часто.
Другими словами, это как если бы вы проводили несколько A/B-тестов на одной странице одновременно. Для этих целей существует мультивариантное тестирование. Мы меняем только один элемент (одна переменная), но предоставляем последовательность разных вариантов этого элемента. Тяжело сообщить — мнения опытных и легендарныхмаркетологов разделились. Но в случае если у вас хватает трафика, то полнофакторный тест точно не навредит ресурсу. А в то время, когда вы желаете принять бизнес-ответ, критичное по времени и не предполагающее шестимесячные опыты, то вам точно подойдет дробно-факторный подход.
Дедукция как технология сплит-тестирования
В результате потребуется громадное количество трафика. Он будет разделяться на совсем мелкие части, чтобы собрать точную информацию по каждой вариации. Мультивариантное тестирование А/B тестирование — это своего рода тест, который нужен для сравнения исходной страницы и ее копии, куда были внесены некоторые изменения.
- А мультивариантный тест позволяет одновременно проверить неограниченное число вариаций нескольких элементов целевой страницы.
- Не стоит, однако, забывать о том, что последний способ становится абсолютно бессмысленным с точки зрения статистики при отсутствии большого трафика.
- МВТ-тест позволяет увидеть, как работают различные сочетания компонентов на веб-странице.
- Новый выигрышный заголовок может остаться незамеченным, потому что в фокусе теста — другой элемент.
- Это аббревиатура, расшифровывающаяся как мультивариативное тестирование программного обеспечения.
- «Если у вас есть 16 комбинаций, каждая из них получит одну-шестнадцатую долю от всего трафика сайта.
При проведении MVT в 5% случаях происходит ложное срабатывание — когда пользователь совершает целевое действие из-за дополнительных факторов, а не под влиянием тестируемых элементов. Чем больше вариантов, тем выше риск случайных кликов. Способы срабатывать с погрешностями называют корректировками мультитестирования. Чтобы получить заметный результат, потребуется большое количество посетителей на сайте. Точность дробного MVT меньше, чем в полнофакторном мультивариантном тестировании, зато его быстрее провести.
Хороший ли практикой будет делать снапшоты отдельной части компонента при тестировании?
Тогда как мультивариантные кампании запускаются на внушительное число предположений, но с маленькими различиями. Разработка новых гипотез, основанная на полученной информации. В сплит-тесте с двумя вариациями можно достичь статистической значимости за срок в две недели. Однако в тесте с шестью вариациями, возможно, придется работать в течение четырех недель, чтобы достичь той же статистической значимости.
Аналогичным образом можно рассмотреть отчет по страницам с наибольшим процентом отказов и поэкспериментировать с ними. Перед тем, как вы сможете обработать результаты A/B тестирования, следует убедиться, что тестирование достигло статистической значимости. Эта точка, при которой вы получите процент уверенности в результате 95 или выше. Если же встроенная функция отсутствует – не расстраивайтесь, есть множество бесплатных калькуляторов и программ, рассчитывающих статистическую значимость. Вот тут есть ссылка на HubSpot , а также вы можете просмотреть блог «Бритва Оккама» для получения более подробного шаблона из Excel. На странице массовой рассылки мы добавили новую функцию — мультивариантное тестирование в мобильных пушах и email.
Основные принципы проведения мультивариантного тестирования:
Любой тест способен дать вам полезную данные для понимания ваших визитёров. Но при с мультивариантным тестированием данный вопрос остается открытым. Одним из самые популярных элементов для тестирования по праву считается заголовок страницы.
Оно отличается от А/B-тестов, каковые предполагают анализ и одновременную проверку только одного элемента. Но какое количество тестов в следствии вам нужно будет провести? Этот метод позволяет понять, какая комбинация вариантов лучше конвертирует. Обычный сплит-тест (другое название A/B теста) проверяет только 2 варианта, а трафик делится 50/50% для каждой версии.
Основные принципы проведения обратного тестирования:
Имеется лишь одна обстоятельство — в то время, когда вам необходимо определить подробности сотрудничества. Сплит-тест с несколькими вариантами не позволит добиться этого. Сплит-тесты в большинстве случаев содержат меньше вариаций, чем MVT, но с более радикальными трансформациями.
Вы жонглируете комбинациями элементов, но дизайн остаётся неизменным. Если нужно протестировать дизайн целиком, используйте A/B- или A/B/n-тест. A/B/n тестирование — метод, где сравнивают эффективность нескольких вариантов контента на странице сайта, в email-рассылке и в других кампаниях.