В A/B тесте получен эффект +1.2% и p-value = 0.06 при alpha = 0.05. Какое заключение корректно?

Результат 0.06 означает, что при верной H0 такие данные не слишком редки для порога alpha = 0.05. Это может быть как «эффекта нет», так и «эффект есть, но данных мало», то есть высокий beta и недостаточный power. Типичная ошибка — объявлять «почти значимо» как значимо или трактовать это как доказательство отсутствия эффекта.