При фиксированном размере выборки и фиксированном реальном эффекте что обычно произойдёт с beta, если уменьшить alpha (сделать критерий строже)?

Если вы уменьшаете alpha, вы реже отклоняете H0, то есть снижаете риск ошибки I рода. Но при той же выборке это обычно повышает риск не заметить эффект, то есть beta растёт, а power падает. Ловушка — думать, что можно одновременно сильно уменьшить и alpha, и beta без изменения выборки или дизайна.