А учитель скорее всего уже узнала, директор рассказал. Почему вы думаете, что сгноит вас, может наоборот попытается доказать, что она хорошая.
А новая учительница скорее всего возьмет, это же ей рейтинг повысит.
Не бойтесь, идите. А если ваша учительница спросит вас в лицо, почему вы от нее хотите уйти, то так и скажите, что мол мы в семье не кричим, ребенок не привык слышать повышенный тон, замыкается, не может нормально соображать. Это все отражается на качестве получаемых знаний.