Was soll ich nur machen?????

Nö, ist es nicht. Vor allem weil Du ja was dagegen machst.
Allerdings, und da sehe ich das Problem : Der Lebensmittelpunkt wird dann ja seine ! Wohnung sein.
Oder wo sollen die Kinder schlafen ?

Und das spielt ihm den Joker zu.

In der Hinsicht solltest Du Dir wirklich überlegen zurückzurudern und Dir dann eine Wohnung für Dich UND Deine Kinder zu suchen.
Und wenn so Probleme schon auftauchen, dann auch nicht im gleichen Haus.

Trennung ist Trennung, und bei so Streitigkeiten jetzt schon,... wo soll das enden ?