Ich weiß nicht mehr weiter

Wenn ihr beide nicht Klartext reden könnt, wird sich aber nichts ändern.

Das Aussperren ist doch Quark.

Ihr seid erwachsen (auch wenn deine Sprache nicht so klingt), dann verhaltet euch auch so.

Redet halt mit ihm. Bietet an, er kann einen oder zwei Abende pro Woche bei euch verbringen, die anderen Tage möchtet ihr als Familie ohne ihn verbringen.