Zwei getrennte Probleme...

Die Kinder haben es sicher auch nicht leicht... die Mutter spricht davon, dass sie weg müssen, wenn sie älter sind und beim Vater sind sie auch nur Besuch.
Ich würde - an der Stelle des Vaters - dafür so viel Verständnis aufbringen, wie möglich.

An deiner Stelle würde ich mich aber raus nehmen, denn du bekommst nichts positives entgegen gebracht.
Es sind seine Kinder und wenn sie bei ihm sind dann soll ER sich um sie kümmern und ich wäre komplett raus. Das würde dann auch nicht in meiner Wohnung stattfinden.