Bin am Ende....

Um ehrlich zu sagen finde ich das keine Basis einer Beziehung, dass er dir das Kuscheln mit deinen Kindern verbietet, wenn er da ist. Ich nehme mal an er mag deine Kinder nicht und ihm wäre es lieber sie wären nicht da.
Das ist eine ganz schwierige Situation - vor allem, wenn dann das gemeinsame Kleine kommt. Das wird dann auch immer vor den Augen deiner Kinder verwöhnt und die beiden anderen haben ständig das Gefühl benachteiligt zu sein - nur dass, es jetzt auch dein Kind ist, das verwöhnt wird und so werden sie es noch weniger verstehen als wenn er bloß seine Tochter verwöhnt.
Ich würde mal richtig Klartext mit ihm reden, denn so kann es nicht weitergehen - da tun mir echt deine Kinder leid.
Du musst lernen nicht alles hinzunehmen sondern mal laut "NEIN" zu sagen. Er hat dich mit Kindern kennengelernt und nun ist das mal so.
Die Wohnung finde ich eine gute Idee. Würde da schon mal testen wie es wäre, wenn du von ihm getrennt wärst. Ich will jetzt keinen Teufel an die Wand malen, aber eine Beziehung auf dieser Basis sehe ich scheitern.