Zusammenziehen zu sechst - Unsicherheit

Hallo ihr Lieben,
wir sind gerade in folgender Situation: ich wohne mit meinen beiden Kindern (6 und knapp 8 Jahre) noch im Haus meiner Eltern seit meiner Trennung vor 3 Jahren. Mein Partner wohnt ca. 12 km entfernt in seiner eigenen Wohnung mit seinen beiden Kindern (11 und 14 Jahre) die seit Ostern dauerhaft bei ihm leben. Wir sind seit 2,5 Jahren zusammen. Die Kinder kommen prima miteinander aus.
Ich möchte von zuhause raus, da unsere Wohnung zum einen für uns immer enger wird und ich einfach unabhängig von meinen Eltern leben möchte. Nun stand für uns schon oft die Frage nach dem zusammenziehen im Raum. Da mein Partner selbstständig ist hat er noch ein wenig Schwierigkeiten, Struktur in den Familienalltag zu bekommen was ich wenn ich tageweise mit meinen Kindern da bin recht gut auffangen kann da ich es einfach gewohnt bin, organisiert zu sein.
Wir haben beide großen Respekt vor dem zusammen ziehen, mein Partner meint immer wieder, dass ich die Zelte bei meinen Eltern nicht ganz abbrechen soll aber ich möchte nicht mehr wie bisher ständig tageweise hin und her pendeln. (Montag bis Mittwoch sind wir zuhause, Donnerstag bis Sonntag bei ihm oder meine Kids alle zwei Wochenenden beim Papa) Meine Tochter ist im derzeitigen Wohnort in der Schule und mein Sohn im Kindergarten. Würden wir zu meinem Partner ziehen müsste meine Tochter (wie seine Kinder) mit dem Bus zur Schule fahren und meinen Sohn müsste ich selber fahren, da er kein Bus fahren darf. Er kommt erst nächstes Jahr in die Schule.
Ich hatte mir auch schon überlegt, eine Wohnung zu suchen aber mein Partner und ich würden uns nur am Wochenende sehen und das ist mir und auch ihm zu wenig. Ich wünsche mir einfach ein ganz normales Familienleben. Er hat auch schon davon gesprochen eine Putzfrau einzustellen da er mit dem Haushalt alleine nicht hinterher kommt. Das würde aber für mich als Familienmitglied dazu gehören und Hausarbeit macht mir nicht wirklich etwas aus.
Ich habe einfach meinen ganzen Hausrat bei meinen Eltern den ich nicht zu ihm mitnehmen könnte. Das hin und her Gependel bringt in mein Familienleben sehr viel Unruhe rein zumal meine Kinder alle zwei Wochenenden ja auch noch bei ihrem Papa sind. Seine Kinder sind nur in den Schulferien bei der Mutter - wenn überhaupt.
Ist grad alles irgendwie verzwickt.