Ich weiß nicht was ich tun soll...?

Dass ausgerechnet ER "sich hier noch nicht ganz lösen" will, finde ich eine verdrehte Argumentation. Dafür bist Du ja aber "hier" komplett festgenagelt.

Er schwirrt während der Woche familienunbelastet "draußen" herum (okay, okay, er arbeitet währenddessen ja auch) und schaut am WE dann mal eben bei der Family vorbei. Ihm genügt es; dir nicht - das ist schon mal der große Unterschied zwischen Euch.

Mir würde seine Argumentation sowieso allmählich zu denken geben. Entweder Ihr seid eine Familie, oder Ihr seid es nicht. Das spürst Du langsam auch. Bist Du sicher, dass er kein Doppelleben führt?

Im übrigen kann man sich bei Fernbeziehungen auch unmerklich auseinanderleben. Und es dann zu spät merken.

Du wirst Dich entscheiden müssen: bequemer Job zuhause und Kind, das - vermeintlich - da glücklicher ist. Oder Eure Familie und Partnerschaft. Eins davon wird auf Dauer den Bach hinuntergehen.
(dass das Kind nicht weg will, ist kein Argument. Vielleicht ist es am neuen Ort glücklicher; das weiss man vorher nicht. Am wichtigsten für das Kind sind glückliche Eltern.)