Umzug, gemeinsames Sorgerecht, Aufenthaltsbestimmungsrecht liegt bei dem Vater

Schönen guten Tag,

mein Freund und ich würden gerne zusammen ziehen. Er hat einen 7 jährigen Sohn aus erster Ehe. Das Sorgerecht liegt bei ihm und der Kindsmutter. Das Aufenthaltsbestimmungsrecht wurde aufgrund eines Prozesses bereits vor 5 Jahren im Zugesprochen. Die Mutter nimmt den Sohn nur alle zwei Wochen am Wochenende und kümmert sich leider sonst nicht.
Wir möchten nun zusammen ziehen und ein Haus erwerben damit wir als kleine Familie weiter zusammen wachsen können. Ich verstehe mich von Anfang an blendend mit seinem Sohn uns wir unternehmen viel gemeinsam.
Nun haben wir der Mutter eröffnet das wir umziehen möchten. Sie wohnt mit ihrem Lebensgefährten ca. 70 km entfernt von meinem Freund und dessen Sohn uns ist damals weg gezogen.
Leider ist sie mit unserem Vorhaben alles andere als Einverstanden und zieht sogar in Betracht das sie den kleinen ganz zu sich nehmen möchte. Wir sind total verzweifelt und wissen nicht was wir tun sollen, weil hergeben möchten wir den kleinen auf keinen Fall. Lieber ziehen wir nicht zusammen.

Kann uns jemand helfen wie dies rechtlich zu betrachten ist. Dürfen wir wirklich nicht zusammen ziehen und uns von dem derzeitigen Wohnort entfernen?