Umzug in einen anderen Ort und gemeinsames Sorgerecht

Ich bin momentan am überlegen, ob ich in meinen Heimatort (ca. 90-100km entfernt von hier) zurückziehe, wo ich auch Unterstützung von meiner Familie und meinen Freunden hätte (es ist nicht so wirklich einfach mit 2 behinderten jüngeren Kindern und einer extremst pubertierenden Tochter, bei der nun auch noch ADS festgestellt wurde). Ich lebe hier in diesem ort sozusagen ein Einsiedlerleben und ein soziales Netz ist Mangelware, das aber hätte ich in meinem Heimatort.
Meine Kinder würden sich sehr drüber freuen in die Nähe von Oma und Opa zu ziehn, ich bin momentan auf der Suche nach der richtigen beschulung für alle 3 (der Kleine wird dieses jahr auch eingeschult).

Problem 1: Ex hat nen Riesenaufstand gemacht, will nicht daß wir umziehn, auf mich und die beiden Großen hätte das keine Auswirkungen, nur eben auf unsern Kleinen, der ist nämlich von ihm und wir haben gemeinsames Sorgerecht. Trotz daß wir Tür an Tür wohnen hat er das letzte mal den Kleinen vor ca. nem Jahr zur Übernachtung gehabt, weils ihm zu anstrengend ist, er holt ihn momentan 1-2 mal im Monat für ne Stunde rüber. Mit sämtlichen Sachen, wie z.B. Wahl der Förderschule, ärztliche Gespräche etc. will er nichts zu tun haben, zieht sich aus allem raus.

Problem 2: Ich krieg den Umzug nicht alleine finanziert. Ich hab zwar schriftlich von der Arge, daß ein Umzug dringend erforderlich ist, aber das beinhaltet ja sicher wohl nur einen Umzug in der Stadt.

Bevor ich diese Idee wieder wegpacke und den Kopf in den Sand stecke, bitte gebt mir mal Input. Vorteil für mich wäre eben, ich hätte Unterstützung, jemanden der einspringt, wenn ich mit dem Kleinen wieder stationär muß, wenn ich Termine habe, evtl. sogar, wenn ich ne Umschulung anfange. Nachteile eben, die Umzugskosten und das Nein vom Vater meines Jünsten.