Täusche ich mich da so?

Hallo,
wir hatten gestern einen Streit in der Abteilung. Ein Kollege, geschieden, 2 Kinder, hat er erfahren, dass die Mutter mit den Kindern in ihre Heimat, ca. 50 Km entfernt, umziehen will. Er will das auf keinen Fall und will, dass die Kinder mit ihrer Mutter hierbleiben.
Nehmen will er die Kinder aber auf gar keinen Fall, denn "er muss ja arbeiten". Ich bin der Meinung, dass er es dann vergessen kann. Er meint, seine Ex kann gerichtlich dazu gezwungen werden, den Umzug abzublasen.
Aber man kann doch einer erwachsenen Frau doch nicht verbieten, umzuziehen. Er kann doch nur verbieten, dass die Kinder wegziehen. Oder täusche ich mich da so?
Aber wenn er sie nicht will, wird doch kein Gericht der Welt die Kinder der Mutter wegnehemen und sie z.B. in eine Pflegefamilie stecken.
Ich bin mit meiner Meinung ziemlich allein dagestanden und wollte hier mal interessehalber nachfragen. Das kann doch nicht so gehandhabt werden.
Viele Grüße