kindesvater in die neue wohnung lassen

hallo, lebe seit 4 jahren vom kv getrennt. Mittlerweile bin ich mit meinem neuen partner und dem kind weggezogen, was meinen ex nie gestört hat weil er sich in den letzten 3 jahren nie um seinen sohn gekümmert hat. jetzt wo bald die schule anfängt, will er ihn unbedingt öfters und länger bei sih haben. Uns trennen ca 500km. er will gleich das er eine ganze woche bei ihm bleibt. ich habe gesagt, das das nicht geht da sich unser sohn erst an die neue situation gewöhnen müßte und wenn dann müßten wir erst mal mit einem ganzen tag anfangen. jetzt will er herkommen und den ganzen tag mit ihm verbringen und ihn auch ins bett bringen. da unser verhältnis nicht gerade das beste ist ist nun meine frage ob ich ihn in die wohnung von meinem neuen partner und mir lassen muss?
Danke und lg