frisch alleinerziehend und eine Frage

Ich habe mal eine Frage aber erstmal zu meiner Vorgeschichte.

Mein Freund hat sich Ende Januar von mir getrennt, wir haben einen gemeinsamen Sohn (3) und ich bin in der 16 Woche Schwanger.
Ich bin am Boden zerstört weil ich ihn immernoch Liebe aber er möchte halt nicht und ich versuche durch Abstand zu Ihm damit klar zukommen.

Da er noch keine eigene Wohnung hat wohnt er zurzeit in einer Wohnung von ner Freundin die leer steht.
Die Wohnung lässt eine Übernachtung von unseren Sohn leider nicht zu da sie zu klein ist.
Er hat den kleinen jeden Dienstag nach der Kita und am Wochenende einen Tag jenachdem wie er kann.Ab und zu noch ein Tag mehr wenn es seine Arbeit zulässt.

Jetzt zum eigentlichen Problem:
Der kleine hat im März Geburtstag und ich habe ihn gesagt das er ihn gerne an dem Tag besuchen kann und ihn sich dann Sonntag den ganzen Tag holen kann.
Samstag ist dann die Feier wo dem kleinen seine Freunde dann kommen.

Jetzt verlangt er von mir das er und seine Familie auch kommen dürfen weil es schliesslich sein gutes Recht ist.Versteht mich nicht falsch ich werde alles daran geben das der kleine regelmäßig seinen Papa hat aber ich will ihn da einfach nicht haben.
Ich kann einfach noch nicht auf heile Welt mit ihn machen und habe auch versucht es ihm zu erklären aber er ist der Meinung da muss ich durch, schliesslich hat er das Recht dazu und kommt einfach.

Was kann ich dagegen machen oder besser gesagt was darf er sich raus nehmen?

Lg