Vorschlag:

Stell die Frage mal im AE.

So wie ich es hier sehe, sagen alle AEs, dass Du das Kind zur Feiern lassen sollst (ob nun mit Übernachtung Deinerseits, Hin- und Rückfahrt an einem Tag, oder anderem Konstrukt).

Denke mal darüber nach, warum die AEs (ggf. auch schon wieder im Patchwork lebend) Dir dies raten bzw. dafür sprechen.

Wir haben das durch!

Der Großvater väterlicherseits ist auch komplett auf der Seite seines Sohnes und hat das mir gegenüber auch schon raus hängen lassen. Ganz ehrlich: ich steh' da drüber. Die Großeltern sind wichtig, denn sie sind eine Konstante im Leben, sie sind "die Herkunft" und eine Trennung bringt eben so manche Sache mit sich, bei der man über sich hinaus wachsen und Größe zeigen muss.
Bei Dir fängt es mit dem Geburtstag des Opas an. Es wird weitergehen. Die hier angesprochene Next wird kommen und wird zwangsläufig Umgang mit dem Kind haben.

Wenn der Vater sich kümmert und aktuell noch kein Sorgerecht hat, dann wird er es vermutlich irgendwann mal beantragen - und er wird es bekommen. Das wird Dich ärgern, aber Du wirst damit leben müssen.
Seine früheren Sünden, euer Trennungsgrund und auch die Nächte in der Kneipe spielen da keine Rolle.

Irgendwann wirst Du einen Partner haben und wahrscheinlich die freien Wochenenden, in denen euer Kind beim Vater ist, genießen. Vielleicht ist auch mal ein Großeltern-Wochenende drin.

Ermögliche Deinem Kind trotz Trennung den Kontakt zu SEINER kompletten Familie. Lass' es nicht zerrissen aufwachsen!