Probleme mit den Schwiegereltern

Hallo,
ich brauche mal eine unabhängige Meinung von euch. Ich habe mich vor 5 Monaten aus gutem Grund von meinem Freund getrennt. Er ist absolut unzuverlässig, war andauernd mit Freunden in Kneipen etc, kam betrunken nach Hause, hat im letzten Jahr 2x seine Arbeit verloren, da er auch da unzuverlässig war. Und am schlimmsten war es, dass er sein Spaßleben auf unsere Kosten geführt hat. Er hat unser gesamtes Einkommen auf den Kopf gehauen, so dass ich mit einem kleinen Baby ohne einen Cent in der Tasche da saß... Wir haben einen gemeinsamen Sohn, der in 4 Wochen ein Jahr alt wird. Mit ihm bin ich dann zurück zu meiner Familie gezogen, was etwa 180 km entfernt von meinem Freund und dessen Eltern liegt. Obwohl meinem Schwiegervater die ganze Problematik bekannt ist, erhebt er schwere Vorwürfe gegen mich, da ich ihm ja jetzt seinen Enkel weggenommen hätte. Dass ich das einzig richtige für meinen Sohn gemacht habe, interessiert ihn nicht. Er sieht nur seine eigenen Interessen und ist jetzt sauer, da er meinen Kleinen nicht alle paar Tage besuchen kann.
Nach einigen wüsten Beschimpfungen seinerseits habe ich den Kontakt abgebrochen, da ich darauf einfach keine Lust mehr hatte.
Nun ist es so, dass mein Ex doch bemerkt hat, dass sein Verhalten nicht so toll war und hat mit vielen Beteuerungen versucht uns zurückzubekommen. Ich bin konsequent geblieben, woraufhin er vor 1 Woche in den selben Ort wie wir gezogen ist, um seinen Sohn regelmäßig sehen zu können. Nachdem ich 3 Monate lang eigendlich nichts von ihm gehört oder gesehen habe, tritt er somit erneut in unser Leben und ich muss mich wieder mit einem sehr egozentrischen Menschen rumschlagen.
Jetzt habe ich folgendes Problem: In 3 Wochen feiert mein Schwiegervater seinen 50. Geburtstag und mein Ex möchte mit meinem Sohn dorthin fahren. Zunächst hat er verlangt, dass ich auch mitkommen solle, ich habe aber dankend abgelehnt. Ich möchte aber eigentlich auch nicht, dass mein Sohn dahinfahren muss. Er kann sich bestimmt nicht mehr an die Familie meines Ex erinnern, außerdem ist er auch mit seinem Vater noch nicht wieder so vertraut. Ich stille ihn nachts auch noch, er schläft auch immer bei mir im Bett und hat noch nie woanders übernachtet. Ich denke, dass es für meinen Sohn nur Stress bedeuten würde ohne mich dorthin zu fahren. Was soll ich jetzt tun? Muss ich über meinen Schatten springen und mitfahren, obwohl ich das nicht möchte? Oder kann ich aus den genannten Gründen sagen, dass das halt noch nicht geht?
Bin für jeden Rat dankbar!