Besuchswochenenden beim Vater....traurig...

Würde mir Rückendeckung vom Jugendamt holen und die Wochenenden in einen Samstag zu verwandeln.
Kann er den Sohn am Vormittag abholen, was machen und wieder nach Hause bringen.
Lieber kürzer und Spass als lang und sowas.

Wenn es ihm nicht passt kann er ja klagen, und dann wird auch das Kind gehört und sein Wille und Wunsch sind da von ganz großem Gewicht.

Also absichern, Jugendamt und ggf. ein Brief vom Anwalt.
So verweigerst Du nicht den Umgang, schützt aber das Kind.