Bin ich verpflichtet das Kind zum Vater zu bringen und zu holen?

ich habe mich vor 1,5 jahren von dem Vater unseres Sohnes getrennt. Wir haben bis Mai beide in Bayern gewohnt. Nun ist er zum 31.4 in seine Heimatstadt Bremen gezogen. Ich habe unseren Sohn ende Mai für 5 Tage hoch gefahren und auch wieder abgeholt. Ich kann mir das ständige fahren aber finanziell nicht erlauben.
Mein Ex freund zahlt keine Unterhalt, er bezieht Hartz 4 und nun bedroht er mich regelmäßig per tel und internet, ich müsse das Kind zu ihm fahren und er würde sonst einen Anwalt hinzuziehen usw.

Ich habe ihm sogar angeboten das er, solange unser Sohn noch klein ist und mein ex nicht arbeitet, das der kleine 1 woche im monat zu ihm kommt und ich ihn sogar abhole. Nur beide fahrten kann ich mir finanziell nicht erlauben.

Bin ich verpflichtet ihn zu bringen und zu holen?