geht es ihm wirklich ums kind?!

Hallo nochmal,
ich habe zZ ein paar Reibereien (wenn man es so nennen kann) mit meinem Ex-Freund.
Wir haben eine Einigung, dass unser Kind alle zwei WE's zu seinem Vater geht... Damit ist der Herr aber nicht zufrieden und was noch schöner ist, er verlangt jedes WE bei mir zu nächtigen um Fahrkosten und Zeit zu sparen, da er etwa 50km entfernt wohnt. Das kann er sich natürlich abschminken.
Zudem versucht er mich mit unserem Kind unter Druck zu setzen bzw mich zu kontrollieren, was zB einen neuen Partner angeht ect.
Er droht mir sogar oft damit mir den Lütten wegzunehmen.
Ich bin davon nicht sonderlich beeindruckt, denn ich weiß dass es nur leere drohungen sind, die zudem nichtmal nen grund haben.
doch nun stellt sich mir die Frage ob es noch richtig ist meinen Sohn zu ihm zu geben.
Da er ihn nur dazu nutzt mich unter kontrolle zu halten. Was ich sehr traurig finde, denn der kleine liebt seinen papa :(((
ich hab das alleinige sorgerecht...kann ich entscheiden wann und ob das kind zu seinem vater geht oder MUSS ich ihm das kind regelmäßig geben?