Im schlimmsten Fall,

wenn du ohne Grund den Umgang verweigerst kann dir das Sorgerecht entzogen werden.
Du selber kannst also gar nicht bestimmen ob der Vater Umgang in welcher Form haben kann sondern das JA und evtl. ein Richter.
Dass evtl. was passieren könnte interessiert nicht die Bohne.
Selbst wenn er dir gegenüber gewalttätig war aber dem Kind nicht darf er Umgang haben.
Ganz vorsichtig wäre ich beim JA mit Aussagen dass er dem Kind gegenüber gewalttätig war wenn du es nicht belegen kannst.
Sowas hören Richter nämlich zur Genüge und glauben es nicht.
Umziehen kannste bei alleinigem SR wohin du willst, aber das Umgangsrecht des Vaters darf nicht drunter leiden.
Es kann also dann tatsächlich passieren dass du dich an den Fahrtkosten beteiligen musst weil du die Entfernung herstellst.
LG Tanja