Streit übers Kind austragen?

Hallo,

ich habe ziemliche Probleme mit dem Vater meiner Kinder.
Ich fühle mich teilweise sehr bedroht durch ihn und würde ihm die Kinder eigentlich gerne nicht mehr geben. Aber dann denke ich, ich trage meine Probleme mit ihm über die Kinder aus...
Er will die Kinder sehen wann es ihm passt, auf Besuchszeiten läßt er sich erst gar nicht ein. Mich selber behandelt er wie den letzten Dreck und ich habe ehrlich Angst vor ihm.
Aber ab wann wäre es entschuldbar dies "über die Kinder aus zu tragen"? Ich kann hier leider nicht genau beschreiben, wie ich mich fühle, aber ich brauche dringend eure Ratschläge und bin dankbar über jede Antwort.

P.S. von unserem Sohn (5 Monate) hat er nicht mal die Vaterschaft anerkannt und Unterhalt zahlt er weder für ihn, noch für unsere Tochter (3 Jahre)