Befürchte psych. Schaden beim Kind!

Hallo!
Bin jetzt seit einer Woche mit Zoe (5 Mon.)in meiner neuen Wohnung. Ich merke das es ihr und mir richtig gut tut ohne den negativen Vater zu sein. Sie lacht viel mehr, ich merke das Sie glücklich ist! Heute kam der Vater um kurz nach acht und wollte Sie mit auf ein Stadtfest nehmen, obwohl er weiß das Sie un 9 Uhr ins Bett geht.Mal wieder haben wir miteinander gestritten im Beisein des Kindes! Daraufhin warf ich ihn raus (nachdem er mich aufs übelste beschimpfte). Sobald er auftaucht gibts ärger.Das Schlimmste ist das er die Bedürfnisse des Kindes nicht respektiert. Nun rief ich ihn an und sagte das ich morgen aufs Jugendamt gehen werde u, die Situation schildere. Also, das ich Angst um das Wohlergehen des Kindes habe!
Wir sind nicht verheiratet, haben aber in meiner Schwangerschaft eine Sorgerechtserklärung abgegeben.
Kann ich trotzdem feste Besuchszeiten fordern?
Welche Gründe müssen vorliegen, um das alleinige Sorgerechr zu bekommen?

Danke, Bartheny!