Streit um Sorgerecht/Umgangsrecht...LANG

Eigentlich bin ich (22 Jahre) hier noch nicht vorstellig geworden. Bin aber um es plump zu sagen mehr oder weniger seid der Schwangerschaft meiner Tochter (4,5 Jahre) alleinerziehend.
Er hat uns schwanger sitzen lassen wegen zig Frauengeschichten und weil er anschließend 13 Monate ins Gefängnis musste (Drogen - auch schon mehrfach vorbestraft wegen anderer Delikte). Ich habe unsere Tochter also allein bekommen. Anschließend war ich so dumm und habe ihn wieder aufgenommen.... das ging überhaupt nicht gut, aber ich dachte ich müsste durchhalten dem Kind zu Liebe...
Doch im Januar 2013 - also nur gut 1,5 Jahre später musste ich ihn rausschmeißen... es ging nicht mehr und endete mit Gewalt. Eine Gewaltschutzklage habe ich eingereicht, aber nach kurzer Zeit zurückgezogen, weil ich nicht Schuld sein wollte den Vater meines Kindes ins Gefängnis zu bringen. Im Nachhinein: Großer Fehler! - ich habe mir zwar damals von ihm schriftlich geben lassen dass er keine Sorgerechtsansprüche bis zu ihrem 18. Lebensjahr geltend macht als Voraussetzung für das zurückziehen der Klage. Aber hat das Hand und Fuß?

Er hat sich dann erst einmal einige Zeit gedrückt sein Kind zu sehen. Wobei ich sagen muss sie hat keine Beziehung zu ihm. Da auch in der Zeit wo er bei uns lebte, er keine Bindung zu ihr hatte. Sie nennt ihn auch nur noch beim Vornamen und nicht "Papa".

Nun ist es so dass ich noch im Mai 2013 mit einem neuen Partner zusammengekommen bin, der meine Tochter akzeptiert als wäre es sein und mit dem ich nun auch im Juni ein Kind erwarte.
Meinem Ex passt das gar nicht und seitdem ist er auf Kriegsfuß und will alles einklagen. Gemeinsames Sorgerecht und das Recht sie zur Übernachtung zu bekommen.

Dabei funktionieren nicht mal die Besuche alle 2 Wochen... bis vor einem Jahr musste ich sie ihm bringen, damit er mal 3-5 Stunden mit ihr spielt. Seit Anfang des Jahres sollte er sie alle 2 Wochen von 10-18 Uhr holen. Aber das haut nie wirklich hin. Entweder er sagt kurzfristig ab, oder er kommt ewig zu spät etc.
Er will mir damit nur eins reinwürgen! Er hat mir bei der Trennung schon gedroht, dass wenn ich nochmal ein Kind mit jemanden anders bekommen sollte, ich schon die Konsequenzen merken werde.

Sein Anwalt mein angeblich er hätte gute Chancen. Aber stimmt das? Klar hat mittlerweile jeder Vater ein Recht auf gemeinsames Sorgerecht. Aber bei uns ist keine Kommunikation möglich. Zudem leben wir 150km voneinander getrennt.

Ich will den Umgang nicht unterbinden. Sondern einen Umgang zum Wohl des Kindes finden. Sie will auch NICHT dort übernachten. Aber wenn das Gericht es so entscheidet muss sie wohl. Sie weint teils dauerhaft weil sie das einfach nicht will.

Was kann ich machen? Ich will das beste für mein Kind!
Hatte jemand eine Ähnliche Situation und durfte das alleinge Sorgerecht behalten und wurde nicht gezwungen das Kind nachts wegzugeben?

Ich bin sehr verzweifelt....

Mein neuer Partner kann mir leider auch nicht weiterhelfen. Wir führen "nur" eine Fernbeziehung...