Umgangsrecht Streitigkeiten

Hallo,

ich hoffe ihr könnt mir weiter helfen, bin völlig verzweifelt!
Weiß gar nicht recht wo ich anfangen soll, versuche mich so kurz wie möglich zu halten! Und zwar bin ich seit 1 1/2 Jahren von dem Vater meiner Tochter getrennt! Wir waren nicht verheiratet haben aber das sorgerecht geteilt. Nun ist es so das es seit der Trennung nur Streit gibt, vor allem wegen dem Umgang. Ich bin ihm die meiste zeit hinterher gerannt und habe ihn aufgefordert die Kleine zu sehen. Irgendwann war ich es leid da er immer deutlicher gezeigt hat das von ihm kein wirkliches Interesse besteht! Nun ist es so das er, wenn er mal lust hatte sie zu sehen, sich immer sehr spät (z.B Freitagabend um 22Uhr) gemeldet hat und sagte er wolle sie sehen. Ich habe da meist das Wochenende mit der Kleinen schon geplant und ihn darum gebeten sich bitte rechtzeitig anzukündigen! Seine neue Partnerin hängt sich immer wieder in die Angelegenheiten weshalb es nun vor 4 Monaten eskaliert ist! Er hat seine Tochter auch seither nicht gesehen, hat lediglich zu ihrem Geburtstag angerufen, mehr nicht! Ich bitte auch seitdem um ein klärendes Gespräch, welches er absolut nicht wahrnehmen möchte! Ich habe ihn immer wieder gesagt das es um das wohl des kindes geht und nicht dem was zwischen uns steht! Er möchte sie abholen und ich bestehe wiederrum erst auf ein Gespräch, wo ich unter anderem auch den Umgang ordentlich klären will, da er aber nicht reden will gebe ich ihm die Kleine nicht, mit der Begründung das es kein Gegenstand ist den man hin und her schieben kann wann man will! Wie schon gesagt hat er sie nun 4 Monate nicht gesehen und wollte sie nun mal wieder sehen! Gespräch möchte er immer noch nicht und meiner bitte es langsam angehen zu lassen, also her zu kommen und sie zu besuchen, mit ihr zu spazieren sieht er nicht ein! Wenn nimmt er sie mit in seinen Wohnort und bringt sie später wieder! Die Kleine ist erst 3, er versteht nicht das sie gar nicht mehr wirklich weiß wer er ist und das sie auch etwas zeit braucht! Nun gibt es noch ein weiteres Problem, und zwar bin ich im Dezember umgezogen, er wusste bescheid und hat nie gesagt das er dies nicht wolle, schriflich habe ich leider nichts aufgrund seiner weigerung zu klärenden Gesprächen. Er möchte nun zum Anwalt gehen und sagen das ich ohne Einwilligung umgezogen bin UND ihm den Umgang verbiete! Aber es stimmt ja nicht, ich verbiete ihn nicht, ich möchte einfach nur das er zum Wohle von ihr langsam macht, zeigt das er zuverlässig ist und wir wie zwei Erwachsene Menschen reden und ne Regelung finden!
Meine Frage, was kann ich tun? Ich habe richtig angst aufgrund verschiedener Internetseiten das er mir die Kleine weg nehmen kann!
Ich bin dankbar für jede Antwort und entschuldige mich schonmal für Fehler oder eigenartige Satzformulierung, stehe völlig neben mir.

LG