Schwieriges Thema (Sorgerecht)

Hallo,
ich habe heute ein schwieriges Problem, bei dem ich kein offenes Ohr oder Verurteilungen, sondern Rat suche. Der Vater meines Kindes und ich sind seit mittlerweile einem Jahr getrennt. Obwohl wir nicht verheiratet waren, haben wir das gemeinsame Sorgerecht. Ein Fehler, den ich mit meiner rosaroten Brille damals nicht sehen wollte.
Zur Vorgeschichte:
Der Kindesvater war drogensüchtig und wegen Betäubungsmittel vorbestraft. In seiner letzten Gerichtsverhandlung (ca Ende 2018) wurde er zu einer Bewährungsstrafe und Therapie verurteilt. Diese Therapie hat er nicht angetreten und so wurde seine Bewährung widerrufen. Er war 7 Monate inhaftiert und ging anschließend für 8 Monate stationär in Therapie. Seitdem war offiziell kein Vorfall mit Drogen, jedoch war er mehrfach grob zu mir. Ich sage bewusst nicht schlagen, so stark hat er mich nie angefasst. Als der Kindesvater von seiner Therapie nach Hause kam wurde ich direkt nochmal schwanger, ungewollt. Zwischen dem Kindesvater und mir gab es dauerhaft starken Streit. Eines abends trat er mir im Streit in Bauch, während ich meinen Sohn auf den Arm hatte. Der zweite Tritt traf meinen Sohn. Ich sperrte mich ein und er verschwand. Ein paar Tage später eskalierte es wieder zwischen uns und er schubste mich auf die Couch, auf meinen Sohn drauf und zerschlug eine Tür. Für mich war nach dem zweiten Vorfall vor meinen Sohn genug und so rief ich die Polizei. Die Bewährung wurde nicht erneut widerrufen, da es ein anderes Delikt wäre. Mein Vermieter sah von einer Anzeige ab, obwohl es schon die zweite kaputte Tür war und später kam auch noch der Kühlschrank hinzu. Ich habe das Kontaktverbot nie bei Gericht beantragt, kurze Zeit später wurde das Verfahren aufgrund mangelndes öffentliches Interesse fallen gelassen, jedoch wandte ich mich direkt an das Jugendamt. Ich äußerte dort auch meinen Verdacht, dass der Vater das Kind auch grob anfassen würde, wenn ich nicht dabei bin. Damals legte ich viel Wert darauf meinem Kind nicht sein Vater zu entreißen, also beantragte ich kein alleiniges Sorgerecht und einigte mich bei einem gemeinsamen Termin beim Jugendamt auf eine Umgangsvereinbarung, nicht bindend da Jugendamt. Da er immer noch bei mir wohnte war die aber eigentlich hinfällig. Er zog im Mai nach 4 Monaten zusammenleben in Trennung aus, grob geschätzt lief der erste Monat mit den Umgangsterminen, jedoch konnten er und ich nicht mehr in einem Raum bleiben ohne aneinander zu geraten. Auf begleiteten Umgang hätte ich für diese Situation laut Jugendamt kein Recht, da der Kindesvater vom Kind nicht entfremdet wäre. Als es wiedermal mit dem Kindesvater bei einem Umgangstermin eskalierte, klärte ich mit dem Jugendamt und meiner Mutter ab, die Umgangstermine bei meiner Mutter stattfinden zu lassen, da sie neutral für das Kind einstand. Daraufhin meldete er sich bei meiner Mutter zwei Mal mit der Aussage er würde sich die Tage melden, hat dies aber nie eingehalten. Sein letzter Umgang war demnach im August. Das Jugendamt wurde seit dem Auszug über alles auf den laufenden gehalten. Im Oktober wechselten wir die Krippe, also musste ich aufgrund des gemeinsamen Sorgerechts in um ein Treffen bitten. Das hat auch auf Druck direkt spontan geklappt und ich bekam alle Unterschriften.
Nun benötige ich wieder Unterschriften da ich die Betreuungsstunden erhöhen muss, leider möchte die Krippe nicht von der Unterschrift des Kindesvaters absehen. Er hat darauf geantwortet er würde sich darum kümmern, das ist jetzt zwei Wochen her. Nun möchte ich diese Unterschrift einklagen. Eine Unterhaltsklage habe ich auch schon gestellt, da der gute Mann nicht arbeiten möchte, obwohl er für seine zwei Kinder (meins & seiner Ex) unterhaltspflichtig ist.
Ich habe große Angst das alleinige Sorgerecht zu beantragen, da man oft hört das Familiengerichte alles dafür tun, dass die Familie erhalten bleibt und so rechne ich mit einer Umgangsvereinbarung. Dieses Urteil wäre für mich aber die schlimmste Möglichkeit, da er aktuell auch kein Kontakt zu seinem Sohn hat (seinerseits) und ich so Ruhe habe. Seine Ex hat eine gerichtliche Umgangsvereinbarung und dort sitzt er jetzt nur rum, beschäftigt sich aber nicht wirklich mit dem Kind. Für den Fall dass mir etwas passiert würde der Kindesvater ja mein Kind bekommen. Dies und der Krieg um Unterschriften sind für mich nun Anreiz, das alleinige Sorgerecht zu beantragen. Hat jemand Erfahrung und kann mir Tipps oder eine Meinung zu meiner Situation zu geben? Ich habe wirklich Angst den Schritt zu gehen.