KV setzt mich unter Druck

Hallo, bin neu hier und möchte kurz mein Problem schildern :)

Also der KV und ich sind seit einem halben Jahr getrennt, nicht verheiratet und ich habe alleiniges SR für meinen 7 Monate alten Sohn. Er droht mir ständig damit, mir den kleinen wegzunehmen um sich an mich zu rächen, weil ich ihn verlassen habe. Er nimmt sich immer raus, bestimmen zu können wann er das Kind abholt und wiederbringt. Ich gehe da natürlich dann gegen an und sage ihm, das er sich nach dem Rhytmus des Kindes richten muss. Das versteht er nicht und denkt, ich will ihn nur ärgern und bevormunden! Tue ich nicht was er sagt, will er zum JA usw. und das alleinige SR oder gemeinsame SR beantragen. Dann, so sagt er, könnte ich nicht mehr entscheiden so wie ich will :/ Aber ich tue es ja nicht um ihn zu ärgern... Ich höre dann das ich nicht so auf Übermutter tun soll usw :/ Er hat den kleinen vor 2 Wochen nicht geholt und mir vorher die Hölle heiß gemacht, oh wehe er bekommt den kleinen nicht. Aber dann kam er nicht mal... jetzt ist wieder "sein" We und er hat sich bis jetzt nicht gemeldet. Der kleine ist zusätzlich noch krank und es sind ja nun wieder 3 Wochen vergangen. Und ich finde das es eine lange Zeit für ein Baby ist. Was denkt ihr, soll ich nun tun falls er sich meldet? Bekomme ich Stress wenn ich den kleinen nicht rausgebe, eben weil er krank ist und ich Angsthabe, das er seinen Vater als fremden ansieht??