Eskaliert

Ich würde da nicht ein paar Wochen warten.

Fange an zu dokumentieren! Alles aufschreiben, was dagegen spricht, dass das Kind bei Papa bleibt.

Gehe umgehend zum Jugendamt! bespreche die Situation mit denen! Sage ihnen dass du bei deinem Mann bleibst, weil du nicht ohne Kind gehen möchtest.
Ich denke es wird nicht leicht, das Aufenthaltsbestimmungsrecht zugesprochen zu bekommen, da dein Mann und seine Mutter sich nenmal tagsüber um den Kleinen kümmern.
Schlage am besten gleich einen Plan vor (zwei Nachmittage die Woche + jedes Zweite Wochenende darf der kleine zu Papa)

Sei ihm immer einen schritt vorraus.

Geht der Kleine in eine Kita? Dann spreche mit den Erziehern, erkläre ihnen die Situation!

Suche dir Hilfe von außen!
Spreche mit deinen Hausarzt, beantragte eine Mutter-Kind-Kur..