Kennt sich jemand aus?

Rechtlich gesehen ist es so, wenn Ihr Euch nicht einigen könnt: Er müsste sein Recht gegenüber dir durchsetzen. D.h. wenn du dich weigerst ihm das Kind alleine zu überlassen, müsste er vor Gericht ziehen und seinen (erweiterten) Umgang einklagen. Dann würden beide Seiten ihre Position vorbringen, deine Bedenken würden also auch gehört werden. Unter Einbezug der Argumente, des Kindesalters und der Umgangssituation bis dahin würde dann entschieden werden in welchem Umfang der Umgang in Zukunft stattfindet.Alternativ könntet Ihr Euch vom Jugendamt beraten lassen bzw. mit Hilfe von dort eine Einigung erzielen.
Dein Kind ist noch sehr klein und die Umgangssituation ist nicht optimal, daher hättest du gute Aussichten, das mit der Übernachtung zumindest vorerst zu verhindern.
Der Umgang sollte schrittweise ausgebaut werden und verbessert werden, darauf würde auch ein Gerichtsentscheid hinauslaufen, zur Not als betreuten Umgang, falls er es nicht allein hinbekommt.
Lass dich nicht einschüchtern und folge auch deinem Gefühl bezüglich der Gewährleistung der Sicherheit deines Kindes. Mein Ex hat sich auch immens unbeholfen angestellt - da kommen in Foren eigentlich immer Sprüche von wegen, man solle nicht übertreiben und froh sein, dass er auftaucht etc. Ich frage mich aber, ob die Leute, die sowas sagen, auch schon im Hechtsprung aus der Luft ihr wenige Monate altes Baby auffangen mussten, weil der KV es fallen lassen hat und ähnliche "Späßchen". Man sollte sich da weniger von Meinungen beeinflussen lassen, denn man kennt ja die Situation auch im Vergleich mit anderen Leuten (wie du ja sagst ist es bei deinem Partner kein Problem) am besten.
Und falls er einen Anwalt einschaltet, der dir dann irgendwas schreibt von wegen dass du dich strafbar machst und was nicht, gar nicht drauf eingehen, Anwälte labern viel, wenn der Tag lang ist, und bevorzugt das, wofür sie bezahlt werden, was nicht immer der Rechtslage entspricht.