Mein Ex nervt mich nur noch,brauche Rat :/

Wie gesagt: Du muss Deine Probleme als Paar von eurer beider Rolle als Eltern trennen.

Von daher ist es vollkommen egal, wer wann mit wem und wo was hatte. Die Maus ist gegessen. Das es Dich schmerzt kann ich nachvollziehen. Aber trotzdem darf das in keinster Weise Auswirkungen auf die Vater-Kind-Beziehung haben.

Bezüglich des Hin- und Hers kann ich nur sagen, dass mein Kind damals regelmäßig bei den Großeltern geschlafen hat. Jedes 2. Wochenende. Das war vollkommen problemlos.
Wichtig war dabei aber die Regelmäßigkeit und gewisse Rituale, die dem Kind ein festes Gerüst gaben.

Von demher spricht wirklich nichts dagegen, dass euer gemeinsames Kind regelmäßigen Umgang mit seinem Vater hat. Voraussetzung hierfür: Feste Zeiten, feste Rituale. Das gibt das Gerüst das man braucht. Dann spricht auch absolut nichts gegen ein "beim Vater schlafen". ( ist ja der Vater und nicht eine Übernachtung bei irgendwem).

Unregelmäßigkeiten und Gezerre ist kontraproduktiv, da gebe ich Deiner Kinderärztin recht. Das schafft Verwirrung.

Das Du ihm den Schlüssel zur Wohnung abnimmst ist vollkommen legitim. Er ist Gast bei dir.
Besser wäre allerdings, wenn er sich eine Wohnung in akzeptabler Nähe sucht und die Treffen bei ihm stattfinden. So das er vollkommen entspannt und ohne dich eine eigene Beziehung und eigene Rituale aufbauen kann.

Alles, alles Gute
Sodapop