Aufenthaltsbestimmungsrecht, kann mich mal jemand aufklären

Hier eskaliert gerade etwas der Umgang.
Generell bin ich immer bemüht im Sinne des KIndes für ausreichenden Umgang zu sorgen. Es handelt sich hier um ein Kleinkind von 20 Monaten, was der Vater bisher jedes Wochenende beide Tage für mehrere Stunden hatte und unter der Woche war der KV fast jeden Abend für mehrere Stunden noch hier in meiner Wohnung, bis der Kleine ins Bett ging.

Finde dementsprechend nicht, dass er sich diesbezüglich beklagen konnte.

Nun ist der KV seit neuestem arbeitslos und hat viel Zeit. Und ist nun der Meinung, er könne sein Kind täglich haben. Am Besten von morgens (natürlich nicht vor 10 Uhr, der Herr muss ja ausschlafen und dann bis abends). Er beruft sich hierbei auf das geteilte Sorgerecht und meinte somit wäre es sein Recht, dass Kind die halbe Zeit (also täglich 12 Stunden) zu haben.

Mir ist schon klar, dass das Sorgerecht nicht in Verbindung mit der Umgangsdauer steht, ihm aber halt nicht.

Mal kurz die Fakten. Gemeinsames Sorgerecht, vor 7 Monaten zog ich mit dem Kind 500 m weiter in eine eigene Wohnung.

Wer hat das Aufenthaltsbestimmungsrecht? ich oder wir beide? Ist es sinnvoll bei diesen Problemen, es zu beantragen, wenn ich es noch nicht habe?

Kind geht gerne zum Vater, aber ich bin die erste Bezugsperson. Man merkt dem Kind deutlich an, wenn er zu lange von mir getrennt war, klebt dann nur an mir, schläft abends nicht ein, bzw. wacht sofort auf, wenn ich nicht neben ihm liege.
Nachts wird er auch noch gestillt, daher steht eine Übernachtung noch nicht zur Diskussion. Allerdings fordert mittlerweile nach zu langem Vateraufenthalt der Zwerg auch wieder ständiges Dauerstillen ein.

Ich wäre durchaus für 5x wöchentlich 3-4 Stunden zu haben, aber das reicht dem Vater nicht. Er diskutiert jeden Tag aufs neue, ruft hier 25x an. Wenn ich nicht ans Telefon gehe, ruft er auf dem Handy vom Großen an und lässt sich mit mir verbinden. Ist echt nervig, belastend und ich bekomme hier auch irgendwie kein geregeltes Familienleben hin, wenn ständig der KV wieder vor der Tür steht. (beispielsweise war der Zwerg heute Vormittag für 4 Stunden bei ihm und jetzt schickt er SMS, dass er ihn aber auf jeden Fall heute Abend nochmal sehen will).
Ich wird hier kirre!

Er geht noch nicht in den Kiga, ich bin noch in Elternzeit mit ihm zu Hause.