Kindsvater will täglichen Kontakt

Hallo ihr Lieben,
ich muss mich mal kurz ausheulen...
Bin vom Kindsvater seit Anfang/ Mitte der Schwangerschaft getrennt und unser Sohn ist jetzt drei Wochen alt.
Er ist interessiert.. Hat die Vaterschaft anerkannt und will auch viel Kontakt haben - was ja schön ist aber es wird mir gerade alles zu viel.
Mein kleiner braucht viel Ruhe.. Ich auch und er fragt jeden Tag wie es ihm geht und ob er kommen kann.
Er bleibt dann auch immer ewig lange und merk nicht wenn es Zeit ist zu gehen.
Ich finde es ja schön dass er interessiert ist aber wir sind nunmal kein Paar mehr und ich ertrage ihn nicht täglich.
Der Kleine ist ja auch noch so jung und wenn er älter ist kann er ihn ja auch mal holen etc aber momentan ist mir das alles zu viel.
Er tut dann auch immer so als seien meine und seine Familie eine gemeinsame große Familie.
Bin ich zu egoistisch, weil ich ihn nicht so oft hier haben will?
Ich weiß nicht wie ich ihm das "nett" klarmachen soll....