mit SR hat das nichts zu tun

Ob nun alleiniges oder geteiltes SR spielt für mich in der Sache keine Rolle. Wichtig wäre zu wissen, ob er sich zuverlässig um das Kind kümmert. Ich nehme an er tut das, denn sonst würdest du sie wohl kaum Tage lang zu ihm lassen.
Weil du das alleinige SR hast hat er dennoch so viel Recht auf sein Kind wie du... wenn er die halben Ferien möchte dann diese auch.
Du wünschst dir, dein Kind hätte keinen Kontakt?
Dein Kind ist auch sein und nicht dein Eigentum.