Wie kann man nur so sein >

Wieso rechtfertigt Du Dich? Du weißt, das Du eine gute Mutter bist und punkt. Lass Dich doch nicht von ihm verunsichern, ärgern und schon gar keine Gewissenbisse einreden für irgentwelchen (seltenen!) Tag/Nacht, den er anderweitig beaufsichtigt wurde.
Wenn der Erzeuger eh nichts mit Deinem Sohn am Hut hat, sprich Umgang und so, würde ich die Nummer ändern. Das hält ihn weg (telefonisch) von Dir und Deinem Kind. Und lass ihn doch reden. Er wollte Dich treffen und Du läßt Dich treffen - steh drüber. Andere können viel reden - hauptsache Du weißt das alles in Ordnung ist!!!