Umgangsrecht... Wer kennt sich aus?

Mein Sohn ist jetzt fast 7 Jahre alt. Sein Vater hat uns sitzenlassen als mein Sohn knapp 2 Jahre alt war. Seitdem hat er sich nicht gekümmert, keinen Unterhalt gezahlt, er hat sich nicht gemeldet. Bis jetzt. Auf einmal erinnert er sich, dass da ja noch ein Kind ist. Er will sein Besuchsrecht wahrnehmen. Angeblich war er auch beim Jugendamt und hätte einen Antrag gestellt. Allerdings war das vor 2 Monaten, bei mir ist noch nichts angekommen. (Merkwürdig oder?)
Jedenfalls möchte ich nicht, dass mein Sohn Konktakt zu ihm hat. Weil er kein wirkliches Interesse an sein Kind hat. Das hat man die letzten 5 Jahre gesehen. Er würde ihn ein paar mal besuchen und das wäre es dann wieder. Ich muss das meinem Sohn nicht antun. Jetzt hab ich von einem Bekannten gehört, dass, wenn ein Vater sich 4 Jahre nicht gekümmert hat, die Mutter das Besuchsrecht verweigern kann. Ist das richtig? Und wenn ja, gibt es auch Gesetzestexte?