Das ist doch nicht so schwer - noch hast du ja nicht zugesagt

".." und ich depp sag noch "ja gute Idee telefonieren wir noch wegen den tag" ahhhhhh, aber ich will nicht. "

Ja dann lass ihn halt auf dieses Telefonat warten bis zum Sanktnimmerleinstag. Und wenn er dich doch mal am Telefon oder gar persönlich erwischt, dann: Ausrede, Ausrede, Ausrede, irgendwelche Gründe, warum ihr da grade nicht könnt. Es gibt so viele mögliche Ausreden. Seid fantasievoll oder googelt einfach, aber legt sie euch auf jeden Fall vorher zurecht.

Am einfachsten und ehrlichsten wäre natürlich die Holzhammermethode zu sagen, dass ihr keinen Bock auf ihn habt. Aber das kannst / willst du ja offenbar nicht.
Durch die Freundschaft der Kinder ist das ja nun auch nicht so einfach, den Vater derart vor den Kopf zu stoßen. Kann ich verstehen. Ich bin auch eher der diplomatische Sich-vor-Verabredungen-Drücker und Ausflüchte-Sucher. Und die meisten Leute melden sich dann auch nicht mehr.
Dass uns jemand sowas von penetrant nachläuft, hab ich auch erst einmal erlebt. Zum Glück sind die dann aber weggezogen.