für mich gehört eine Erklärung zur Höflichkeit

ich kenne es auch, in dem mich umgebenden Dunstkreis, auch nicht anders. Eine Erklärung gehört dazu.

Nein, man muss sich nicht erklären. Man kann einfach absagen. Das würde ich persönlich aber eher als negativ auffassen und zukünftig den Kontakt meiden.