was würdet ihr machen?

Wenn er wirklich keinen Besuch will, würde ich das respektieren (müssen)
Wenn es ihm "nur" zu anstrengend ist, würde ich auch versuchen Kompromisse zu finden (ohne Kinder oder nur mit dem Kleinen, woanders übernachten, nur kurzer Besuch, essen mitbringen, etc.)

Vielleicht ist es ihm auch nur an seinem Geburtstag zu viel und ihr findet einen anderen Termin?