Opa kommt mit 4 jährigen alleine nicht klar.

Vielleicht bemerkt Dein Vater Deine Erwartungshaltung, und traut sich nicht, ehrlich zuzugeben, dass er nicht mehr fit genug dafür ist.
Und wenn Deine Nichte dort "fast aufgewachsen" ist: Vielleicht befürchtet Dein Vater - berechtigterweise - dass er dann auch den Kleinen mehr oder weniger andauernd um sich haben wird?
Da hilft nur eines: Reden, nicht wütend sein. Versuche, Deinen Vater zu verstehen.