ich sehe grade, ihr kennt die Enkel seit Geburt

das heißt ja für die Kinder ist es immer der Opa gewesen (und nicht plötzlich jemand aufgetauchtes) auch wenn die Tochter nie bei deinem Mann aufgewachsen ist.

Das wäre das gleiche dein Kind zieht später weg und ihre/seine Kinder kennen euch auch nur sporadisch am Telefon oder 2 x im Jahr.

Würdest du generell auch deine leiblichen Enkel nicht in den Ferien betreuen einfach weil du deine Freiheit haben willst?
Dann kannst du das deinem Mann sagen, wenn er das gerne möchte kann er mit seinen Enkeln Urlaub machen in einem Park vielleicht wenn es dich so sehr stört.

Für mich liest es sich eher als wolltest du deinen Mann nicht teilen oder dir ist es zu blöd auf der einen Seite ein ältere Vater und gleichzeitig Opa genannt zu werden?!