schneller rat gefragt

Ich würde ihm (ggf. schriftlich) den Umgang in seiner Freizeit zusagen. Gleichzeitig würde ich wegen der Androhung körperlicher Züchtigung auf Aussetzung der Betreuungsvereinbarung mit den Großeltern pochen.

Dann kann er seine Kinder sehen solange er da ist. Punkt. Aus gegebenem Anlass keine Betreuung durch die Großeltern mehr.

Dann verweigerst Du nicht den Umgang.

Wenn er uneinsichtig ist würde tatächlich ich einen Anwalt einschalten um die unsäglich Vereinbarung zu kippen!