Wir kommen wegen der Kinder nicht auf einen Nenner

Wenn eine schriftliche Regelung nicht gewünscht ist, ok... muss nicht sein.

Was aber m.E. dringend abgesteckt werden muss, ist der Rahmen, in dem diese "spontanen" Treffen dann stattfinden sollen. Ein bisschen Vorlaufzeit brauchst Du ja, sonst kannst du nicht planen oder musst unter Umständen Deine Termine ständig umwerfen.
Arbeitet dahin gehend Regeln aus. Z.B.: Ein Besuch muss eine Woche vorher angekündigt werden, damit eure Termine entsprechend koordiniert werden können.
So ganz spontan wäre nur ein weiterer Stressfaktor...