Ich sage das sehr selten, aber : Nutze Deine Macht :-)

Denn DU sitzt am längeren Hebel und es wird Zeit dass Du ihm die Macht über Dich abnimmst.
Du bist offen und willst ihn einbeziehen, ihm im Umgang mit den Kleinen keine Steine in den Weg werfen. Das ist super!
Aber er muss sich ab sofort an grundlegende Spielregeln halten, ansonsten würde aus meiner Kulanz ratz fatz das Notwendigste werden.

Sage ihm dass er ! sich Gedanken machen soll ob er das "freundschaftliche" jetzt hinbekommt, ansonsten würdest Du Dich melden wenn die Kinder da sind und man schaut dann mit Hilfe des Jugendamtes nach der Anerkennung wie man den Umgang regelt.
2-3 x die Woche fest 2 Stunden.

Nix spontanes, nix bei Dir abhängen etc.

Er kann das jetzt entscheiden wie es laufen soll.

So Leute wie er stehen doch drauf entscheiden zu können ;-)