Kinderwochenende der Patchworkkinder

Hallo ihr Lieben,
Ich brauche Rat. Die Kinder meines Freundes sind 6 und 8, meine beiden Teenager. Unsere Kinder untereinander verstehen sich sehr gut. Die Mutter seiner Kinder wohnt ca eine halbe Stunde entfernt. Die Kinder sind 1x/wo. über Nacht bei uns und alle 2 Wochenenden. Ich verstehe mich mit seinen Kindern, er sich mit meinen. Wir sind im Patchwork also eigentlich eine der Familien, die es gut getroffen haben. Ich habe mich immer gefragt, warum viele Frauen sich lieber nicht auf Patchwork einlassen wollen, ich hab Kinder total gerne, aber mittlerweile kann ich es verstehen.
Ich fühle mich unglaublich fremdbestimmt. Die Kleinen, also seine Kinder, streiten sich gerne mal miteinander, sie haben ja einen recht kleinen Altersunterschied. Die Große ist sehr gerne bei uns, die Kleine will eigentlich lieber bei ihrer Mama sein, versucht dies auch auszunutzen (wenn,dann,nicht… will ich aber zur Mama ) und ist ja auch in einem Alter voller Umbrüche (1. Klasse, neue Situationen, Trennungssituation macht ihr auch zu schaffen), sie reden am Tisch rein, fordern ständig Aufmerksamkeit. soweit verständlich, man wusste ja, worauf man sich einlässt, nicht wahr. Die Mutter ist leider gar nicht zugänglich, sie hat ihre neue Familie, der Papa soll einfach mitziehen, was sie so entscheiden (Aktivitäten, Hobbys, Schulwahl,…), sonst gibt es Drohungen und Beleidigungen. Sie möchte, das die Kinder so wenig wie möglich bei uns sind, ärgert immer wieder. Der Versuch einer Erziehungsberatungsstelle ist ebenfalls gescheitert, sie fand es unnötig und wollte nach Termin 3 nicht mehr hingehen. Geändert hat sich kaum etwas. Oder nichts. Von außen betrachtet wirkt ihr Verhalten, als ob er sich getrennt hätte und sie ihn dafür so oft wie möglich bestrafen will. Die Trennung ging aber von ihr aus und ist gut 4 Jahre her. Irgendwann muss es doch mal gut sein.
Problem: ich (und meine Kinder) sind davon auch betroffen! Und es ärgert mich maßlos. Und machen kann ich- nichts.
Meine Wochenenden, oder meine Zeit (also auch alle Ferien) an denen die Kinder da sind, richten sich also nach den Kleinen und am langen Arm auch nach ihr. Das erschöpft mich. Sie verfügt gefühlt über meine Zeit und im Wert stehen wir tiefer als die Großeltern (ihre Eltern natürlich )
Ich ertappe mich immer mehr dabei, nicht dabei sein zu wollen, die Zeit zu meiden, leider etwas vorzuhaben. Aber das geht so nicht, damit schlittert die Beziehung direkt ins Aus. Was kann ich tun, um damit besser umzugehen, wie macht ihr anderen das?