Tochter will nicht mit dem Vater mitkommen

Hallo! Ich bzw. wir haben ein Problem. Vor einem Jahr hat mein Mann mich mit drei Kindern verlassen, er ist direkt ausgezogen, wir wohnten bis vor kurzem in inserem gemeinsamen Haus, das nun verkauft wurde. Der Umgang mit den beiden Kleinen (5 und fast 3) bestand insofern, dass mein Ex zu uns kam, mit dem eigenen Schlüssel die Tür aufschloss (er bezahle ja auch das Haus) und mit den Kindern Zeit zu Hause verbrachte. Mitgenommen hat er sie in 9 Monaten 4 Mal, für einen Tagesausflug. Seit MAi wohnen wir in unserer eigenen Wohnung und ich möchte ihn hier nicht am Wochenende den ganzen TAg haben, also nimmt er sie fast jedes WE an einem Tag mit, ohne Übernachtung. Das Problem ist nur, dass die Kleine mit ihm nicht mehr mitgehen mag, sie geht mit ihm nicht mal auf die Strasse, um Dreirad zu fahren. Die Mittlere möchte aber gerne. Was mache ich jetzt? Soll ich die Mittlere alleine fahren lassen, oder soll er sich mehr um die Kleine bemühen? Ich möchte keinem meiner Kinder den Vater vorenthalten, aber seine Anwesenheit hier ist für mich aufgrund gewisser Umstände unserer Trennung bloß eine Zumutung. Heute hat er sie wieder mitgenommen, um seinen Bruder zu besuchen. Die Kleine hat so gebrüllt, dass mir fast das Herz brach. Könnt Ihr mir etwas raten?
LG Viktoria