Erst mal mit dem Kind selbst reden

und fragen, warum genau er nicht mehr hin will.
Du vermutest etwas - wissen tust du es aber nicht.
Dann mit dem Vater reden - ohne Vorwürfe.

Das es bei diesem keine Halbgeschwister gibt oder einen anderen Ablauf als anbei euch, reicht nicht aus um Umgang auszusetzen oder ein Wechselmodell zu knicken.
Was ist denn, wenn er bei dir mal etwas nicht so toll findet? Die Geschwister plötzlich nerven? Darf er dann zum Vater ziehen oder würdest du sagen, sowas gehört halt zum Leben dazu?

Die Gründe, die du nennst, würden beim JA wohl eher so wirken, als wenn du die Gelegenheit nutzen willst, den Vater abzuqualifizieren bzw. das WM zu kippen.