Wie mit "falschen Freunden" umgehen?

Ich weiß nicht, ob ich hier im richtigen Forum bin und wie ich mein Anliegen formulieren kann.
Bei uns sind ständig der Schulkamerad meines Sohnes (1. Klasse) und seine Schwester, 3. Klasse zu Gast. Die Kinder sind Gott sei Dank sehr umgänglich und fallen auch nicht auf. Das Problem ist in meinen Augen (genauso sehen es die umliegenden Nachbarn auch), dass die Kinder mittags von ihrer Mutter rausgeschickt werden und erst abends wieder nach hause gehen, wo die Kinder sind und was sie gerade machen, dass weiß die Mutter nicht, aber das ist auch nicht mein Problem.
Mein Problem ist, dass mein Sohn natürlich auch mit den beiden unterwegs ist und ich habe ihm schon mehrmals gesagt, er soll mir Bescheid sagen, wenn er woanders hingeht, damit ich weiß, wo er ist. Darauf sagt er, x und y müssen auch nicht Bescheid sagen. Ich sage, ich möchte aber einfach nur wissen, wo er ist. Dennoch ist er dann verschwunden.
Mehrmals habe ich ihm nun schon verboten, mit den Kindern zu spielen, weil ich dann nicht weiß, wo er ist, aber ständig bei mir zuhause will ich sie auch nicht haben, bisher war mein Sohn noch nicht ein einziges Mal dort, angeblich, weil es nicht passt, aber diese Kinder sind ständig bei uns (irgendwie tun sie mir ja auch leid, aber ich kann alleine die Welt nicht retten), außerdem habe ich noch andere Kinder, die auch ihr Recht einfordern.
Wenn wir etwas vorhaben, will mein Sohn nicht mitkommen, weil ja evtl. die Kinder kommen könnten, ich kann doch deswegen nicht meinen kompletten Tagesablauf ändern, sie kommen ja ohne Voranmeldung.
Ich weiß, die Kinder können nichts dafür und sie sind ja umgänglich, aber deswegen hat es schon viele Diskussionen mit meinem Sohn gegeben, ich sage, wenn wir hier sind und es paßt, dann könnt ihr spielen, und du gehst nicht alleine mit ihnen raus, weil du immer vergißt Bescheid zu sagen, wohin ihr geht, am liebsten würde ich den Umgang ganz unterbinden, aber das geht natürlich nicht, und je älter er wird, desto weniger habe ich ihn unter Kontrolle, glaube kaum, dass ich alle Freunde eines 14 jährigen kennen werde.
Wie würdet ihr damit umgehen??