Frage Mietrecht

Ich habe auch mal eine rechtliche Frage.
Ich werde natürlich auch den Vermieter Verein kontaktieren,aber da ist ja nun heute und morgen keiner mehr erreichbar.
Es geht darum,dass wir ein Haus an eine vierköpfige Familie vermietet haben. Die Familie ist vor gut 1,5 Jahren bei uns eingezogen.
Einige Monate nach Einzug wurden wir gefragt ob wir was dagegen hätten,wenn die Schwester von der Mutter der Familie mit einzieht.Vorpbergehend so Ca 2-3 Monate.
Sie wohnt immer noch da und zusätzlich der Freund. Bzw er ist zu 95% da,ich glaube er ist nicht offiziell gemeldet. Aber er ist eigentlich immer da,hat Schlüssel mit dem er ein u aus geht usw.Von dem gesund der Schwester kennen wir lediglich den Vornamen.
Jetzt haben wir heute als wir nach Hause gekommen sind,gesehen wie unsere Mieter mit befreundeten Paar Möbel in das Haus geschleppt haben. Als wir im Garten waren sagte der Sohn der Familie,das jetzt Familie xy bei Ihnen eingezogen ist und das Kind von Familie Xy plapperte auch ganz fröhlich drauf los wie toll das doch wäre.Für ein paar Monate.. Ob sie vorhaben sich dort zu melden weiß ich nicht,wir wurden aber weder gefragt noch informiert.
Wie sieht da die rechtliche Lage aus? Können wir das unseren Mietern untersagen?
Mein Mann meint,es wäre ja nicht viel anders als wenn eine Familie Kinder bekommt und dann mit mehr Personen dort lebt,als zum Zeitpunkt des Einzugs.
Das sehe ich aber ehrlich gesagt nicht so.
Klar,irgendwie ist es schon so,aber ganz ehrlich,wir haben an zwei Erwachsene und zwei Kinder vermietet. Klar wenn sie noch weitere Kinder bekommen,sind es auch mehr Personen aber das finde ich schon einen gewaltigen Unterschied als wenn einfach wildfremde erwachsene Personen einziehen ohne dass es angesprochen war. Jetzt sind es somit 6 Erwachsene und 3Kinder,anstatt 2 Erwachsene u 2 Kinder.
Vielleicht hat ja jemand mal Ähnliches erlebt und weiß wie da die rechtlich Lage aussieht? Würde mich freuen wenn jemand helfen kann,bevor ich mich am Dienstag informieren kann.