Irgendwie läuft alles schief...

Da macht es sich der Papa aber extrem leicht.
Selbst wenn er unterschiedliche Arbeitszeiten hat, spricht doch nichts dagegen, wenn er dir nach dem Erhalt seines Dienstplanes eine Nachricht schickt. "Mittwoch, 14/15 Uhr. Für 2 Stunden." Würde ja voll reichen.
Mindestens am Abend vorher sollte eine Nachricht drin sein, ansonsten würde ich ihn wohl ein paar Mal "auflaufen lassen" und ihn wegschicken/gar nicht erst öffnen, wenn er unangemeldet vor der Tür steht. So nach dem Motto "Nö, heute geht nicht. Ich habe bereits andere Pläne."
Vielleicht lernt er es ja so.

Auch würde ich ihn, wenn er schlecht mit dir und deiner Wohnung umgeht, nicht bei dir rein lassen. Es ist nicht dein Problem, dass seine Wohnung nicht kindgerecht ist. Da muss er sich eine Lösung für überlegen und das am besten BEVOR er das Kind übernimmt. Die Lösung kann nicht sein, dass er dir deine Wohnung verwüstet.
Wenn er dir eine Zeit nennt, kannst du ihn direkt sagen, dass du dann in der Zeit unterwegs bist, so dass deine Wohnung nicht verfügbar ist. Dann hat er Zeit sich was zu überlegen.