Kann sich ein Vater denn alles erlauben?

Geh zum Jugendamt und erarbeite dort eine Umgangsvereinbarung mit dem KV. Sollte er sich daran nicht halten, kannst du eine Regelung bei Gericht einklagen. Diese Regelung ist dann auch verbindlich und kann sanktioniert werden, wenn sich ein Teil nicht daran hält.
Ohne Vereinbarung hat er quasi "Narrenfreiheit", da es ja nichts gibt an das er sich halten muss.