wovon willst Du Dich losreißen ?

Was ändert sich denn am Umgangsproblem, wenn Du das alleinige Sorgerecht hättest ?
Also Deiner Meinung nach?

Geh mit ihm zum Jugendamt und macht dort eine verlässliche Umgangsplanung.
Er ist nicht für die Betreuung zuständig damit Du arbeiten gehen kannst.
Das ist doof, aber rechtlich nicht sein Job.

Richte eine Beistandschaft ein wegen dem Geld oder lasse über einen Anwalt einen Titel erwirken. Dann kannst Du pfänden, wenn er es nicht geregelt bekommt einen Dauerauftrag einzurichten.
Auch Unterhalt hat nix mit Sorgerecht oder Umgang zu tun.