wie soll ich mich verhalten?

Ich würde zum gemeinsamen Gespräch beim Jugendamt bitten.

Zum einen kann es nicht sein, dass er über Deinen Partner her zieht (kennt er ihn überhaupt?), zum anderen ist es ein NoGo jetzt auf einmal den Umgang abzusagen/zu kürzen/umzustellen. Darunter leiden ja schließlich auch die Kinder.

Jemand sollte ihm sagen, was genau die Elternebene ist.