Wofür brauchst Du denn das alleinige Sorgerecht?

Also ein großer Teil des Stress' lässt sich sicher minimieren wenn Du dich ganz klar und exakt abgrenzt nur noch an DEINE Verpflichtungen hälst. Das heißt konkret:

Er Will Umgang? Schön lieber XYZ, die Kids stehen am soundsovielten um soundsoviel Uhr zur Abholung bereit. Du hast ab da ein Zeitfenster von 30 Minuten die Kinder zu holen. Tust du es nicht in der vorgegebenen Zeit sind wir außer Haus und nicht mehr verfügbar. Trag ihm die Kinder NICHT nach, der Umgangsberechtigte ist dafür verantwortlich die Kinder abzuholen und zu transportieren. Vorrausgesetzt jetzt die Kinder wollen wirklich nicht zu ihm.
Meinen Kindern zu Liebe würde ich natürlich auch Autofahrten auf mich nehmen aber auch NUR für die!

Der Schlüssel liegt darin ihn wirklich nur über die wirklich einschneidenden Dinge (ein Umzug wäre das allerdings imho) der Kinder zu informieren. Ein Elternabend oder ein Kinderarztbesuch gehören für mich nicht dazu.

Mach alles schriftlich mit ihm (Whatsapp, Mail) und damit nachweisbar. Einfach nicht ans Telefon gehen wenn er anruft.

Hast Du einen Anwalt? Oder regelt bisher alles das Jugendamt? Ich würde ihn immer wieder auf die entsprechenden Ansprechpartner verweisen. Zu einer persönlichen Auseinandersetzung bist du nicht verpslichtet. Erst wenn er ernsthafte Schritte via Jugendamt oder Gericht geht musst du wieder in Gespräche einsteigen.

So wie Du ihn und eure Vergangenheit schilderst hat das Jugendamt schon ein entspr. Bild von ihm. Sorge weiterhin dafür, dass alles dokumentiert wird.

Du musst lernen was Du vom Gesetz her tun MUSST, was Du deinen Kindern zuliebe tun möchtest und was ganz klar NICHT zu deinen Aufgaben gehört. Und genau nach dem Schema würde ich handeln. Dann wird Dir auch kein Gericht der Welt etwas anhängen können.

Solltest Du den Eindruck haben das deine Kinder unter dem Umgang (wenn er denn stattfindet) leiden oder verstört oder sonst wie "geschädigt" zurückkommen, dann solltest Du dich an einen Kinderpsychologen wenden und evtl. über diesen eine Umgangsempfehlung zu erhalten. Evtl. muss dann Umgang ausgesetzt oder auf begleitete Form umgestellt werden. Aber das kann dir nur eine Fachkraft sagen.
Vielleicht schlägst Du deinem Ex mal eine Familientherapie vor und schaust was er dazu sagt?

Nur noch zur folgenden Aussage:

"Das ist ein furchtbarer Mensch. Ich weiß nicht wie ich von ihm los komme.
Ich möchte mit ihm abschliessen. Auch die Kinder möchten das."

Lies dir die Sätze bitte noch mal genau durch und versuche zu akzeptieren, dass sich dieses Wunschdenken nicht in Realität verwandeln lässt. Selbst mit alleinigem "ALLES-Recht" wird er immer der Vater deiner Kinder bleiben. Er wird immer ein Besuchsrecht haben und somit immer ein Teil eures Leben sein.
Du kannst nur kontrollieren inwiefern es dich trifft und wie weit du ihn in dein Leben lässt. Wie meinst Du das "ich will mit ihm abschließen" ? Soll er sich in Luft auflösen?
Kämpfe nicht gegen Windmühlen sondern konzentriere Dich auf Dinge die du beeinflussen und steuern kannst.

Mir tut der Mann ehrlicherweise ein wenig leid. Er ist offensichtlich krank und kommt da nicht mehr raus. Ihm fehlt es an vielen, wahrscheinlich am meisten an Selbstachtung und Respekt für andere.
Schau was Du im Gegenzug alles hast......Lass ihn dich nicht runterziehen.

Alles Liebe für dich und die Kids
Boots