laaaaaaaaang und wahrscheinlich zu wirr....

Das ist zweifellos schwierig, keine Frage.

Und du hast sicher auch Recht damit, dass man so nicht zusammenleben kann oder nur schwer.

Aber, es klingt eben doch sehr stark an bei dir, dass deine Kinder die guten, die weit entwickelten, vernünftigen sind, mit denen man gut leben kann. Und seine Kinder diejenigen sind, die nicht so gut geraten sind.
Auch wenn du es denkst und fühlst, diese Wertung darfst du so nicht vornehmen. Damit wertest du seine Kinder und ihn einfach ab.

Was ärgert dich mehr, sein Verhalten oder das von deinem Mann?

Jeder Mensch ist anders. Wenn du diejenige mit den schwierigen Kindern wärst, dir würden sicher auch Beschwichtigungen, Entschuldigungen, Erklärungen einfallen.
Ich finde es auch richtig klasse von deinem Mann, dass er seine Kinder so bedingungslos liebt und so nimmt wie sie sind.
Es geht nicht jeder Lebensweg reibungslos und bei manchen dauert es nunmal länger.
Falls die Kinder von ihm tatsächlich weniger weit entwickelt sind, dann haben sie auch noch Zeit dafür. Das kann man ihnen nicht unbedingt zum Vorwurf machen.

Aber, das darf natürlich nicht zu deinen Lasten gehen.

Und für diesen Punkt finde ich, hat Ikmam einen guten Weg vorgeschlagen.
Dem Sohn seine eigenen Dinge regeln lassen, aber ohne Wertung, nach dem Motto, es können doch alle nur du nicht.

Ich würde ähnlich wie dein Mann nur im allerextremsten Notfall ein Kind vor die Tür setzen.