Mein Mann will mich rauswerfen

Ich würde, da du auch Schwierigkeiten hast, ihm in Konfliktsituationen entgegen zu treten, wirklich eine Konfliktberatung in Anspruch nehmen. Erstmal alleine(den Kleinen solltest du unbesorgt mitnehmen können) und ihn dann mit einbinden. Damit ihr beide lernt, euch bei Konflikten auf Augenhöhe zu begegnen(klappt nicht immer, aber das kann man lernen).
Doch, ich denke schon, dass auch du angespannt bist ;) Du schreibst unten, dass ihr beide aktuell Zuhause seid, bedingt durch die Elternzeit deines Mannes und das er überwiegend "deine" Aufgaben übernommen hat. Und auch, dass er dadurch gestresster und angespannter ist/wirkt. In dem Fall bist aber auch du angespannter und gestresster, weil du Angst vor den Konflikten hast, die unweigerlich aufkommen.
Dir ist es evtl. gar nicht bewusst, schliesslich bekommst du wenig Schlaf am Stück und auch das führt häufig zu Stimmungsschwankungen. Häufig ist es den betreffenden Partner nicht bewusst ;)

Darum wirklich jemand neutralen und von Fach hinzuziehen. Die Person kann zwischen euch vermitteln und euch aufzeigen, wie ihr euch wann verhalten könnt. Zudem könnt ihr beide euch gegenseitig mitteilen, was euch direkt stört am jeweils anderen. Und auch da habt ihr Rückhalt und bekommt aufgezeigt, was ihr ändern könnt. Eine Beratung sollte nicht als "Scheitern der Ehe" gesehen werden, sondern als Hilfe zur Verbesserung des Verhältnisses zwischen euch. Ihr werdet davon profitieren und dadurch automatisch auch eure Kinder.