Weiß nicht wie ich die Situation benennen soll

Geh doch einfach mal für eine Nacht mit ins Schlafzimmer. Lauf da mit der kleinen hin und her. Dann wird er schnell merken, dass er und euer Sohn nicht zur Ruhe kommt und du tatsächlich einen guten Grund hast im wohnzimmer zu sein.
"Tauscht" wirklich mal euren tagesablauf
Gib ihm am Sonntag beide Kinder und sag ihm: "mach mal. Ist ja nicht schwer! Ich geh bauen." - 12 Stunden auf dem bau ist anstrengend, stimmt. Aber Mutter sein und sich um ein kleines Kind und ein Baby kümmern ist auch harte Arbeit. Und das 24 Stunden am Tag!

Frustriert sein schön und gut, aber er darf auch gerne mal versuchen sich in deine Lage zu versetzen.