gehört Euch das Haus ?

Ggf könnte man ja anbauen,
sonst halt irgendwann umziehen.

Ich lese aus dem was Du schreibst eher den Gedanken des Gatten dass er mit drei Kindern etwas zurückstecken müsste denn die machen auch Arbeit, eben dann den Nebenjob aufgeben um Dich auch zu entlasten wenn Du mehr Stunden dann hättest.
Evtl hat er Angst vor dem Verlust an Freiheit, eher als vor den Finanzen ?