bin ich zu egoistisch?

Nein, bist du nicht.
Klar braucht er seinen Schlaf, aber während der Sofa-Zeiten kann er auch mal was im Haushalt machen und/oder die Kinder hüten.
Wenn du was ändern willst, dann mach es jetzt. Jeder weitere Tag macht es nur schwieriger.