Jeder ist seines Glückes Schmied..

Lass Dich doch nicht ärgern. Wenn es für Euch die beste Lösung ist, dann ist doch gut. Lass die anderen reden. Wenn die mit ihrer Situation nicht klar kommen, sollen sie doch was an ihrer Situation ändern.
Kinderlose können sich das Leben mit Kinder meistens nicht vorstellen. Ich hatte eine Kollegin, die in ihrer Schwangerschaft noch behauptete: ich komm nach einem Jahr und gleich Vollzeit wieder. Nun ist sie wieder da und das erste was sie gesagt hat ist, kann ich nicht halbtags arbeiten. Vor dem Kind ist halt nicht nach dem Kind. Man kann nicht einschätzen, was da auf einen zu kommt.
Also lass sie reden, sie wissen nichts von Deiner speziellen Situation und meistens wollen sie es auch nicht verstehen, sondern einfach nur lästern.