ich weiß mir nicht zu helfen, habt ihr vielleicht einen Rat?

Du wirst bitte nicht auf Unterhat für das Kind verzichten; bist Du denn wahnsinnig? Es wird noch schwer genug, vier Kinder alleine großzuziehen.
Ich denke: ja, er lebt räumlich getrennt, aber auch wirklich nur räumlich. Ansonsten ist er für seine Familie da und für Dich nicht. Daran wird wahrscheinlich auch das Kind nichts ändern und er steht nicht mal zu seiner Verantwortung...
Dir bleibt nur, unabhängig von ihm zu entscheiden, ob Du das Kind möchtest: in dem Wissen, dass Du allein erziehend sein wirst.

LG,
nurit