Ich weiß nicht was ich tun soll...?

Schwierig. Wenn Du zu ihm ziehst, besteht die Gefahr, dass Du, wenn Du dort keine Freunde/Job findest, ihm das vorwirfst, wenn auch unbewußt. Oder dass Du dort dann an ihm klammerst, eben wegen Deiner Einsamkeit.
Und dass Deine Tochter nicht weg will, ist natürlich auch eine Belastung.
Hat Dein Mann keine Möglichkeit, einen Job in der Nähe zu finden? bzw. sich in die Nähe versetzen zu lassen? Möglicherweise hat sein Chef ein offenes Ohr für die stressige Situation. Es ist für Deinen Mann auch eine immense Belastung, denke ich.