bin ich eine schlechte Mutter...???

Nö, bist du nicht.
Zumindest nicht deswegen. Weder, weil dein Freund wenig Zeit für die Kinder hat (erstens sind es nicht seine, zweitens bist du nur für deine Zeit mit den Kindern verantwortlich, und die ist ja nicht kurz), noch, weil du mal ein Wochenende weg fährst.
Genieß es!