Ich weiß jetzt woran es auch liegt - glaube ich...

Nein; das sind nicht alleine Deine Fehler!!!
Die Eltern sind dafür verantwortlich sicherzustellen, dass Kinder nicht andauernd wechselnde Bezugspersonen erleben; man involviert die Kinder eigentlich erst in eine gefestigte Beziehung. Klappt nicht immer; aber man sollte es anstreben.
Du muss nichts reparieren, aber Dein Ansatz: es geht nicht um Regeln, sondern um Liebe (oder Zuwendung-je nachdem, was man geben kann) ist richtig.
Ich nehme grundsätzlich keinen Urlaub, wenn die Kinder in den Ferien bei uns sind: sie sollen mal das haben, was sie sonst nicht haben: Papa für sich ganz alleine.
Allerdings arbeitet auch die Zeit für Euch, denn auch Dein Stiefsohn wird merken, dass Du keine Nebenfigur bist und trotzdem auch keine Bedrohung.
Ich erinnere mich *gerne* daran, als wir mal mit den Kindern einen Ausflug machten (mein Mann und ich lebten schon zusammen und unser Baby war unterwegs) . Als wir tankten und mein Mann nicht in unserem (!!) Auto war, um zu bezahlen, fragte mich seine Tochter: warum fährst Du immer in unserem Auto mit, hast Du kein eigenes?
Ich war drauf und dran zu sagen, dass das unser Auto ist und das Auto, was wir der nichtarbeitswilligen Ex immer noch finanzierten, ist ihr Auto.
Aber ich habe es gelassen...

LG,
kathrin