Ich verstehe Dich nicht

Du solltest Dich bei einem Psychologen informieren, was für einen DERBEN Einschnitt es für ein kleines Kind ist: Die Eltern sind nicht mehr zusammen, da ist eine fremde Frau die möglicherweise den Papa wegnimmt. Ja, so denkt er. Er hat Angst, daß der Papa ihn weniger liebhat als diese Frau. Deswegen sieht er Dich als Konkurrenz.
Er ist verwirrt, er sieht den Papa nur manchmal, und da sind fremde Kinder. Da ist eine Frau, die ihn nicht so mag. (und er merkt, daß Du ein Problem mit ihm hast. Kinder haben feine Antennen)

Nähe muß wachsen, ja. Aber ein kleines Kind ist nicht dafür verantwortlich, zu DIR eine Nähe aufzubauen, wenn Du ihm gegenüber so viele Vorbehalte hast.

Gib ihm nicht nur "Chancen". Sondern nimm ihn so, wie er ist. Er wird sich nicht Dir zuliebe ändern. Genausowenig wie Du Dich ihm zuliebe ändern willst.