vielleicht will er altes aufarbeiten, andererseits weiß ich, das bringt uns beiden nichts

....da muss ich allerdings wiedersprechen.

Ohne jetzt eure Geschichte zu kennen: wenn ER etwas aufarbeiten will, ggf. sich inzwischen sogar psychologischen Beistand geholt hat, um seine -vermutlich nicht gerade prikelnde- Kindheit aufzuarbeiten, weil ihn vielleicht das Erlebte bis heute belastet:
Da solltest du dir nicht anmaßen, von vorne herein zu beschließen, dass euch das beiden nichts bringt.

Sowas kannst du vielleicht für dich entscheiden, dass es DIR nichts bringt. Und wie ich schon oben geschrieben habe: wenn DU für dich selbst da nicht daran erinnert werden willst, ist es dein gutes Recht, dich auch nicht daran erinnern zu wollen.
Aber das heißt noch lange nicht, dass dieses Ruhenlassen der Erinnerungen auch für deinen Stiefbruder dir richtige Methode ist.