Wie dem Kind sagen, dass der Papa nicht sein leiblicher Vater ist?

Mein Sohn wird jetzt bald zwei und sein "Papa" ist nicht sein leiblicher Vater, wie schon in der Überschrift steht. Ich bin mit meinem neuen Partner zusammen, seit mein Kleiner fünf Monate alt war, deswegen kennt er praktisch nichts anderes.
Wir dachten eigentlich, wir hätten noch jede Menge Zeit ihm das zu sagen, aber es kommt doch ständig immer wieder irgend ein Trampel und meint vor unserem Sohn dann "Merkt man gar nicht, dass du nicht sein Papa bist" oder "Will ihn denn sein Papa gar nicht sehn?" oder "Hat er eigentlich eine Ahnung, dass du nicht sein richtiger Papa bist?".
Es lässt sich einfach nicht verhindern, dass er das mitbekommt, weil die Leute die das sagen es immer komplett aus dem Nichts fragen.
Jetzt überlegen wir, wie wir es schon langsam mit einfließen lassen können, damit er kapiert was Sache ist und es nicht durch einen dummen Zufall mitbekommt.

War von euch vllt jemand in ähnlicher Situation oder hat irgendwelche Ideen?