Doch ICH verurteile....

du schriebst: "doch vor einigen Wochen wurde daraus mehr. Wir hatten Spaß, wollten das vergessen konnten aber nicht......

Sory, Nichtwichtig, aber das ist KEIN Spass. Ihr seid euch von vornherein klar gewesen, um was es hier geht. Dein Schwiegervater ist in erster Linie Großvater zu deinem Sohn sowie Ehemann der Großmutter.
Mit dieser Person "Spass" zu haben finde ich keineswegs amüsant. Nun zu klagen, dass ihr euch verliebt habt, und nicht mehr aus der Nummer rauskommt ist leider euer Los.
Ihr müsst euch genau überlegen, wie weit ihr den "Spass" treiben wollt.

Sich in jemanden zu verlieben, und dagegen angehen zu müssen ist eine andere Sache. So wie ihr beiden die Sache seht, und angeht, ist das sehr geringschätzend und rücksichtslos den anderen Betroffenen.

Ihr verletzt die Ehefrau, den VAter deines Kindes und dein Kind. Jeder ist von eurem kleinen Spässchen bösartig in Mitleidenschaft gezogen. Nun überlege dir selbst wie du die Geschichte weiterführen oder beenden kannst. Die Konsequenzen sind dir klar, du bist erwachsen und trägst die volle Verantwortung.

Mir drängt sich ein bisschen der Verdacht auf, als hättest du generell ein Problem mit Männern, im Bezug auf "Nein" sagen.