Ich seh das ein bisschen anders...

Erstmal würde ich mal nachfragen, ob denn das Kind die Großeltern sehen möchte. Das wäre für mich der erste Schritt. Wenn nein, ist die Sache ja fast erledigt (denn Rechte haben auch die Großeltern) , wenn ja, würde ich ihr den Kontakt ermöglichen....aber unter meinem Beisein!
Großeltern sind für die Kinder einfach wichtig und auch wenn sie uns (Eltern) nicht immer gelegen kommen, für die Kinder sieht das oft ganz anders aus.

Der Kontakt zum Ex würde ich auch meiden wie der Teufel das Weihwasser....aber die Großeltern haben mit der Geschichte nichts am Hut und somit sollten sie nicht dafür bestraft werden. Was sie in ihrer Beziehung zu dir falsch gemacht haben (wo es sicher wieder mehrere Seiten gibt), steht auf einer ganz anderen Seite ....das solltest du trennen.