Probleme mit Schwiegervater - lang

Hallo zusammen.
Ich brauche mal eure Meinung. Bin nämlich etwas unsicher, ob ich die Sache zu eng sehe.
Kurz zur Gesamtsituation: es gibt keinen Ärger zwischen meinen Schwiegereltern und mir und soweit kommen wir miteinander aus. Ihr Interesse an unserem Sohn (fast 2) ist und war schon immer eher gering. Beispiel: es bestand nach der Geburt nie Interesse mit ihm spazieren zu gehen o.ä. Nach drei Absagen bezüglich mal auf ihn aufzupassen, habe ich das Nachfragen dran gegeben. Dennoch sehen wir uns regelmäßig.
Jetzt mein Problem: ich finde, dass er keinen guten bzw. liebevollen Umgang mit ihm hat. Er ärgert ihn oft, indem er ihm sein Kuscheltier wegnimmt, um ein Beispiel zu nennen. Am Schlimmsten für mich ist es aber, dass er ihn auch körperlich "ärgert". Er tut so, als würde er ihm den Popo hauen oder kneift ihn oft in die Wange. Letztens hat er ihm die Haut am Arm verdreht (manche kennen das unter "Brennnessel").
Hinzu kommt, dass er überhaupt nicht auf das Kind eingeht und mal kindgerecht mit ihm spielt.
Auf der letzten Familienfeier wurde ich sogar auf das Verhalten von ihm gegenüber unserem Sohn angesprochen. Es wurde ebenfalls als negativ empfunden, was mir zeigt, dass meine Wahrnehmung nicht ganz falsch ist.
Unser Sohn hat an diesem Ärgern auch keinen Spaß. Dann könnte ich es auch lockerer sehen. Er schüttelt immer den Kopf, wenn er zu Opa soll und er fühlt sich auch nicht wohl. Während er zu anderen gerne auf den Arm geht, will er das hier nicht bzw. sitzt immer ganz angespannt auf seinem Schoß.
Mein Mann ist der Ansicht, dass ich es zu eng sehe und mich umsonst aufrege. Seiner Meinung nach, liegt ja schließlich keine schlimme Kindeswohlgefährdung vor bzw würde ja keine Gefahr für unseren Sohn bestehen. Außerdem wäre er(mein Mann) ja auch groß geworden und sein Vater hätte mit Sicherheit auch bei ihm diese Späße gemacht.
Sehe ich das wirklich zu eng?
Viele Grüße