Er akzeptiert nicht das NEIN meines Sohnes...

Hallo,
gestern waren wir wieder einmal zu Besuch bei der Schwester meines Mannes. Sie haben 2 Kinder (5, 9) und unser Sohn (3,5) spielt sehr gerne dort. Wir fahren so alle 2-3 Monate dorthin. Jedesmal gibt es aber Stress mit meinem Schwager. Er ist so der Typ Mann, der mit kleinen Kindern nicht viel anfangen kann und mit ihnen immer nur wild herumspielt (herumwirbeln, auskitzeln etc.). Ist ja auch manchmal ganz lustig. Aber unser Sohn mag das nicht immer und will nicht immer festgehalten werden - manchmal sagt er nein, aber mein Schwager macht trotzdem weiter. Manchmal wehrt er sich physisch, d.h. er haut, kratzt etc. Das gibt dann jedesmal Ärger, weil es dann heißt, er sei aggressiv.
Mein Mann und ich sagen natürlich, dass er es einfach nicht will und man das akzeptieren soll! Meine Schwägerin und mein Schwager sind aber der Meinung, hauen etc. darf man trotzdem nicht. Mittlerweile könnte ich ausrasten!
Ich weiß auch nicht mehr, was wir noch machen können, die Familie ist immer so schnell beleidigt - dann beschäftigt sich mein Schwager garnicht mehr mit meinem Sohn und ignoriert ihn mehr oder weniger, was der Kleine überhaupt nicht versteht. Mein Schwager sagt dann, man würde ihm sonstwas unterstellen...
Ich finde das alles in erster Linie ein kindisches Verhalten meines Schwagers. Ich unterstütze meinen Sohn indem ich ihm beibringe, dass er NEIN sagen soll, wenn er etwas nicht möchte. Und ehrlich gesagt finde ich es auch gut, wenn er sich zur Wehr setzt, wenn man sein NEIN nicht akzeptiert. Aber die ganze Situation finde ich absolut stressig. Nicht mehr hinfahren finde ich aber auch keine Lösung, weil wir uns ansonsten sehr gut verstehen und unser Sohn auch gerne bei seinen Cousin/Counsine ist.
Kennt ihr dieses Thema - und wie geht ihr damit um?