Schwiegervater nervt! Übertreibe ich?

Hallo,
ich muss mich hier mal ausheulen und fragen, ob ich vielleicht übertreibe. Ich hoffe, das hier ist das richtige Forum.
Das Verhältnis zu meinen Schwiegereltern war schon immer so lala. Mein Schwiegervater bringt mich aber von Jahr zu Jahr immer mehr auf die Palme. Weiß alles besser, möchte alles über uns wissen, über unsere Finanzen etc.... jedes Mal sagt er, wir sollen endlich unsere Katzen weggeben wegen unserer kleinen Tochter und so weiter.
Unsere Tochter ist jetzt fast 5 Monate alt. Als sie noch kleiner war, hat er sie nicht mal mit dem A... angeguckt. Der Besuch im Krankenhaus nach ihrer Geburt hat 10 Minuten gedauert und danach haben sie uns fast nie besucht, angeblich weil es zu viel für uns wäre, obwohl wir sie immer gefragt haben.
Dieses Desinteresse hat sich jetzt ins Gegenteil verschlagen. Wenn wir sie besuchen fahren, krallt er sich gleich die Kleine ohne zu fragen. Reißt sie einem einfach vom Arm. Ist auch schon öfter vorgekommen, dass er mit ihr einfach alleine in sein Arbeitszimmer gegangen ist. Dort spielt er dann mit ihr. Ich will das gar nicht, dass er irgendwo allein mit ihr hingeht. Meine Mutter geht auch manchmal mit ihr weg, wenn sie sie trägt, in den Garten oder so, aber das ist doch was anderes, ist ja meine Mutter, oder was meint ihr?? Sollte ich da nicht solche Unterschiede machen? Ich bin auch früher immer mit meinen Opas allein zum Spielplatz gegangen und so, aber da war ich ja schon viel größer. Sie ist ja noch so klein. Ich habe da einfach kein gutes Gefühl dabei. Wie soll ich ihm das klar machen? Hab schon überlegt, dass ich einfach mal hingehe und mich wortlos daneben setze, damit er es mal merkt.
Letztens waren wir auch bei ihnen und die Kleine war unruhig. Ich bin ins Nebenzimmer gegangen und habe mich mit ihr auf das Sofa gelegt und wollte sie in den Schlaf stillen. Sie hat auch schön getrunken. Plötzlich steht er hinter uns und ich höre von hinten "SOLL ICH SIE VIELLEICHT NEHMEN?" Wir beide haben uns total erschrocken. Hab ihm dann gesagt, dass sie gerade ihre Ruhe braucht. Sowas finde ich unmöglich. Wenn er doch sieht, dass wir da liegen und ich sie womöglich stille, kann er doch einfach leise wieder gehen.
Mein Mann meint, ich übertreibe und bin wie eine Glucke. Was meint ihr?