Es ist alles ziemlich klar :)

Deine Schwiegereltern sind kein guter Umgang für euer Kind. Aber du musst trennen.

Das eine ist die Beziehung: Du - Schwiegereltern
Das hat Du geklärt. Hier willst Du keinen Kontakt mehr und das aus guten Gründen.

Dann ist da die Beziehung: Dein Mann - seine Eltern
Hier musst Du deinem Mann seine eigene Entscheidung zutrauen und ihn gleichzeitig bitte auch nicht löchern.

Und zu guter Letzt: Euer Kind - seine Großeltern väterlicherseits
Nun, solange Du stillst ist das Kind vollkommen von Dir abhängig. Du hast den Kontakt abgebrochen und deinen Schwiegereltern ein Hausverbot ausgesprochen. Somit kann niemand das Baby zu den Großeltern bringen.

Deine Argumente sind klar: sie trinken, rauchen und es werden Drogen konsumiert. Zudem kann davon ausgegangen werden, dass die Großeltern schlecht von Dir reden werden.
Hier könnte folgende Seite für dich ganz interessant sein: https://www.vamv.de/nc/urteile/kindschaftsrecht/umgang/article/kein-umgangsrecht-fuer-grosseltern-bei-massivem-loyalitaetskonflikt.html

Grüße
Sodapop