Sichtschutz für mehr Privatsphäre

Wir haben ein Haus, wo ich gerne die eine Seite mehr vom Nachbarn abschirmen möchte und zwar mit einem zulässigen Sichtschutz von 1,80 m in 50 cm Abstand von der Nachbarsgrenze. Es geht um ca 4 Meter Länge.
Der Rest ist bereits mit Zaun, Hecke...das war schon, als wir eingezogen sind.

Ich habe neulich mit dem Nachbarn kurz gesprochen, dass wir demnächst einen Sichtschutzzaun bauen werden. Er war sehr entsetzt, meinte, dass er das richtig blöd findet, da er das Sonnenlicht für seine beiden Gemüsebeete benötigt. Und ein Sichtschutz würde seine Beete beschatten.
Was soll ich nun tun?
Der Nachbar mag Recht haben, dass seine Beete dann nicht mehr das gleiche Licht kriegen würden.
Aber ich möchte so gerne mehr Privatsphäre im eigenen Garten.
Jeden Tag treffe ich sozusagen den Nachbarn auf diesen offenen 4 Metern und bin "gezwungen" mit ihm kurz zu reden. Oder er steht einfach in seinem Garten und schaut in unseren und gibt mir Tipps, was ich tun soll. Oder schaut meinen Kindern beim spielen zu. Es ist alles in Ordnung und im Rahmen, aber ich möchte nun mal keinen Gemeinschaftsgarten. Aber so fühlt es sich einfach an.
Ich muss immer auf der Hut sein, um Rede und Antwort zu stehen. Und ständig wird auch mit mir gemeckert....hier wächst zu viel giersch, ihr könntet den Löwenzahn mal rausreißen usw.

Ich fühle mich sehr unwohl und wünsche mir eben einen Sichtschutz.
Das würde aber automatisch Ärger bedeuten.
Mein Mann meidet jeden Konflikt und würde den Bereich im Garten so lassen.
Wie würdet ihr handeln?
Für Tipps bin ich dankbar.