Nachbarschaft!!!

Zurück an seine Tür pinnen, mit dem netten Hinweis, dass du das nicht möchtest.
Ich glaube, ein persönliches Gespräch in Form von bei ihm klingeln, wäre mir schon ein Schritt zuviel. Könnte mir denken, er würde DAS schon als Zustimmung werten.
So wie du es schilderst, würde ich meine Reaktion auf dieses möglichst knappe Maß reduzieren.