brauche Rat und bitte keine Verurteilungen

Hallo zusammen,
Nach der Trennung meines Mannes, hab ich ziemlich schnell jemand kennen gelernt. Gerade weil es so schnell ging wollte ich die Beziehung zu dem neuem mann noCh geheim halten. Er hatte direkt die Vorstellung zusammen zu ziehen, kinder Urlaub usw. Ivh hab ihn da liebevoll ausgebremst und daraus entstand eher eine heimliche affäre. Jetzt ist es so das er sich immer mehr von mir distanziert und ivh das Gefühl habe ihm reicht das jetzt so wie ist. Er plant kaum noch mit mir, ich erfahre im Alltag nicht mehr was er treibt usw. Ich merke einfach das seine Gefühle nachgelassen haben. Und meine dafür immer mehr werden. Mittlerweile stehe ich auch zu ihm also habe es meinem ex mann gesagt usw. Aber ivh hab das Gefühl es hat sich komplett gedreht. Jetzt frag ich mich ob ich das kaputt gemacht habe oder ob er vielleicht generell doch nur kurzfristig an mir interessiert ist. Er hat mir seinen Schlüssel zur Wohnung gegeben und manchmal frägt er schon noch ob wir was zusammen machen Urlaub o.ä. aber wie gesamt mir kommt es jetzt nur noch wie eine Affäre vor. Hab ihn schon drauf angesprochen er meint an seinen Gefühlen hätte sich nichts geändert aber ich kann es ihm nicht glauben da er sich so von mir distanziert. Was würdet ihr machen? Sollte ich jetzt mehr Gas geben oder ihm mehr Freiraum lassen, bis er sich seinen Gefühlen wieder sicherer ist?
Mich macht das immer traurig wenn ich merke das von ihm nichts mehr kommt...