Mein Sohn (3 Jahre alt) will nicht zu Papa

Hallo ihr lieben, erst mal Hintergrundinformationen:

Ich und der Papa meines Sohnes sind schon getrennt seit mein kleiner 1 Kahr alt ist, er kann sich also nicht an die Trennung erinnern. Diese war aber auch total friedlich und von beiden Seiten gewollt. Er und sein Papa sehen sich jede Woche einen Tag, weil es schwierig ist mit Arbeitszeiten.
Das hat bis jetzt aber auch wirklich gut geklappt. Knirpsi hat sich gefreut und hatte immer Spaß.

Jetzt zum Problem: Seit einiger Zeit ( bestimmt seit 6 Monaten immer mal wieder) gibt es Phasen wo er sagt er möchte nicht zu Papa und wenn ich ihn frage wieso sagt er nur "weil er nicht will".
Wenn er aber erst mal da ist, dann hat er auch total Spaß und bleibt gerne lange da.
Seit ungefähr 2 Monaten sagt er jetzt auch das er Oma Kathrin (die Mama von seinem Papa) nicht sehen möchte obwohl ich ganz genau weiß das sie eine super nette Frau und ganz tolle Oma ist.

Ich weiß nicht was ich machen soll. Ich möchte schon gerne , das er den Kontakt zu Papa hat und auch zur Oma, denn ich weiß er hat dort Spaß wenn er erst mal da ist, aber es macht mich doch stutzig das er erst mal nicht hin will...

Vielleicht hat ja einer eine Idee oder Tipps was ich machen kann oder woran erst liegen kann.

Vielen Dank schonmal!