Baby mit 5 Monaten ins Kinderzimmer?

Hallo zusammen.
Unser Kleiner Mann ist am 30. Mai fünf Monate alt geworden. Von Anfang an haben wir im angewöhnt in seinem Bettchen zu schlafen weil wir merkten dass er da ruhiger und auch länger schläft als mit uns im Bett. Zum Glück hatte alles super funktioniert und es gab da nie Schwierigkeiten. Seit seinem zweiten Lebensmonat hat er den Rhythmus auch super drin. Jeden Abend ist um 19 Uhr Schlafenszeit und wenn er da nicht im Bett liegt dann wird er sehr schlecht gelaunt.
Mein Mann und ich gehen aber erst gegen 23 Uhr ins Bett. Jedes mal wenn wir in das Zimmer kommen merke ich wie der Kleine sich gestört fühlt. Wir ziehen uns inzwischen vorher aus, so dass wir nur noch ins Zimmer kommen und uns ins Bett legen. Aber trotzdem stört es den Kleinen.
Jetzt überlegen wir unser Baby nachts in sein Kinderzimmer zu bringen damit er ruhiger schlafen kann.
Kann man das einem Baby mit fünf Monaten schon zumuten?
Nachts kommt er nur noch einmal. Meistens zwischen drei und fünf Uhr. Mein Mann steht oft um sechs Uhr morgens zur Arbeit auf und da passiert es manchmal das der Kleine auch wach wird.
Wäre es dann nicht besser den Kleinen in seinem Kinderzimmer schlafen zu lassen? Dann hätte er doch einen ruhigeren Schlaf.
Ich selber kann nicht so los lassen und hätte ihn gerne noch bei uns im Zimmer, aber andererseits denke ich mir das es egoistisch ist. Den der Kleine braucht auch seinen ruhigen Schlaf und den bekommt er am besten wenn es im Zimmer ruhig ist.