was ist daran genau nicht ok ?

Naja, ich vermute der Mann hat auch Freunde und nicht nur diese eine Freundin. Deswegen denke ich nicht dass er völlig einsam wäre wenn er nicht mit einer Frau essen geht.
Mit Kollegen essen, da würde ich ja auch nichts sagen. Wenn alle zur gleichen Zeit Mittagspause haben und eventuell keine Kantine, warum sollte man sich da abschotten. Da gehen dann alle Kollegen zusammen essen. Das ist ja auch was anderes als abends in seiner Freizeit.