Aktuell für mich: Zeitraubender Kollege

Hallo zusammen,
Da ihr mir nun schon ein paar Mal so toll geholfen habt, hier eine Frage an euch:
Wie zeigt man einem zeitraubenden Kollegen höflich seine Grenzen auf?
Ich bin ja etwas "nerdy" (V.a. Asperger) und dadurch tendenziell sehr direkt. Das empfinden andere dann oft als unhöflich, obwohl ich es gar nicht so meine. Mit Small Talk kann ich nichts anfangen bzw. verstehe ich leider manchmal den Unterschied zwischen oberflächlicher und "echter" Kommunikation nicht. Nun habe ich im neuen Job eine Menge netter Kolleginnen und Kollegen. Zwei sind leider sehr zeitraubend. Der eine versteht es aber total gut, wenn ich sage: "Danke für deine Infos. Ich muss jetzt hier weitermachen. Wir können uns ja mal anders darüber weiter unterhalten." Oder so.
Der andere sagt daraufhin: "Nur noch kurz..." und redet weiter davon, was er alles schon gemacht hat und mit wem er sich alles gut versteht (was ich echt bezweifle, aber egal) und wie schrecklich seine Chefs und Kollegen sind. Also abgesehen von dem Zeitbedarf seiner Kommunikation macht mich sein negatives Gelaber fertig. Leider brauche ich gelegentlich fachliche Infos von ihm, ohne geht's nicht. Ihn zu vergraulen, kann ich mir (jedenfalls noch) nicht leisten.
Letzte Woche hat er mich insgesamt 3 Stunden vollgesülzt, obwohl ich immer wieder erklärt habe, dass ich keine Zeit habe. Ich arbeite auch nebenbei weiter, das stört ihn überhaupt nicht. Aber ohne ihn im Ohr könnte ich mich viel besser konzentrieren. Wenn ich in Meetings war, hat er gewartet, dass ich wieder zurück war, um mir dann "ganz schnell noch fertig" zu erzählen, was er mit wem plant - immerhin fachlich theoretisch relevant, praktisch kann ich mir nicht vorstellen, dass er es hinbekommen wird, weil er ja so viel redet. Und das nicht nur mit mir.
Hat jemand ne Idee, wie ich das abstellen kann ohne "unhöflich" zu werden?
Vielen Dank schon mal!