Das liegt an der Gestaltung der Backen.
Bei einem meiner Röhm-Bohrfutter ist ein kleiner Längssteg drauf, da hab ich auch die Probleme, gerade bei kleinen Bohrdurchmessern.
Ich hab für mich das Problem folgendermaßen gelöst:
Das Bohrfutter schon mal von vornherein so einstellen, das es für den Durchmesser in etwa passt.
Dann den Bohrer / Bithalter so festspannen, das er sich noch minimal bewegen lässt (also schon leicht fest, aber noch nicht ganz festgezogen), leicht drann wackeln und das Bohrfutter ganz festziehen, Probelaufen lassen obs geklappt hat.
Klingt kompliziert (ist es vermutlich auch) geht aber schneller wie zweimal festspannen.
Nichts ist beständiger wie die Veränderung!