No, esto no quiere decir que tengas un problema. Lo que sucede es que todos somos diferentes, y algunas personas son menos sensibles a bebidas como la cafeína, como es tu caso.
Ahora bien, mi mejor recomendación es que si vas a manejar de noche, tengas un adecuado descanso durante el día, incluso si la cafeína te hiciera efecto; esto con el fin de disminuir la probabilidad de que tengas un accidente de tránsito.