No debería causar ningún problema, pues los secadores trabajan con aire caliente que es el mismo que está en el ambiente y normalmente respira tu bebé.
Lo que si te recomiendo es evitar usar productos en aerosol para el pelo cerca a él por el riesgo de que haga alguna reacción alérgica.