En tu caso es importante examinarte para confirmar o descartar la presencia de una hernia inguinal, esta podría causar los síntomas que nos mencionas; en esta condición la pared abdominal se "rompe" a nivel inguinal y algunas estructuras del intestino pasan a lugares donde no deben estar, si este fuera tu caso, al pasar algunas estructuras al escroto por eso se ve inflamado, pero posiblemente la hernia sea pequeña y por eso las estructuras vuelven a su lugar.
Además de esta condición también es importante examinarte para determinar si tienes una condición llamada varicocele, esta condición hace referencia a la dilatación de las venas de la zona testicular, y podría generar también inflamación.
Por tanto, mi recomendación es que pidas una cita médica presencial para que te valoren y precisen tu diagnóstico. Si presentas dolor testicular que no mejora, debes ir a urgencias.