冬天手指上起的小水泡，可能是单纯的过敏刺激因素导致的汗疱性湿疹，这些小水泡可能会伴随着轻微的瘙痒感。在治疗上可以口服抗过敏药物，比如盐酸左西替利嗪等，同时配合口服复方甘草酸苷片进行抗炎处理。
还可以在局部外涂激素类的药膏，如糠酸莫米松乳膏等进行治疗。在治疗期间要注意手部尽量少接触水，避免接触洗化用品，以免加重病情。
建议患者及时到医院就医，并在医生的指导下进行治疗和用药，切勿自行盲目用药，以免出现不良反应。