以下人群应该避免或限制饮用酸奶：
1. 乳糖不耐受者：乳糖不耐受者是指人体缺乏分解乳糖的酶，饮用含有乳糖的饮品会导致腹泻、胃胀等不适症状。
2. 乳蛋白过敏者：乳蛋白过敏者对乳制品中的蛋白质过敏，饮用酸奶会引起过敏反应，如皮肤瘙痒、呼吸急促等。
3. 患有胃酸逆流病的人：酸奶中含有乳酸菌，会刺激胃酸分泌，加重胃酸逆流病症状。
4. 患有肠道疾病的人：酸奶中的乳酸菌可能会刺激肠道，引起腹泻等不适症状。
5. 患有糖尿病的人：酸奶中含有一定的糖分，饮用过多会导致血糖升高，不利于糖尿病患者的血糖控制。
总之，对于以上人群，应在医生的指导下饮用酸奶或避免饮用。