不宜吃黑芝麻的人群有：
1、患有乳腺疾病的人：患有乳腺增生、乳腺囊肿等乳腺疾病的人一般忌食维生素E，特别是患有乳腺癌的人，一定不能吃太多维生素E。而黑芝麻中维生素E含量很高，对普通人大有好处，但是患有乳腺疾病的人则要注意。
2、慢性肠炎、经常腹泻的人：黑芝麻油性很大，有滑肠的作用，如果便秘吃些黑芝麻，可以缓解便秘，但是有慢性肠炎或者腹泻的人吃了黑芝麻后，会加重慢性肠炎尤其是腹泻症状。
3、内热、上火的人：体内有火的人会出现口舌生疮、脸红目赤、牙龈肿痛、出血等，不能吃炒熟的黑芝麻，因为黑芝麻炒过之后会变得燥热，加重体内的火热。出现不适请及时就医。