能引起精神发育迟缓的原因很多，还有一半以上的患者病因未明，故无法一一列举。现根据不同阶段的已知原因，归纳简介如下：
（一）出生前阶段（胎儿阶段）
1．遗传异常这主要指基因异常、染色体异常所致的神经系统发育不良、畸形、遗传性代谢缺陷等，特别是代谢缺陷、种类非常繁多，随着遗传学检查方法的进步，还在不断增多，但大多数病种都属于罕见病。
2．胎儿期获得性异常包括这一时期母亲受到感染（特别是病毒感染）、腹部受到放射线照射、服用某些药物或受到毒物损害以及母亲营养不良或患其他严重疾病等。怀孕的头三个月是胎儿神经系统结构初步形成阶段，这一阶段的致病因素对脑的损害特别严重，常可引起明显的畸形。
（二）围产期（分娩期）包括早产、难产、分娩过程中的脑损伤、新生儿窒息引起的脑缺氧等。
（三）出生后阶段这一阶段虽可伸延到18岁左右，但最关键的是学龄前期（6岁左右以前），其次为小学年龄期（6～12岁）。出生后的头两年，脑部发育最快，同样的致病因素在此时期对脑产生的影响，要比以后严重。这一阶段可能碰到的致病因素更多，除了前两阶段造成的脑损害仍可继续作用外，其他还有感染，颅脑外伤，因各种原因引起的脑缺氧，中毒，内分泌或代谢疾病，疫苗接种后脑炎，癫痫，婴幼儿期严重营养不良或其他疾病，因为盲、聋而影响智力发育，以及严重缺乏受教育的机会等。
妊娠期（特别是早期）服药以及各种已知和未知的公害对胎儿和儿童脑发育的影响已越来越受到社会的注意，必须尽量预防。
过去讨论精神发育迟缓的原因时，常只考虑到脑的生理解剖因素，近年来研究表明，听觉、视觉、触觉的刺激是促进脑神经纤维发育增生的重要因素，著名的印度"狼孩"，因为早期丧失学习人类语言的机会，所以以后即使经过精心教导也不能教会说话，因为此时其脑发育已经定型。目前认为，在婴幼儿期如不能及时给予各种感觉刺激（教育），就会影响脑的发育。这一因素，在婴幼儿教育中正日益受到重视。