太行山大部位于山西河北交界，小部在河南西北部，其中河北约30县(含县级市，区)，山西20余县，河南10余县，计60余县。

太行山北高南低，大部分海拔在1200米以上。2000米以上的高峰有河北的小五台山、灵山、东灵山、白石山，山西的太白魏山、南索山、阳曲山等。北端最高峰为小五台山，海拔高2882米;南端高峰为陵川的佛子山、板山，海拔分别为1745米、1791米。

太行山山势东陡西缓，山西高原东部河流多切过太行山进入河北平原，汇入海河水系。只有西南部的沁河水系向南汇入黄河。

太行山脉西翼连接山西高原，东翼由中山、低山、丘陵过渡到平原。山中多雄关，著名的有位于河北的紫荆关，山西的娘子关、虹梯关、壶关、天井关等。