相传古代认为泰山石具有独特的灵性和神力，因此泰山石敢当是一种灵石崇拜。传说汉朝时汉武帝登泰山， 带回四块泰山石， 放置在未央宫的四角，以辟邪。 泰山被认为有保佑国家的神功， 因此泰山的石头就被认为有保佑家庭的神灵。人们为了避邪所以人们在盖房子的时候，总是把刻有“泰山石敢当”的石头砌在墙上或放在门口，用来避邪。