在古人心目中，泰山石是有灵性的。
“夏将亡，泰山石泣”，“泰山巨石自燃，汉亡之兆”等记载，不绝于史书。秦皇汉武封禅泰山，对“状博平，圆九尺”的立石顶礼膜拜，以为泰山和泰山石能福佑社稷平安。 唐宋以后，泰山制石开始流行于民间。在晋冀豫鲁、江浙闽广的农村，“多于村落街口立石，曰“泰山石敢当”，百姓们认为泰山石可镇灾厌殃，保佑村宅安全。这一泰山石崇拜现象逐渐演变为民间风俗，至今在大江南北，仍可看到泰山石敢当的影子。泰山石敢当风谷还波及至东南亚华人中间，日本京都民族博物馆就收藏有冲绳出土的泰山石敢当制石。
山之林，石为骨。与“江作青罗带，山如碧玉簪”的江南山水不同，泰山以巨石突兀、绝壁青松为主要特征。雄浑苍黑的山石，壁立千仞的绝岩，给人以静穆深沉、雄伟浑厚的壮美感受。泰山石是深邃的。
“泰山之高，非一石之积”，春秋时代齐国名相晏婴第一个赋予泰山石以文化内涵。他说，要办好国家的事情，需要许多像泰山石一样高尚坚韧的人辅佐。西汉史学家司马迁用“人固一死，或重于泰山，或轻于鸿毛”，来歌颂视死如归的精神。宋代著名文学家欧阳修则用“学者仰之，如泰山北斗”，表达对伟大人格的崇敬。
千百年来，重如泰山、安如泰山、稳如泰山、泰山北斗等典故词谚广泛流传，并成为中华民族精神的组成内容。泰山石宁毁不折、坚贞不屈的高尚情操，激励着中华儿女为民族大业奋斗不息。人们敬仰泰山，歌颂泰山石，并用泰山石寄托自己的希冀与愿望。
古代祖先们利用简易风水地理的观念，在交通与科技都不发达的时代中，不但提出了山川地势的图形，更创造了包含天文与地理知识的罗经，指出一个隐藏着牢不可破的脉络和定理，这就是初步景观的理论。
将石头视为辟邪灵物特别是用巨石作为镇宅之物，既与古老的巨石崇拜密切相关，亦以巫术中的投石击鬼法为原型，这种巫术在秦简《日书 ·诘篇》里就有记载，将石头埋在地下或插在地面以镇妖邪则是该法术的另一种形式，自秦汉以来一直流行。到唐朝，不知哪位读过《急就章》的人突发灵感，把书中 “石敢当 ”之 “石 ”同镇石之石联系起来，便借用这个响亮的名字来称呼镇邪用的石人石碑，并得到大众的认可，于是愈传愈广，承用不衰。至于后来又称为 “泰山石敢当 ”，意在强调这块镇石是来自五岳之尊泰山上的神石，进一步增强它对鬼魅邪祟的威慑力量。准此，镌立 “石敢当 ”习俗的源头更可上推到先秦。
旧时一些少数民族聚居的村寨口常有天然的石柱屹立，就有镇宅辟邪的作用，而汉族人用石条石碑镇宅制鬼的习俗在原初观念上则是与此相通的。
设置 “石敢当 ”凡是宅第路冲、水冲，屋主为求平安，于是在道路旁或墙上置 “石敢当 ”。
“石敢当 ”的历史相当久远，相传在黄帝时代，蚩尤登太山而渺天下，女娲娘娘要制其暴，于是投下炼石，上面镌刻 “泰山石敢当 ”五个大字，蚩尤看了甚怒，要毁坏此石块，却不能损任何一角，只好怅然遁逃，黄帝见状才四处设置 “石敢当 ”。
其设立时，必须选择冬至后的龙虎日（所谓龙虎日即如甲辰、丙辰等），先选长石雕刻，除夕夜再以生肉三斤祭拜，新年正寅时再竖立于位置上。 “石敢当 ”是避邪之物，但与气流无关，因此如果建地曾为秽地，如垃报场、医院太平间、墓场等不洁之时，就可以用 “石敢当 ”镇压，以抑秽避凶。
因为古人崇尚五岳之尊，立上泰山石敢当，以求镇鬼避邪，保佑人间太平安定，百业昌盛，此原为齐鲁风俗，当今已遍及全国各地。
泰山石敢当多用青石条制成。一般比较讲究的人家，泰山石敢当要“穿靴戴帽”，其模样近似神龛。泰山石敢当是不能随便乱放的，要按八卦方位放在院墙的西南角，也就是八卦中“坤”的位置上，因为此方位是“凶煞方位”，在此方位放置泰山石敢当镇宅避邪，便可大吉大利。
