中国古代文化的中心在黄河流域，山西地处黄土覆盖的黄河中游地区，土性肥沃，质地疏松，优越的自然资源为原始经济的起源提供了条件。另外，黄土的特性是具有柱状节理或垂直节理，在生产力水平极其低下的原始社会，它最易先为民用。挖穴藏身，掘土构屋，促进了原始聚落的形成和发展，使其成为中华文明最早发源地之一。
山西旧石器时代的文化遗址据目前所知已达200余处。其中，山西南部芮城县西侯度遗址，距今170万年，是华北地区迄今所知最古老的文化遗址，也是世界上已知的最早文化遗址之一。20世纪80年代中期在山西和顺、陵川发现有距今约4万年左右的旧石器时代晚期洞穴遗址。洞穴居址冬暖夏凉，既可防风雨的侵袭，又可躲避野兽的袭击，非常适宜生活在寒冷地区的古人类居住。
这些洞穴遗址成为后来人工穴居的先声。洞穴居址虽然优越性很大，但是由于山西地质构造所限，分布不均，当时更多吊原始人类则采用露天居址。据考文物世界古发现，距今28000年前的山西朔县峙峪遗址就是一处露天居址。峙峪人在平坦的砂砾滩上用较大的石块围成直径约4~5米的圆形矮墙，以树枝架起，用草或兽皮搭成简单的居室据考古和对人类当时生产力等方面因素的分析，在旧石器时代晩期，人类已有了模拟洞穴居址及在黄土嫁上人工挖穴的实践。可以说在旧石器时代晚期，山西境内至少已有了土穴和石砌两种建筑形式。
到了新石器时代，人类已由食物采集转向食物生产阶段。定居的生活和生产力水平的提高，使人工穴居成为当时山西境内人类的主要居住类型。初期的穴居形制简陋，其剖面形式呈喇叭口竖穴，平面是不规则的圆或椭圆。仰韶文化时期，居所已进入半穴居，顶部利用树木枝干和其它植物茎叶之类构成围护结构。
龙山文化时期是山西土窑洞的创立和定型时期礼从龙山文化时期的山西襄汾陶寺遗址的建筑遗存来看，已初创了土窑洞的建筑形式。这时期的居室小，尚未摆脱口小底大袋状圆形土穴模式的局限，只能顺沿黄土坡崖面为门道入口：窄小低矮的隧道更多地利用天然地势：居室周壁未做人工加固处理。
土窑洞的进一步发展，可以从山西夏县东下冯遗址和山西太谷白燕等窑洞遗址看出。这时期的土窑洞，无论土方工程的挖掘技术，还是建筑装修处理技术方面，不断出现具有阶段性的局部变革和新的发展。突出成就表现为建筑形式、平面布局与结构多种多样，初步具备了中国古代特有民居形式的格局。山西曲沃县方城的双间土窑洞和石楼倒岔沟的土窑洞建筑群则显示出土窑洞的建造和装修技术都已规格化和十分讲究。
居室明显加大，生土墙壁上装修草泥白灰墙皮，在墙裙、烧灶等部位画彩，并采用木柱加固顶部等都说明这时期的土窑洞已渐趋成熟⑴。土窑洞的进一步发展，约是夏纪年初期，人们利用土壤的力学性能，周壁承受顶部荷载，拱顶跨度更为适当，取消木柱支撑。这种格局定型并沿用至今。除土窑洞建筑外，龙山文化时期还有大量地穴和地表建筑。石灰抹面住宅已大量釆用。
夏商时期，夯筑技术已普遍出现。在东下冯遗址中发现了夏纪年时期有“回”字形壕沟和人们使用的长方形水井，其次有许多地面建筑地穴及窑洞。
据考古资料及上古的一些记载，先秦时期，山西南部汾澆水流域，晋东南沁河流域，忻定盆地与五台山系森林植被茂盛。茂盛的森林植被为建造木构居室提供了先决条件。虽在山西境内没有考古发现先秦时期的木构建筑，但从山西侯马乔村战国墓出土的棺木炭末可以断定当时已具有建造木构建筑的技术。在侯马发掘的东周烧陶窑址中有板瓦或筒瓦等建筑材料出土也说明了当时已有了木构瓦屋的居住类型。
元代以前的山西民居可以从壁画、石窟寺雕刻中看出。现尚存有高平市陈堰镇中庄村的元代民居。三间正房，面南背北，大门居中，但较两侧檐墙退后1.5米，檐柱的侧脚很明显，.此做法不同于明清民居。
明清两代，国家的统一为社会经济的发展创造了一个比较安定的环境，促进了农民生产的积极性，促使农业、手工业以及社会商品经济有了的较大发展。住宅建筑也呈现出前所未有的多种民居形式。突出反映在以下三个方面。
1.由于烧砖技术的空前发达及经济增长，使砖广泛用于民居建筑上。
2.创造了砖砌窑洞和木构建筑相结合的新的建筑形式。这种形式多集中在山西晋中地区南部和临汾地区的盆地边坡地带。这一带最初是窑洞区，由于这些地区历来交通便利，经济较发达，外部一些发达地区的木结构建筑形制对当地人居住建筑形式产生的影响和经济条件的可能，使得当地民居发展较快。结合窑洞建筑的优点，于是人们便创造出这种结合两种居住建筑特点的居住建筑形式。它从窑洞式住宅体系脱胎出来，逐渐形成发展成为一种新的独特体系。
3.商业的繁荣促使商人住宅的兴起。明清时期，山西的商业十分活跃，这些商人发财致富后，在家乡建造大宅，住房比大争阔，追求繁丽装饰。如祁县乔家大院，襄汾丁村民居，平遥、太谷的住宅无不反映出高墙深院、雕刻精丽的特点。
