钟楼与鼓楼，首先出现在民间住宅里。西汉出土的民间住宅里的壁画望楼，应当是最早的钟鼓楼，里面安装有大鼓。望楼的主要用途是为了防止坏人来抢劫，人们在较高的望楼上可以观察和瞭望；以后到明清乃至民国年间，很多住宅中都有望楼。望楼也好，钟鼓楼也好，都是为防卫与瞭望而产生的。
伴随着城市的发展，城市里也开始建造这种钟楼、鼓楼。城市面积甚大，汉时又没有钟表，只好依靠敲钟、击鼓来报时间，即所谓晨钟暮鼓。这种方式后来在公共建筑中也得到发展，因为公共建筑里也需要报时，所以庙宇、寺院、书院、会馆里也开始建设钟楼与鼓楼。
佛教寺院中一般都要建造钟楼与鼓楼。在伽蓝七堂制度中也将钟鼓二楼算作一堂，人们常说“左钟右鼓”，这是指面南的寺院而言。据《寺塔记》上说，钟楼在寺之东侧。印度最早的佛寺——祇园精舍，在无常堂里即悬挂钟，名曰“颇黎钟”。撞钟时，要紧七慢八，共108响。
中国佛教寺院中的钟鼓楼最初位于大雄宝殿之后部的左右两侧，后来钟鼓二楼逐步前移，到晚清时已移至山门之左右两侧。小规模的寺院，挂钟鼓不设楼而建设钟架、鼓架立于大殿之内外。大寺院单独建造钟鼓二楼，例如北京之大钟寺，即以钟楼为主；其他如法海寺、法源寺、法华寺、广济寺、智化寺、普陀山普济寺等，皆设有钟鼓楼。这些大寺院都将钟鼓楼设立在山门之两侧，左鼓右钟。
还有一个特殊的例子。在山西原平县境内西部的山间有古惠济寺一座，寺院入门后以中轴为中心，左右对称，前殿、中殿、大雄宝殿、后阁依次排列，前低而后高，节节高起。这是传统布局。全寺建筑左右排房接二连三，井然有序，周围有高墙，寺院安然肃静，风不扬沙；寺僧不多，但是房屋古老。
这座寺院的奇特之处在于其钟鼓二楼的位置，一般的佛教寺院，山门偏后为钟鼓二楼；而惠济寺把钟鼓二楼地位抬高，建在寺院的两侧山峰之顶端，这在全国是唯一的例子。这是充分利用寺院周围地形、地貌设计出来的，也是一般人们所想象不到也不敢这样做的。这种做法十分新颖，无形中把两座山与佛寺融为一体。钟声鼓声远传，使佛寺威名远扬。
