《说文》云“廷也”，即指宫廷的侍卫人员，以后寺人的官署亦即称之为“寺”，如“大理寺”、“太常寺”等。大理寺是中央的审判机关，太常寺则为掌管宗庙礼仪的部门。西汉建立“三公九卿”制，三公的官署称为“府”，九卿的官署称之“寺”，即所谓的“三府九寺”。汉代，九卿中有鸿胪卿，职掌布达皇命，应对宾客，其官署即“鸿胪寺”，大致相当于后来的礼宾司。梵语中，“寺”叫僧伽蓝摩，意思是“僧众所住的园林。”隋唐以后，寺作为官署越来越少，而逐步成为中国佛教建筑的专用名词。
古代本是供祀祖宗的地方。那时，对庙的规模有严格的等级限制。《礼记》中说：“天子七庙，卿五庙，大夫三庙，士一庙。”“太庙”是帝王的祖庙，其他凡有官爵的人，也可按制建立“家庙”。汉代以后，庙逐渐与原始的神社混在一起，庙作为祭祀场所，还常用来敕封、追谥文人武士，如文庙——孔子庙，武庙——关羽庙。
祠是为纪念伟人名士而修建的供舍（相当于纪念堂）。这点与庙有些相似，因此也常常把同族子孙祭祀祖先的处所叫“祠堂”。祠堂最早出现于汉代，据《汉书·循吏传》记载，“文翁终于蜀，吏民为立祠堂。及时（指诞辰和忌日）祭礼不绝。”东汉末，社会上兴起建祠抬高家族门第之风，甚至活人也为自己修建“生祠”。由此，祀堂日渐增多。
《释名》云：“观者，于上观望也”。观就是古代天文学家观察星象的“天文观察台”。史载汉武帝在甘泉造“延寿观”，以后，建“观”迎仙蔚然成风。据传，最早住进皇家“观”中的道士是汉朝的汪仲都。他因治好汉元帝顽疾而被引进皇宫内的“昆明观”。从此，道教徒感激皇恩，把道教建筑称之为“观”。
古时是一种小草屋，即所谓“结草为庵”。旧时文人的书斋亦称“庵”，如“老学庵”、“影梅庵”。汉以后建了一些专供佛徒尼僧居住的庵堂，于是“庵”也就成了佛教女子出家行佛事的专用建筑名称了。
