水泥的历史最早可追溯到古罗马人在建筑中使用的石灰与火山灰的混合物，这种混合物与现代的石灰火山灰水泥很相似。用它胶结碎石制成的混凝土，硬化后不但强度较高，而且还能抵抗淡水或含盐水的侵蚀。长期以来，它作为一种重要的胶凝材料，广泛应用于建筑工程。
1756年，英国工程师J.斯米顿在研究某些石灰在水中硬化的特性时发现：要获得水硬性石灰，必须采用含有粘土的石灰石来烧制；用于水下建筑的砌筑砂浆，最理想的成分是由水硬性石灰和火山灰配成。这个重要的发现为近代水泥的研制和发展奠定了理论基础。
1796年，英国人J.帕克用泥灰岩烧制出了一种水泥，外观呈棕色，很像古罗马时代的石灰和火山灰混合物，命名为罗马水泥。因为它是采用天然泥灰岩作原料，不经配料直接烧制而成的，故又名天然水泥。具有良好的水硬性和快凝特性，特别适用于与水接触的工程。
1813年，法国的土木技师毕加发现了石灰和粘土按三比一混合制成的水泥性能最好。
1824年，英国建筑工人J.阿斯普丁取得了波特兰水泥的专利权。他用石灰石和粘土为原料，按一定比例配合后，在类似于烧石灰的立窑内煅烧成熟料，再经磨细制成水泥。因水泥硬化后的颜色与英格兰岛上波特兰地方用于建筑的石头相似，被命名为波特兰水泥。它具有优良的建筑性能，在水泥史上具有划时代意义。
1907年，法国比埃利用铝矿石的铁矾土代替粘土，混合石灰岩烧制成了水泥。由于这种水泥含有大量的氧化铝，所以叫做“矾土水泥”。
1871年，日本开始建造水泥厂。
1877年，英国的克兰普顿发明了回转炉，并于1885年经兰萨姆改革成更好的回转炉。
1889年，中国河北唐山开平煤矿附近，设立了用立窑生产的唐山“细绵土”厂。
1906年在该厂的基础上建立了启新洋灰公司，年产水泥4万吨。
1893年，日本远藤秀行和内海三贞二人发明了不怕海水的硅酸盐水泥。
20世纪，人们在不断改进波特兰水泥性能的同时，研制成功了一批适用于特殊建筑工程的水泥，如高铝水泥，特种水泥等。全世界的水泥品种已发展到100多种，2007年水泥年产量约20亿吨。
中国在1952年制订了第一个全国统一标准，确定水泥生产以多品种多标号为原则，并将波特兰水泥按其所含的主要矿物组成改称为矽酸盐水泥，后又改称为硅酸盐水泥至今。2007年中国水泥年产量约11亿吨。
