1960年4月金水人民公社成立,由七一、紫荊山、人民路、杜嶺、黃河路、文化區、鄭紡機、崗杜、南陽新村9個街道分社和一個農業分社組成。1961年8月,金水人民公社改成金水區,9個街道分社改成杜嶺、人民路、花園路、經八路、文化路、南陽路、南陽新村7個街道辦事處,農業分社改建成金水農業公社。1980年成立劉寨街道辦事處,1984年成立大石橋街道辦事處。 1987年全市進行區劃調整,撤銷金海區、新密區和郊區,成立邙山區。金水區劉寨街道辦事處劃歸邙山區,原郊區的柳林鄉、祭城鄉、姚橋鄉,原金海區的廟李鄉劃歸金水區。2000年5月,金水區撤銷海灘寺鄉,成立豐產路街道辦事處。2002年8月,金水區進行區劃調整,成立未來、北林、東風路等3個街道辦事處。 2002年底,區轄杜嶺、人民路、花園路、文化路、南陽路、南陽新村、大石橋、豐產路、未來路、北林路、東風路、經八路等12個街道辦事處,136個社區居民委員會;廟李鎮、柳林鎮、祭城鎮、姚橋鄉4個鄉鎮,70個行政村村民委員會,175個自然村。2005年11月,撤銷姚橋鄉,設立龍子湖街道辦事處。2006年6月,撤銷祭城鎮,同時設立祭城路街道辦事處、鳳凰臺街道辦事處。2000年9月,區四大班子機關由文化路106號遷至東風路16號新址辦公。