夏商周时期，清水为邽戎、绵诸戎居住地。西周孝王时，嬴姓部落首领非子因养马有功，封为王室附庸(周制．其封地方圆不足50里)，封邑在今清水县秦亭镇境内，是清水境内最早的城邑。之后，非子等以此为根据地，不断开拓疆土，发展壮大。周庄王九年(公元前688年)，秦武公伐邽戎取其地，始置邽县，为中国历史上最早设置的县。秦惠公五年(公元前395年)，秦灭绵诸戎，置绵诸道(治今县西南贾川乡林河村)，并筑城以加强管理。
秦统一全国后，实行郡县制，清水县地属陇西郡上邦县(原邽县)、绵诸道。西汉初，随着经济人口的发展，为巩固边防、扩充疆土，汉武帝元鼎二年(公元前115年)析上邽，在关陇要冲置清水县、戎邑道(治今黄门乡)与陇县，至此，始有清水县名，县治在古城(今永清镇李崖村)。《太平御览》引述“《三秦记》云：‘其坂九回，七日得越，上有清泉，四注而下。’下有县，因此而名。”元鼎三年(公元前114年)，分陇西郡置天水郡，辖16县(道)，其中清水县、绵诸道均属凉州刺史部天水郡。西汉末年，王莽改清水为识睦。王莽始建国二年(公元10年)，公孙述于县治以西15里依山筑清水西城(址今红堡镇西城村)。东汉明帝永平十七年(公元74年)，改清水县为坻聚，与绵诸道、戎邑道一起并入陇县。
三国初，魏复置清水县，废陇县入清水县。魏文帝黄初二年(221年)，从天水郡分置广魏郡，辖4县，清水县属之。西晋时，清水属秦州略阳郡管辖。东晋十六国时，前赵、后赵、前秦、后秦、西秦、大夏、仇池等少数民族政权，先后把势力伸入清水境内。这些割据势力你争我夺，相互兼并，征战不已，给清水的社会生产造成很大破坏。晋安帝义熙六年(4lO年)，夏王赫连勃勃攻陷清水城，将清水及略阳16000余户居民迁于大城(即夏都统万城，在今陕西省靖边县北)。北魏统一北方后，清水县仍属秦州略阳郡所辖。北魏太武帝太平真君八年(447年)，在原戎邑道故地置安戎县，属略阳郡。北魏文成帝和平五年(464年)，分略阳郡清水、伯阳(治今北道区伯阳乡)2县置清水郡驻清水，属秦州。西魏、北周继之。北周，废安戎县。
隋文帝开皇三年(583年)，废清水郡，改伯阳县为秦岭县，与清水县均属天水郡。唐高祖武德四年(621年)，在清水置邽州，辖清水、秦岭两县，历3年废入秦州。“安史之乱”后，吐蕃乘虚而入。唐肃宗宝应元年(762年)，吐蕃突破唐临洮防线，取秦、成、渭等州，清水亦被占据，古城废弃。唐德宗建中四年(783年)正月，陇右节度使张镒与吐蕃大相尚结赞盟于清水，暂息兵戈。不久，吐蕃背盟，复据清水。唐宣宗大中二年(848年)，凤翔节度使崔珙破吐蕃收复清水，隶风翔府。因老城久废，移县治于牛头河南人口稠密处(即今城址)大中三年(849年)，复属秦州天水郡中都督府。五代时清水虽自前蜀经后唐至周，名为陇右道秦州府所辖，实自后唐明宗长兴三年(932年)复为吐蕃占据，县治迁至上邽城(今天水市秦城区)。
北宋太祖建隆二年(961年)，秦州入宋，清水县属陕西路[宋仁宗庆历元年(1041年)改称秦凤路]秦州。此时，清水境内吐蕃已为汉族同化，但秦州羌(即吐蕃“生户”)仍频繁寇掠清水。为此，北宋王朝在清水相继置直属秦州的穰、冶坊、静戎等寨堡以及太平监，屯兵防守。宋太宗太平兴国初年，县治从上邽城迁回。宋真宗大中祥符九年(1016年)，秦州都部署曹玮出奇兵破吐蕃李遵立部于三都谷，基本结束了吐蕃对秦州及清水一带的扰掠。此后，曹玮督军民在境内大修堡寨，并筑清水城(即今城址)，以拱卫秦州。这些城堡在后来抵御西夏的人侵中发挥了重要的作用。宋神宗熙宁二年(1069年)，清水县隶秦风路凤翔府秦州，领弓门、冶坊、穰、宁远等29堡。宋徽宗崇宁年间(1102年一1110年)，清水县、太平监和弓门、静戎两寨以及穰、冶坊2堡均属秦州。南宋高宗建炎三年(1129年)，金将兀术越陇山西进，破清水城，继而攻陷秦州。此后，宋将吴玠曾一度收复秦州，但金仍据清水。建炎四年(1130年1。金升冶坊堡为县(治今黄门乡王店村)，与清水县均属凤翔路西宁州。金宣宗贞三年(1215年)，清水、冶坊两县以及穰、静戎2镇均隶属凤翔府秦州。金哀宗正大四年(1127年)，元太祖铁木真(成吉思汗)率部越六盘山到达清水县西江畔(今牛头河)，病逝于萨里川(今红堡川)行宫内。
元代清水县归陕西行中书省巩昌总帅府秦州。元世祖至元七年(1270年)，废冶坊县入清水县。明太祖洪武二年(1939年)，徐达率兵度陇，元清水县令铁木罕巴在马跑泉被明军捕杀。洪武四年(1371年)，知县刘德以宋城址重筑清水城。洪武九年(1376年)，改行中书省为承宣布政使司(简称布政司)，清水县属陕西布政司巩昌府秦州。明朝末年，阶级矛盾激化，陕北、陇东饥民相继揭竿而起，反抗明朝的统治，先后有数路农民军蜂拥而入清水，给地方统治者以沉重的打击。明思宗崇祯十六年(1643年)，清水县归闯王义军。清世祖顺治二年(1645年)，清军征秦陇，大顺知县丁图昌附清。清圣祖康熙三年(1664年)，清水县属陕西省右布政使司巩昌府秦州。康熙七年(1668年)，改属甘肃布政使司。清世宗雍正七年(1729年)，升秦州为直隶州，清水属之。
民国初年，废秦州设置渭川道，清水为其所辖。民国16年(1927年)，改渭川道为渭川行政公署，清水属之。民国38年(1949年)7月31日，清水解放。8月7日，清水县人民政府成立，属陕甘宁边区政府天水分区。
中华人民共和国成立后，清水县属甘肃省天水分区行政督察专员公署。此后，与天水县（今天水市麦积区）、秦安县多次调整边界。于1961年12月第二次与张家川回族自治县分置后，县境北界、南界均向南推移，西界西移，辖域由民国时的菊叶形变为东西长方形，县治居县境中心。1985年7月，天水撤地设市，实行市管县体制，清水县归天水市管辖至今。全县设6镇12乡、260个行政村、4个居民委员会，1125个村民小组，总人口31．26万人，有汉族、回族、藏族、白族、朝鲜族、土家族等8个民族。全县2005年末总户数为66846户，总人口312552人，其中农业人口291628人，占总人口的93.3%，少数民族有回、藏、东乡、土、苗等。