武安城东南14里地有个山叫粟山，平地突起，不和他山相连，远远望去，就象一个大粮堆。说起它的名字，还有段来历。那是战国时期，秦赵交兵，秦国探知赵国粮草不丰，人心不稳，就派大将白起率大军来攻邯郸。赵王听说秦兵来得凶，忙召集文武大臣商议对策，可商量为商量去，没一个人出头。这时老将廉颇上前说：“大王给一万人马，我去退敌。”赵王说：“人马倒有，可军中缺乏粮草呀？”廉颇说：“大王不必担忧，我军有的是粮草。不出三天，我叫秦国退兵。”赵王见老将说得肯定，素知廉颇不是个吹大话的人，想他一定有锦囊妙计，就命令他带兵迎敌。廉颇出邯郸西六，在离城50里的一座小册下安营扎寨。这里南靠鼓山，北临洺水，是秦军进攻邯郸的之路。傍晚，他令士兵把军中的粮食盛到布袋里，都摆到小山上，派人严密看守 ，然后四处贴下告示：粮草重地，任何人不得靠近，违令者斩。第二天白起率大军攻入武安境内，忽然探马来报：“往东二十里，发现赵军粮营，大将廉颇带重兵把守。”白起听了将信将疑，亲自前去察看。不看还好，一看差点儿把他从马上惊下来，只见赵军营中粮食一袋袋、一层层堆积如山，下面军营，大帐连阡，号旗严整。于是仰天叹息道：“粮足兵精，天中助我也!”急忙下令退兵。从此，这个人堆的“粮山”，就称作粟山了。后人还曾写诗记这件事：“山名昉何代？七雄争周鹿。当日虎狼秦，于兹竞角逐。廉颇老将军，山巅虚积粟。秦军不敢骄，赵人免屠毒。”这诗还刻在碑上，就立在粟山的半山腰。
后来山脚下形成三个村庄，魏粟山，张粟山，黄粟山。