合肥名字的由来就不能不说到淝水。淝水源出自城西南肥西县的“紫蓬山”，出紫蓬山后分二支，一支东下经城南绕到东关，称为南淝河；一支向北与鸡鸣山龙井的水汇合后，又分二支：一支折向东流 ，称为金斗河（现在已不存在了），另一支经寿县向北注入淮河，称为东淝河，历史上著名的淝水战役就是在这里发生的。东晋时期的谢玄在此地以少胜多大败符坚。按《尔雅》释义：“归异出同”曰 肥，这是淝水得名的依据。合肥因东南两条河流在此汇合而得名，素以“江南唇齿、淮右襟喉”“包拯故里、三国旧地”闻名于世。

合肥的名字最早出现在史学家司马迁《史记》中，《史记货殖列传》中提到“合肥受南北潮，皮革、鲍、木输会也。”意思是合肥作为长江淮河两大流域水运的节点，是南北木材皮革的转运站。在当时 尚未有大运河，邗沟(长江、淮河)经常淤塞的情况下，合肥作为地处长江、淮河两大水系运输节点的位置，而成为货殖列传中记载的十八个商业都会之一。

南朝宋将合肥改为南豫州，于旧合肥县建立了汝阴县，为南豫州南·汝阴郡的郡治之地。梁**太清元年（公元547年）置合州，汝阴属合州汝阴郡，为州、郡治之地。北周宣帝大成元年（公元579年） 合州为北周占领。隋文帝开皇元年（公元581年）改汝阴县为合肥县，合州改名为庐州，合肥属庐州，为州治之地。直到今天合肥县之名也未曾改变过。