三國時期衡陽分屬于衡陽郡和湘東郡。西晉初沿襲之,，后析荊州,、廣州置湘州,，現(xiàn)衡陽市均屬湘州。隋開皇七年（589年）,，隋滅陳并改郡為州,，并湘東、衡陽兩郡為衡州,，并臨蒸,、新城、重安為衡陽縣,，州,、縣城均設湘江東岸，為歷史上首次出現(xiàn)以衡陽命名的縣,。清朝,，為衡州府，轄境為衡陽等縣地,。1950年,，衡陽市改為省轄市。1959年,，省轄市衡陽市改歸衡陽專區(qū),。1970年，衡陽專區(qū)改稱衡陽地區(qū),。1980年02月20日,，衡陽市由地轄市升為省轄市（1983年改稱地級市）。

截至2023年12月31日,，衡陽市轄蒸湘區(qū),、珠暉區(qū)、雁峰區(qū),、石鼓區(qū),、南岳區(qū)5個市轄區(qū),，衡陽縣、衡南縣,、衡山縣,、衡東縣、祁東縣5個縣,，代管耒陽市,、常寧市2個縣級市。