Hititlerin arzava prensliği tarafından kurulduğu sanılan kent. en eski adı akroenos idi. m.ö. 10. yüzyıla kadar hitit, m.ö. 660 yılına kadar frigya, sonra kimmerler, Lidya, İskender ve Bergama`nın yönetiminde kalmıştır. son bergama kralının vasiyeti üzerine romalılara geçmiştir. Bizanslıların ve sonra 13. yüzyılda Selçukluların yönetimine girmiştir. devletin bu zamanında hazineleri afyon kalesinde saklanmış olduğunda şehre de `Hisar`ı devle` adı verilmiştir. 1265-1333 yılları arasında sahip ata oğullarına başkent olmuştur. 14. yüzyılda germiyanoğullarına geçen şehir, son germiyan beyi ikinci Yakup`un ölümü üzerine vasiyeti ile 1428 yılında Osmanlılara geçmiştir. 1895 yılında demiryolu ile Eskişehir`e, 1897 yılında da yine demiryolu ile Konya`ya bağlanmıştır.
13 temmuz 1921 ile 27 ağustos 1922 tarihleri arasında yunan işgalinde kalmıştır. 1923 yılında il olmuştur. ilk valisi İbrahim ethem bey, ilk belediye başkanı ali Ağa`dır. Anadolu`da ilk afyon tarımı burada yapılmış olduğundan adı `afyon karahisar` haline çevrilmiştir.