Divriği Kalesi şehrin kuzeyinde ırmağa bakan yüksek bir kayalığın üzerindedir.Anadolu kalelerinin çoğunda olduğu gibi, bu kalede daha önceki bir dönemde yapılmıştır.Korunan kısımları ise sadece Orta Çağ'a dayanmaktadır.
Yakın zamana kadar kalenin aşağısında küçük bir mahalle varmış. Mahalle sakinleri aşağı şehire çekilmişler. Ulu Cami'ye yakın olan yukarı şehrin mahalleleri de hemen hemen boşanmış. Kale surunun batı yüzünde iki kapı açılmıştır. Biri bugün tamamen duvarla örülmüş, güneyde bulunan diğer kapını bir kısmı yıkık halde, yüksekliğinin dörtte üçü toprakla dolmuştur. Bu kapı, kırık bir kemerle nihayetlenen çok yüksek bir kapı boşluğuna açılır.
Fırat nehri kenarında yüksek ve yalçın kayalar üzerinde eski bir yapı olup, görülmeye değer bir kaledir. Van, Meku, Şin ve Mardin kalelerinden sonra Divriği kalesi gelir, öyle dayanıklı bir kaledir ki, ancak kuşatılıp aman dedirterek ele geçirilebilir. Yoksa hiçbir şekilde bir taraftan lağım, sîbe ve siper yapmak mümkün değildir. Meğer ki kalede kıtlık ola. Ne olursa olsun, halkı yine suya hasret kalmazlar. Zira yukarı İç kale kayasının en tepesinden iki bin basamak kesme taş merdiven İle tâ Fırat nehrine inilir bir su yolu vardır ki dillere destandır. Suya gidenin başka yolu olduğu gibi, su getirenlerin de ayrı bir yolu vardır, iki nehir birbirine bakar. Bundan başka, kale içinde yağmur suyu sarnıçları, buğday anbarları, cephaneliği, üç yüz adet toprakla örtülü ev ve bir cami olup, kalenin batıya bakan ve aşağı şehre açılan bir demir kapısı vardır. Kale yuvarlak şekilde, taş yapıdır. Burç ve kuleleri sağlam ve güzeldir. Yeniçeri ocağından kale dizdarı ve kale neferleri vardır, îç il olduğundan serhaddı olmayıp emin bîr yer değilse de, Celâli ve Cemâli korkusundan yeteri kadar cephanesi ve toplan olup bayram ve mübarek günlerde atılır. Kalenin içinde İmaret yoktur. Surun dibindeki cirit meydanından, köprü altından Fırat nehri geçip Divriği'nin Kesti fan kalesine gelir. Bu da Divriği kalesine benzer sağlam bir kaledir. Kayser kızlarından Kesti fan adında bakire bir kız yaptırmıştır. Fırat nehrinin karşı tarafında verimli topraklar üzerinde yapılmıştır. Divriği kalesi ile aralarından nehir geçer. Buradan akan Fırat'ın kolu (25) buradan Eğin kalesine, oradan Arapgir ve Çemişkezek kalesine varıp, Bu suyun şimdiki adı Çaltı suyudur. Keban madeninin üstünde Fırat ile birleşir, Çat denilen yerde Fırat'a karışır. Bu su o kadar büyük değildir. Temmuz ayında at ile geçilebilir. Divriği halkı da bu sudan içer.