Yavuz Sultan Selim bir şiirinde Sinop'u en mühim kaleleri arasında saymaktadır. Bir asıl evvele kadar Anadolu'nun en mühim kalesi, şehir ve limanı olmuştur. Kalenin şehirden harice, köylere giden bir yolu vardır. Burada da büyük bir kapı bulunur. Akşam olunca bu kapı kapanır, şehire girmek mümkün olmazdı. Köylerden Sinop'a gelenler yetişemezlerse gece dışarıda kumluk denen yerde kalmaya mecbur olurlardı. Orada bir han olduğu ve kapısı sabahları açıldığı söylenmektedir. Ne yazık ki tarihimizi bir türlü korumayı beceremediğimiz için şimdilerde ise o kısımlar kısmen yıkılmış ve harap bir halde eski görünümüne kavuşmasını beklemektedir.
Selçuklular zamanında Sinop surlarının onarımı ve büyütülebilmesi için ihtiyaç duydukları taşları bulmak için uzun ve zahmetli taş ocağından çıkartılılıp getirme yöntemine başvurmuşlardır. İşin kolayına kaçan Selçuklular, kendileri için sadece birer taş kaynağı olan Roma ve Bizans tapınak, saray katedral gibi yapılarını sökerek kale surlarına ilave etmişlerdir. Bugün surlar üzerindeki taşlar arasında pek çok sütun parçası ya da süslemelerini sıklıkla görme olasılığı vardır. Jules Laurens 1846 tarihinde kale surları üzerinde gördüğü Roma tapınak ve saraylardan sökülerek surların tamiratında kullanılmış bu olağanüstü süslemelerin bazılarını çizerek kayda almıştır. Onu daha sonra tezi için yazdığı '' Antik Sinop '' adlı eseri ile eşsiz bir kaynak sağlayan D.M. Robinson izlemiştir. Yıkılan surlarla beraber bunların önemli kısmıda maalesef kaybolmuştur.
Trabzonlu Bijiskyan, Kale duvarları üzerinde birçok yerde taşlarla beraber örülmüş insan ve hayvan heykelleri, tezyinat ve sütun başları, Müslüman mezarlarında da sütun kaideleri ve parçaları olduğunu belirtmektedir. Kale duvarlarının içinde bulunan çok eski şeylerin arasında yüzü bozulmuş fakat boynu ve saçları görünen bir büst varmış. Kale kapılarının birinin üzerinde Grekçe yazılmış iki set üstünde Cenovalılardan kalmış tamamıyla mevcut iki aslan heykeli varmış. Sinop'un yarım adası denildiğine göre eskiden ana karayla arasında kanal olduğundan kaleden girmek için ahşaptan köprü yapılmış, kayıklar altından bir taraftan diğer tarafa geçerlermiş. Romalılardan kalma sütunlar, bazı heykel parçaları, bazan bir kalenin en üstünde, bazan da en altında taş yerine kullanılmış aslan heykelleri parçaları vardır. Başka bir çok parça gelişi güzel konmuştur. Karaya yakın duvarın iç tarafında Roma su kemerleri vardır. Eski zamanlarda güney limanı Büyük Mithridates zamanından kalma olduğu tahmin edilen bir iskele harabaesi olduğu söylenmektedir.
1889 yılında Tepeyran, Sinop surarı ile ilgili yazılarında Sinop'a vardıktan iki gün sonra, kale kapılarından Meydankapısı denilen kapı ile onun üstündeki burç, korunması lazım iken eski eserlerden olduğu halde burç yıkılmıştı. Ayrıca kapının da yakılmaya çalışılmasından dolayı siyahlaşmış bulunduğunu esefle görerek işi derhal durdurup sebebini araştırmaya çalıştım. Anladım ki iş akla sığmaz hırsızlık ağlarının düğümü imiş. İşlek bir yerde bulunan bu burcun tamir kabul etmez derecede haraptır diye, günün birinde ansızın yıkılarak bir felakete sebep olacağını ileri sürerek, mutasarrıf doğrudan doğruya Tophane Müşirliğine yazmıştır. İstihkam işlerine yarayacak olan taşları istihkam memurluğuna teslim edilmek şartı ile tehlikenin kaldırılmasına irade çıkmıştır. Ayrıca, o dönemin kurallarına göre Kalelere ait parçalar Padişahın müsaadesi olmadan yıkılamazdı. Mutasarrıfın doğrudan doğruya üst makama müracaat nedeni ise daha bir buçuk yıl evvel o kapının ardından birçok defa geçmiş olan Vali bulunan bahanelere inanmayacaktır. kendi kendine yıkılacağı iddia olunan burç ise, kazma ve kürekle bile yıkılamamıştır. Yıkkım için barut kuvvetine başvurulmuş ve patlama sonrası ise sura bitişik ve iptidai mekteplerine ait bir eczane ile birkaç dükkanı, sur içindeki hapisanenin umumi hastanesi ile birde gaz deposunu, kısmen veya tamamen harap etmiştir. Kapının ve burcun yıktırılmasındaki amaç ise asırlardan beri devam eden kale zindanları işkencelerine artık bir son vermek maksadı ile o dönemin valisi Abdurrahman Paşa'nın ilk temel taşını bizzat koyduğu büyük bir hapishane yapılmasıydı. Diğer taraftan, 1913 yılında e Sinop'a gelen o dönemin en etkili gazetecisi ve yazarı olan Refi Cevad Ulunay Sinop kalesi hakkında anlatıkları ise, Uzun Sinop kalesi hakkında bin türlü rivayetler dinledim. Mesela bu kalede birçok mahpus varmış. Bunlar başlı başlarına birer dükkan açarak icrayi sanat ederlermiş. Kocaman kaleler yarımadayı tamamen ayırıyordu. Asırlık kalelerin bir kısmı tamamen yıkılmış, senelerce taşları birbirine bağlayan kırmızı harçlar, uçuşarak taşlara yapışmış ve kirli bir badana meydana getirmiştir. Yüksek kale burçlarından ahalinden bir kaç kişi bizleri seyir için bekliyorlardı. Karşıdan bakıldığı zaman sol tarafta göklere sır çeken kale burçları bir heyula gibi görünuyordu. Şehrin iki tarafındaki kocaman kaleler gökyüzüne doğru uzanmış iki kuvvetli kol gibi, İttihat ve Terakki muhaliflerini kucaklamaya hazırlanıyorlardı. Sinop tarihi bir şehir olduğu için eski heykeller, paralar, her tarafta bulunuyordu.
Dünya üzerinde belkide tarih açısından en fazla yıkıma uğrayan yer olarak Sinop'u gösterebiliriz. Yıllarca Sinop tarihi adeta talan edilmiş, kanunlarımızın caydırıcı gücü olmaması nedeniyle önüne gelen tarihi evleri ve kaleleri yok etmek için yarışa girmişler. Buda yetmezmiş gibi yıkılan kalelerin taşları ev temellerinde kullanılarak tarihe adeta ihanet edilmiştir. Bunun sonucunda da Sinop günümüzde tarihi açıdan göz yaşları dinmeyen içi boşaltışmış bir şehir görünümüne sahip olmuştur.