To κάστρο υπήρξε ο πρώτος οικιστικός πυρήνας της σημερινής Χώρας. Πρωτοχτίστηκε πάνω στα ερείπια βυζαντινού κάστρου, που κι αυτό με τη σειρά του χτίστηκε πάνω στα ερείπια της αρχαίας ακρόπολης. Το 1413 το ανακατασκεύασε ο Giovanni Zanachi Querini, το οικόσημο της οικογένειας του οποίου διασώζεται μέχρι σήμερα. Αρχιτεκτονικά ανήκει στον τύπο οχυρωμένου οικισμού, όπου οι εξωτερικοί τοίχοι των σπιτιών δημιουργούν τείχος με μικρά παράθυρα για πολεμίστρες.

Τα σπίτια των Quirini είναι χτισμένα γύρω από την είσοδο, στην ανατολική πλευρά, διώροφα και έως το 1956 ήταν όλα κατοικημένα.

Μέσα στο κάστρο είναι δυο εκκλησιές, κατάλευκες, με περίτεχνα καμπαναριά. Στην είσοδο, η Παναγιά του Κάστρου (Ευαγγελίστρια) και στην άκρη, ο Άγιος Γεώργιος.

Η εκκλησία της Παναγιάς είναι χτισμένη το 1853 πάνω από την τοξωτή είσοδο του Κάστρου. Στο εσωτερικό της υπάρχει η κτητορική επιγραφή του 1413 και οι θυρεοί των Quirini. Ο Άγιος Γεώργιος κτίστηκε το 1790.