Στο κέντρο της κοινότητας της Ξυλοφάγου υπάρχει η παλαιά εκκλησία του Αγίου Γεωργίου. Πρόκειται για μια μονόκλιτη καμαροσκέπαστη εκκλησία, η οποία χρονολογείται στις αρχές του 16ου αιώνα. Έχει τρεις εισόδους στη βόρεια, νότια και δυτική πλευρά. Ο ναός φέρει χαρακτηριστικά και της μεσαιωνικής αρχιτεκτονικής , όπως είναι οι σκαλισμένες πέτρες και τα οικόσημα , που αποτελούν διακοσμητικά στοιχεία. Συγκεκριμένα στην εκκλησία του Αγίου Γεωργίου υπάρχουν σκαλισμένοι δικέφαλοι αετοί στις γωνιές της νότιας και βόρειας εισόδου, καθώς και οικόσημο του Δημήτριου Παλαιολόγου επάνω σε ξύλινο τέμπλο εντός του Ιερού Βήματος. Ο Δημήτριος ήταν πιθανότατα ο φεουδάρχης της περιοχής και ο κτήτορας του ναού. Το οικόσημο περιλαμβάνει ένα δικέφαλο αετό που στα νύχια του κρατεί σφαίρες. Αξίζει επίσης να αναφερθεί πως σε κάθε μια από τις εισόδους λείπει μια σκαλιστή πέτρα και σύμφωνα με την παράδοση , όταν οι Τούρκοι έμπαιναν σε μια εκκλησία συνήθιζαν να σπάζουν μια από αυτές τις πέτρες της εισόδου, ως ένδειξη ότι καταπάτησαν τη συγκεκριμένη εκκλησία. Άλλωστε οι Τούρκοι είχαν κάψει την εκκλησία κατά τον 17ο αιώνα.
Στην εκκλησία ξεχωρίζουν οι αγιογραφίες αρκετές από τις οποίες βρίσκονται σε πολύ καλή κατάσταση, όπως το Δέντρο του Ιεσσαί, των Αγίων Γεωργίου, Προκοπίου, Σπυρίδωνα, Λουκά κ.α., καθώς και σκηνές από τη ζωή του Χριστού.
Δίπλα από τη συγκεκριμένη εκκλησία κτίστηκε μια καινούρια, επίσης αφιερωμένης στον Άγιο Γεώργιο. Στον περίβολο των δύο εκκλησιών υπάρχει μνημείο πεσόντων και αγνοούμενων της κοινότητας Ξυλοφάγου, μαζί με τις προτομές των ηρώων Νίκου Θεοφάνους και Μιχαλάκη Βραχίμη.
