Οι Άγιοι Ραφαήλ, Νικόλαος και Ειρήνη συγκαταλέγονται στη χορεία των Νεοφανών Αγίων και μάλιστα εκείνων που μαρτύρησαν σχεδόν αμέσως μετά την άλωση της Κωνσταντινουπόλεως.
Οι πρώτες πληροφορίες για την ύπαρξη των Αγίων ιστορούνται με θαυματουργικό και αποκαλυπτικό τρόπο από το έτος 1959 μ.Χ.
Από μία ανασκαφή που έγινε στη Θερμή της Λέσβου, ανακαλύφθηκε ο τάφος ενός αγνώστου προσώπου, που όπως αποκαλύφθηκε σε συνεχή οράματα, ανήκε στον Άγιο Ιερομάρτυρα Ραφαήλ, ο οποίος μαρτύρησε μαζί με τον Άγιο Οσιομάρτυρα Νικόλαο και την Αγία Ειρήνη.
Ο Άγιος Ραφαήλ καταγόταν από τους Μύλους της Ιθάκης και είχε σταδιοδρομήσει στο βυζαντινό στρατό, έφθασε μάλιστα σε μεγάλο βαθμό. Σε ηλικία τριάντα πέντε ετών γνώρισε ένα ασκητικό και σεβάσμιο γέροντα, τον Ιωάννη, ο οποίος τον προσείλκυσε στην εν Χριστώ ζωή και τον ακολούθησε.
Λίγα χρόνια πριν από την άλωση της Κωνσταντινουπόλεως, ο Άγιος βρέθηκε μετά από περιπλανήσεις στην περιοχή της Μακεδονίας και μόναζε εκεί.
Κοντά στον Άγιο Ραφαήλ βρισκόταν εκείνο το διάστημα ο Άγιος Νικόλαος ως υποτακτικός.
Μόλις έπεσε η Κωνσταντινούπολη στα χέρια των Τούρκων, ο φόβος για γενικούς διωγμούς κατά των Χριστιανών στάθηκε ως αφορμή να καταφύγει ο Άγιος Ραφαήλ με την συνοδεία του στη Μυτιλήνη.
Εκεί εγκαταστάθηκε μαζί με άλλους μοναχούς στην παλαιά μονή του Γενεσίου της Θεοτόκου, η οποία στο παρελθόν ήταν γυναικεία και ήταν χτισμένη στο λόφο Καρυές, κοντά στο χωριό Θέρμη. Ηγούμενος της μονής εξελέγη στην συνέχεια ο Άγιος Ραφαήλ.
Έπειτα από μερικά χρόνια, η Λέσβος έπεσε στα χέρια των Τούρκων, οι οποίοι σε μια επιδρομή τους στο μοναστήρι, συνέλαβαν τον Άγιο Ραφαήλ και τον Άγιο Νικόλαο, τη Μεγάλη Πέμπτη του ιδίου έτους. Ακολούθησαν σκληρά και ανηλεή βασανιστήρια και ο Άγιος Ραφαήλ μαρτύρησε διά σφαγής με πολύ σκληρό τρόπο.
Ο Άγιος Νικόλαος πέθανε μετά από βασανισμούς, από ανακοπή καρδιάς, δεμένος σε ένα δένδρο.
Μαζί με τους Αγίους συνάθλησε και η μόλις δώδεκα χρονών Ειρήνη, την οποία οι ασεβείς αλλόθρησκοι, βασάνισαν φριχτά, υπό τα βλέμματα των δύστυχων γονέων της.
Το μαρτύριό τους συνέβη την Τρίτη της Διακαινησίμου, στις 9 Απριλίου του έτους 1463 μ.Χ.
Έπειτα από θαυματουργικές υποδείξεις των Αγίων Ραφαήλ, Νικολάου και Ειρήνης, έγινε γνωστή η ύπαρξη των λειψάνων τους και υποδείχθηκαν τα σημεία όπου βρίσκονταν οι τάφοι τους.