El castillo fue construido en el siglo XIII por Robert Bruce y originariamente sirvió como fortaleza. Posteriormente el castillo pasó por 5 familias diferentes. Cada familia fue ampliando sus zonas, de ahí las 5 torres. Como curiosidad decir que una de las familias que lo habitó fue la del famoso Lord Byron. Actualmente el castillo pertenece al Patrimonio Nacional Escocés, y aunque el castillo cuente con numerosas obras de arte, armas y armaduras, el castillo es mas visitado por sus leyendas de fantasmas y maldiciones.

Muchos son los que afirman haber visto la figura de Lady Lilias vagando por el castillo o resposando en la que fue su alcoba. La señora verde y sus divagaciones nocturnas arriba y abajo de la escalera se documentaron periódicamente a lo largo de los años, y cada relato cuenta el resplandor verdoso que la rodeaba. A veces, sin embargo, fue vista simplemente como un destello de luz al final del pasillo. El Coronel Cosmo Gordon, quinto señor de Gordon de Fyvie, que tenía el castillo desde 1847 hasta 1879, registró que, en una ocasión, fue sacudido de la cama por manos invisibles, mientras que otra noche, un viento se levantó en el interior del castillo cuando fuera todo estaba en silencio y se levantó la ropa de cama de él y varios invitados.

Los Gordon llegaron a ver al fantasma tantas veces que llegaron a adoptar la la dama verde como propia, en la creencia de que su existencia era algo personal para ellos. Los Gordons la consideraban un presagio de muerte, ya que varios miembros de la familia murieron después de haberla visto, la más reciente en 1925.

Justo antes de morir, Cosmo Gordon vio una figura que le hacía señas desde las sombras de una habitación, y pensó que la aparición era un presagio de su muerte inminente. Unos días más tarde, su hermano más joven vio a la dama verde caminando hacia él en la sombría luz de diciembre que brillaba a través de los cristales del pasillo. Cuando ella llegó hasta él la Dama le hizo una reverencia. A la mañana siguiente su hermano el coronel Cosmo murió.

Un oficial del ejército canadiense dejó un relato de su encuentro con lo paranormal en Fyvie. Ingeniero de minas de profesión, antes era un escéptico total: “Si alguien me hubiera dicho antes de venir aquí que existían tales cosas como fantasmas o lo paranormal, le habría mirado como a un tonto redomado”, dijo.

Una de  las estancias del castillo de Fyvie

En la primera noche de su estancia el oficial se había retirado a descansar, y se quedó dormido. Algún tiempo después se despertó y encontró la luz encendida, o al menos eso pensaba, y se levantó para apagarla. Se levantó y extendió la mano presionando el interruptor de la luz para apagarla, pero en cambio se da cuenta que lo que hace es encenderla, vuelve a presionar el interruptor y la apaga pero se da cuenta de que sigue habiendo luz en la habitación al parecer procedente de otras fuentes, mientras observaba la luz era cada vez más brillante. Él lo describió como pequeñas llamas que jugaban alrededor de los cuadros que colgaban en la sala, lo suficientemente brillante para ver los colores con claridad.

El mismo fenómeno se produjo cada noche hasta que se fue y aunque él no vio ninguna aparición, se sentía como si hubiera alguien en la habitación con él.