A Virgen troneggia su un ripido sperone di roccia Castel Rabenstein, costruito nel XII secolo. La collina era già insediata presumibilmente dal periodo Romano, dato che sono state trovate monete di quel periodo. "Castrum Virge" fu già menzionato attorno il 1271 d. C., mentre il nome "Rabenstein" si può leggere in documenti scritti solo nel XV secolo. Castel Rabenstein era la dimora del curatore, il quale nel 1703 si trasferì nel paese, e lasciò andare in rovina il castello.

Con un'area di ben 4.800 m², Castel Rabenstein (Burg Rabenstein) a 1.410 m s.l.m. è uno dei castelli medievali più grandi del Tirolo. Dopodichè in decenni passati alcuni parti della rocca sono crollate, sono stati eseguiti vari lavori di messa in sicurezza di parti pericolanti. In questo modo ancora oggi si possono visitare e ammirare le rovine del castello. Nella Cappella di San Leonardo, della quale la parete nord è ancora conservata, ci sono affreschi risalenti al XIV secolo.

Protetti con un piccolo tetto sono invece le parti del "Pfaffenstöckl", un edificio in parte ben conservato che si trova attaccato alla mura di cinta. La parte più antica della rocca è il palazzo, del quale purtroppo sono rimaste solo le fondamenta. E come si raggiunge Castel Rabenstein? Una strada porta fino alla località di Mellitz, da dove un sentiero ti conduce alle rovine del castello.