Dass Albrecht Dürer auf seinen wiederholten Reisen nach Venedig und durch das Trentino als Gast von Maximilian I. auch im Castel Pergine weilte, konnte bisher nicht nachgewiesen werden.
1531 gelangte die Burg in den Besitz von Bernhard Cles, dem Fürstbischof von Trento.
Um 1900 wurde sie von einer privaten Gesellschaft übernommen, umgebaut, und fungiert seither als Hotel und Restaurant.