Desde su posición se tiene un control sobre toda la llanura de la Hoya de Huesca y en particular sobre Bolea, principal plaza musulmana de la zona y que controlaba las ricas tierras agrícolas de la llanura. Fue construido en el siglo XI y presenta un buen estado de conservación, lo que hace que sea uno de los mejores ejemplos de arquitectura militar y civil del románico de España. Fue declarado Monumento Nacional en el año 1906. En la actualidad cuenta con el estatus de bien de interés cultural con categoría de monumento. Las instituciones regionales y comarcales están interesadas en promover su declaración como Patrimonio de la Humanidad por la Unesco.

El castillo se asienta sobre un promontorio de roca caliza que utiliza como cimientos. Esto suponía una gran ventaja defensiva, ya que así los muros no podían ser minados (técnica habitual en el asedio de fortalezas, que consistía en construir un túnel por debajo del muro para después hundirlo y abrir así una brecha por la que asaltar). Además está rodeado por una muralla con torreones.

El castillo está en bastante buen estado de conservación (salvo la parte del antiguo castillo de Sancho III de Navarra, mucho más deteriorada) y está considerado como la fortaleza románica mejor conservada de Europa. Destacan la pequeña capilla, la cripta de santa Quiteria, situada a la entrada (con una increíble acústica) y la majestuosa iglesia del castillo (de la que se desconoce el paradero de las pinturas románicas) en la que llama la atención la cúpula (por lo poco habitual que es en el románico).

La ubicación de la construcción es un aspecto fundamental para entender su carácter militar. Está situado a la entrada de los Pirineos, justo cuando las montañas dan lugar a la llanura, dominando toda la comarca. La gran llanura que forma «La Hoya» se extiende hasta las orillas del Ebro, hasta Zaragoza.

A la espalda del castillo, al norte, están los montes Pirineos y la importante ciudad de Jaca.

El castillo fue construido entre los años 1033 y 1035 por orden del rey Sancho Garcés III de Pamplona para servir como avanzadilla fronteriza navarra debido a su situación estratégica de control de los pasos de Arguis y de Riglos, desde la que organizaron los ataques contra la localidad de Bolea, situada en la llanura que domina la construcción. De esta época datan el edificio real, la capilla, el torreón de la Reina, el patio de armas, las estancias militares y de servicio y la torre del homenaje (antigua torre albarrana).

En marzo de 1033 Lope Sánchez ya figuraba como señor «in Luar», mientras que durante el reinado de Ramiro I se cita como señor de Loarre a Fortuño Aznárez hasta el 1062 a excepción del 1054, año en el que aparece Lope Garcés como tenente.

Posteriormente, hacia 1071, durante el reinado de Sancho Ramírez se realiza un ampliación en el complejo y tras la cual se funda un monasterio de canónigos de San Agustín en vinculación a las políticas del monarca con el pontificado. El 17 de octubre de ese año, el Papa Alejandro II, quien con motivo de la introducción del rito romano en los monasterios de San Juan de la Peña, San Victorián y San Pedro de Loarre, pone al último bajo su protección.

Pedro I de Aragón, hijo de Sancho Ramírez, cambia la cabeza de la congregación a Montearagón, con lo que Loarre pierde el carácter monasterial. El desalojo de los musulmanes de la comarca de La Hoya, hace que el castillo pierda su carácter militar, perdiendo relevancia e influencia.

Durante el reinado de Pedro II, este empeñó las villas de Bolea y Loarre para sufragar sus gastos militares al noble Pedro de Ahonés, quien ya controlaba la zona de Sobrarbe y a la cual añadió posteriormente la villa de Tauste por cesión de Jaime I, aunque tras su rebelión y posterior muerte sus villas retornaron a la corona una vez sofocada la rebelión a favor de su tío el infante Fernando, tras la cual dio su tenencia al comendador de la orden Hospital de San Juan de Jerualén al menos desde el 1263 y que aún ostentaban durante el reinado de Pedro III, quien dio la tenencia al abad Fernando de Montearagón en el contexto de la guerra contra la Unión. A mediados del 1287 el castillo fue saqueado por Pedro de Ayerbe, quien fue uno de los cabecillas del bando y que tras su muerte su hijo y mujer debieron de pagar una numerosa cuantía a los habitantes de la villa por los daños causados durante el periodo que sus hombres estuvieron en el castillo.

Durante el reinado de Jaime II, la tenencia del castillo la ostentó Blasco Pérez de Azlor hasta su muerte, tras la cual esta fue concedida a Pedro Fernández de Bergua.

En el marco de la revuelta del conde de Urgel, esta fortaleza sirvió al bando urgelista, y vio acción en el asedio de 1413, cuando la abadesa Violante de Luna defendió con ferocidad el castillo pero igualmente cayó derrotada por el bando real.

En el siglo XV, la población que vivía a los pies del castillo se traslada a la actual villa de Loarre, reutilizando materiales de la fortaleza.