Sobre una roca, debajo de la iglesia parroquial, y en la bajada natural del pueblo al río, se situaba el castillo de Algar defendiendo este camino de comunicaciones.

Los escasos restos que quedan del mismo, consistentes en dos torreones semicirculares y un lienzo de muralla entre ellos, han sido reutilizados como parte de una vivienda anexa.

Construido a base de gruesos muros de mampostería y sillares, según se puede observar de lo conservado, debía de constar de dos pisos y se trataría de una pequeña fortaleza similar a su vecina de Mochales, que actuarían como satélites de la principal de Villel.

En el Diccionario Geográfico Estadístico de Madoz, se encuentra la reseña de que “a la orilla del río aparecen todavía los escombros de un castillo que debió ser de alguna consideración”.