Esta torre es cuanto queda de la antigua iglesia de San Esteban, una de las más antiguas de Peñafiel. Fue fundada probablemente en el siglo XI y en ella se reunían los nobles e hidalgos y tenían su sede algunas de las cofradías más tradicionales, como la de San Felipe y Santiago, a la cual solamente podían pertenecer estos dos colectivos.

La torre presenta una planta cuadrada y la parte baja es más antigua, efectuada en encofrado, formando un muro de calicanto. La iglesia original se arruinó en el siglo XVII, época en la cual fue colocado el primer reloj de la villa, que ha marcado la hora municipal durante numerosísimas generaciones. El actual mecanismo se da cuerda una vez por semana y se hizo colocación en 1884.

Frente a la torre estuvo el Hospital de la Santísima Trinidad, fundado en el siglo XV y en cuya fachada aparece un escudo de Aragón, sumamente deteriorado, pero muestra el emblema del Duque de Peñafiel. Su función anterior, frente a los hospitales actuales, no era sanar, sino dar cobijo a los pobres y ancianos sin recursos. En la actualidad este espacio está destinado al nuevo Centro Cultural de Peñafiel. En la renovación del edificio se ha aprovechado el cuerpo bajo de piedra del antiguo hospital.