I lavori di costruzione del torrione iniziarono probabilmente all`inizio del 1519 sotto la direzione di Cristoforo Resse da Imola. Alcuni storici attribuiscono il disegno di tutta la fortificazione della città di Loreto a Francesco di Giorgio Martini.