Gaztelako Enrike IV.ak horri bukaera emateko dorretxeen gerra-elementuak kentzeko agindua eman zuen, besteak beste. Era horretan, jauntxoei boterea ematen zien elementu nagusiak desegin zituen. Legazpi dorretxea ere ez zen agindu horretatik libratu, eta eraikinaren goiko partea kendu zitzaion.
Legazpi familia XVI. mendearen bigarren erdira arte bizi izan zen etxe honetan. Azkena, Migelen anaiaren emaztearen familia izan zen. Horiek jarri zuten ate nagusian dagoen armarria.
Gerora, nekazarien etxea izan zen, eta etxearen itxura bertan egingo ziren jarduera berrietarako egokitu zuten.
XIX. mendean, etxea botatzekotan egon ziren trenbidea egin ahal izateko, baina Nikolas Soraluze politikari eta historialari zumarragarrak eraikina ez eraistea lortu zuen.
XX. mendearen 40ko hamarkadan, berriz, Esteban Orbegozo S.A. enpresak lantegia handitzeko asmoa zuela kontuan hartuta, Estatuko Monumentu Historiko-Artistikotzat izendatu zuten dorretxea, behin betiko salbatzearren. Ordurako oso egoera txarrean zegoen. Geroztik, zaharberritze lan ugari egin dira bertan, eta 1964an Museo Hispano-Filipinar bat jarri zuten eraikinean.
Gaur egun, XX. mendearen 90eko hamarkadan egindako berriztapen lan handiaren ondoren, kultur jarduera ugari egiten da bertan, hala nola, erakusketak, hitzaldiak, bilerak, aurkezpenak... eta ezkontza zibilak. Bestalde, Secundino Esnaola Musika Eskolaren egoitza ere bada.