La partie du complexe muséal connue sous le nom de Palazzo Squarcialupi est le fruit de travaux de restauration et de la définition d’espaces destinés, dès le milieu du XIVe siècle, à l’accueil des femmes et des enfants abandonnés. Au niveau de la Piazza Duomo s’ouvre le grand Refuge des Pèlerins, accessible par une chapelle couverte de voûtes d’arêtes, dont les murs sont ornés de fresques de Martino di Bartolomeo, Pietro di Domenico et Andrea di Bartolo. Les travaux s’intensifièrent tout au long du XVe siècle et, à la fin du siècle, l’aile féminine de l’hôpital ressemblait à un couvent intérieur, avec des chambres séparées selon les fonctions, l’âge des femmes (ou des jeunes filles) et les services rendus à la communauté. Le secteur était doté d’une loggia et d’une cour comprenant une citerne, un jardin, une cuisine, une salle de tissage et des dortoirs aux fenêtres fermées par des volets. Au cours des siècles suivants, il ne subit pas de transformations majeures ; ce n’est qu’au début du XVIIe siècle qu’un grand puits, connu sous le nom de Pozzo Chigi, fut construit par le recteur Agostino Chigi. Il se trouvait au centre de la cour, derrière le refuge des femmes pèlerines. Il permettait d’accéder aux niveaux supérieurs : à gauche, vers les niveaux VI et VII, actuellement consacrés respectivement aux expositions temporaires et aux conférences, et à droite, vers le niveau V. Ce dernier, composé d’une série de salles donnant sur la cour intérieure du XVIe siècle, abrite aujourd’hui la bibliothèque et les archives photographiques Giuliano Briganti. À l’origine, ces espaces faisaient partie des logements des femmes, mais plus récemment, ils ont été transformés en résidence pour les religieuses qui y ont vécu jusque dans les années 1970. Par la suite, ils ont été affectés aux bureaux administratifs jusqu’au transfert de l’hôpital vers son nouveau site hors des murs de la ville.