Agnes wurde in Mühlbach im Pustertal, welches den Zugang vom Eisack ins Pustertal sperrt, die sogenannte Mühlbacher Klause, gerade in den Wirren des napoleonischen Krieges geboren und wurde als Säuglich im Buckelkorb nach Meransen hinaufgetragen, um den Kriegswirren zu entgehen. Auf der Mittelgebirgsterasse von Terenten liegt auf 1400 m Höhe der Pertinger-Hof. Er ist das Stammhaus eines Geschlechtes, das weit zurück geht. Im 18. Jahrhundert soll es über 300 Träger diese Namens in diese Region gegeben haben. Bei Eheschließungen in dieser so abgelegenen Gemeinde soll oft der Vermerk "mit Dispens von der Blutsverwandtschaft 3. Grades" im Kirchenbuch zu lesen sein. Sie nannten sich Ober- und Unterpertinger und es gibt auch heute noch in Mühlbach diesen Namen. Die Brüder der Agnes Pertinger betrieben Gerbereien in Preßburg und Budapest (wo ihnen eine ganze Straße gehörte und Agnes sie einmal mit dem Stellwagen besuchte). Auch Ärzte aus Neustift bei Brixen sind unter ihren Vorfahren - es war eine wohlbekannte und wohlhabende Familie. So wird auch erzählt, dass Agnes ihren Schmuck an ihre gräflichen Schwägerinnen für den Hofball ausgeliehen hatte.