Anna Caspari stammte aus einer jüdischen Familie, die zur Kulturelite Breslaus zählte. Ab 1920 studierte sie in München, im darauffolgenden Jahr konvertierte sie zum evangelischen Glauben und heiratete 1922 den Kunsthändler Eugen Georg Caspari. Das Paar bekam zwei Söhne. Nach dem Tod ihres Mannes 1930 führte Anna Caspari die Galerie in der Brienner Straße alleine weiter. Nach dem Machtantritt der Nationalsozialisten wurde sie 1935 gezwungen, die Galerie in die Ottostraße zu verlegen und ausschließlich als Gutachterin zu arbeiten.
Ihre beiden Söhne konnte sie in einem Internat in England unterbringen. Sie selbst wurde 1938 wegen eines angeblichen Devisenvergehens verhaftet, in Zuge dessen raubte ihr die Gestapo dutzende Bilder, Grafiken und Bücher. Ende 1941 deportierte die Gestapo Anna Caspari nach Kaunas in Litauen, wo die SS sie ermordete.
Erst 2014 restituierte die Bayerische Staatsbibliothek vier der 140 geraubten Bücher an Ann Casparis Sohn Paul Caspari.
Am 20. November 2024 findet in der Galerie Baumgartl in der Prannerstraße eine Gedenkveranstaltung für Anna Caspari statt. Im Anschluss daran wird das Erinnerungszeichen für Anna Caspari an der ehemaligen Adresse ihrer Galerie in der Brienner Straße angebracht.