Die kleine galerie wurde 1947 als Einrichtung der Wiener Volksbildung gegründet mit der Aufgabe, möglichst viele Menschen mit aktueller Kunst in Kontakt zu bringen. Ziel war es auch jene Menschen zu erreichen, die bisher keine Museen oder Galerien besuchten.
Der Name „Kleine Galerie“ stammt noch aus den Anfängen. Die Kleine Galerie ist eine der größten und schönsten Galerien Wiens, mit über 200 m2 Ausstellungsfläche.