Der Verein wurde 1880 gegründet und entwickelte sich vor allem seit der Einweihung der neuen Brunnangerhalle im Jahr 1989 rasant. Aus 1.200 Mitglieder wurden in nur zehn Jahren 3.000, aktuell sind im Verein rund 2.500 Sportler aktiv - der TSV ist damit der große Breitensportanbieter in Starnberg.