Im Jahre1904 wurde der Turn- und Arbeitersportverein Affaltrach gegründet. Zunächst existierte nur eine Turnabteilung, die auf dem Gelände des heutigen Sportplatzes ihre Turnwiese hatte.

Als zweiter Verein entstand der Sportclub Affaltrach, der sich dem Fußball verschrieb. Als sich die Lage im Rahmen der Weltwirtschaftskrise 1929 verschärfte, errichteten die Vereinsmitglieder in Eigenleistung einen Sportplatz, der noch heute im Greut existiert. Wenig später folgte an gleicher Stelle ein zweiter für den Sportclub.

In den folgenden Jahren kam das Vereinsleben, bedingt durch das Dritte Reich und den Zweiten Weltkrieg, fast vollständig zum Erliegen. Der Turn- und Arbeitersportverein wurde aufgelöst, der Jugendsportbetrieb wurde jedoch unter dem Namen VfL Affaltrach aufrecht erhalten.

Nach Kriegsende wurden die beiden Vereine wieder ins Leben gerufen, bis sie schließlich 1950 unter dem Namen „Sportfreunde Affaltrach“ fusionierten und primär einen Fußballverein bildeten. In den Fünfziger Jahren folgte die Turnabteilung, 1967 die Abteilung Tischtennis, im Jahr 1988 Judo, 2005 Badminton und 2011 Indoor Modellflug. Als bisher jüngster Spross entstand 2015 die Abteilung Karate. Die einzige Ausgliederung erfolgte 1993, als sich die Abteilung Fußball mit der entsprechenden Abteilung der Spvgg Eschenau zusammenschloss und den FC Obersulm gründete.

Zu den großen Erfolgen des Vereins zählen sicherlich die Erfolge der Fußballabteilung in den Siebziger Jahren, als man den Aufstieg in die zweite Amateurliga erreichte, der erfolgreiche Erhalt der Verbandsliga, die die höchste Klasse der Tischtennisjugend darstellt, aber auch die Teilnahmen der Judokas an Baden-Württembergischen und Deutschen Meisterschaften. 2016 kam dann noch der Weltrekord der Indoor Modellflieger dazu.