El Club de Tenis de Mesa Sam José comenzó a andar con una directiva formada por Luis Montañés Muñoz, José Antonio Milanés Rojas y Benito Rodríguez Rodríguez.
En un primer momento, el equipo participó en las ligas provinciales de Sevilla. Su primera temporada fue 86-87 en El Club de Tenis de Mesa San José comenzó a andar con una directiva formada por Luis Montañés Muñoz, José UU. I Club Tenis de Mesa San José Tercera Provincial, categoría que pronto se quedó corta ascendiendo el conjunto a Segunda, máxima categoría de Sevilla por aquel entonces.
A partir de ahí, el equipo consiguió ser campeón de su grupo durante dos años consecutivos, pero, por cuestiones económicas, no pudo ascender. Sin embargo, en 1988, se creó la Tercera División Nacional, que agrupaba a equipos de toda Andalucía, lo que les permitió acceder a ella económicamente. En esta división, también llamada División de Honor Andaluza, el club permaneció durante dos temporadas, siendo subcampeón en ambas.
Una vez más, las cuestiones económicas no le permitían afrontar la inversión de acceder a Segunda Nacional. Con la creación de la Superdivisión Andaluza, la entidad accedió a ella con ayuda de las primeras subvenciones que les proporcionó el Patronato de Deportes de La Rinconada, que, aunque no cubrían costes, si que ayudaban a sobrevivir junto con otras aportaciones.
En Superdivisión Andaluza, el equipo se mantuvo durante dos temporadas, y a la que hizo tres, se metió en la fase de ascenso, aunque no logró subir de categoría.
En la temporada 91-92, la competición se endureció de manera importante, ya que el auge del tenis de mesa durante esta época fue muy fuerte y las categorías comenzaron a dividirse por grupos, subiendo así el nivel de la competición.
En esta temporada llegó el gran salto de calidad del club. Con mayores recursos económicos y la pretensión de acceder, por primera vez en su historia, a Segunda Nacional, el Club de Tenis de Mesa San José fichó a tres hombres de gran nivel, como fueron José Luis Fernández Luna, jugador y Director Técnico del club, Daniel Felizón y Mariano Armenta, jugadores todos ellos bastante valorados a nivel nacional.
Con este equipo, ascendió a Segunda Nacional en 1993, la época más dulce del club. Este ascenso se consiguió ante el Palma del Río, en un partido que se anunció por las calles de La Rinconada y San José durante los días previos a través de la megafonía en un coche. Al Fernando Martín acudieron más de 150 personas para presenciar el partido, que fue glorioso para el club, que ganó por un insultante 5-0.
A partir de ese ascenso, el club creó un segundo equipo para formar a nuevos valores de cantera, aunque al principio, sus integrantes fueron los fundadores del club. De aquí surgirían jugadores de la actual plantilla como Juan Ramón Moyano o José Ramón Torres.
Por otra parte, el equipo, en su primera temporada en Segunda Nacional, se paseó y consiguió entrar en la fase de ascenso a Primera Nacional que se celebró en la localidad murciana de Totana. En esta fase de ascenso se logró la victoria, lo que permitió al Tenis de Mesa San José ascender por primera vez a la categoría de plata del tenis de mesa español. Tras este ascenso, Mariano Armenta dejó el equipo, siendo contratado José Carlos Serrano Morillo y Andrés Jiménez. Pa. Por otra parte, el primer equipo, en su primera temporada en Segunda Nacional, se paseó y consiguió enetraasrceennsloa
En 1995 el equipo se clasificó entre los tres primeros de la categoría, lo que le permitió colarse en la fase de División de Honor, logro que, no obstante, no logró.
En esos años, se creó también el Plan de Tecnificación del club, con una cantera muy consolidada, en la que había más de 40 alumnos dentro de las categorías inferiores creadas al respecto. Además, las estructuras ya eran muy fuertes y, al margen de lo deportivo, el Tenis de Mesa San José ya realizaba una labor social importante.
La directiva la componían seis personas: José Luís Fernández Luna, Luis Martinez Muñoz, José Antonio Milanés Rojas, Miguel Ángel Montero, Benito Rodríguez Rodríguez y Gumersindo Cuevas Parrilla.
El relevo generacional comenzó a producirse en el primer equipo. ya que empezaron a entrar en él jugadores criados deportivamente en la cantera del club. Nombres propios como Álvaro Valera, Juan Ramón Moyano, Jose Ramón Torres, José Antonio Buiza accedieron al primer plantel, que permaneció en Primera Nacional, llegando incluso a entrar en fases de ascenso en tres ocasiones, aunque sin éxito, ya que la economía no permitía afrontar un ascenso tan importante. Solo se disputaban las fases de ascenso como premio para los jugadores, y para no ser sancionados económicamente por la Federación Española de Tenis de Mesa.
En 1997 el primer equipo perdió la categoría descendiendo a Segunda Nacional. Esta campaña comenzó un pequeño declive del club, entre otras cosas, por la desvinculación de hombres tan importantes en la entidad como Benito Rodríguez. A pesar de las vicisitudes, el equipo consiguió permanecer en Segunda Nacional y mantener, de alguna manera, la cantera cuyos pilares había reforzado los años precedentes. Fueron temporadas de transición en los que el equipo acometió un importante relevo generacional en sus filas, además de reestructurar y modernizar el club y trasladarse al I.E.S. Carmen Laffón, cuyas instalaciones utiliza en la actualidad.
En la temporada 2006-2007 el equipo consiguió retornar a la Primera División Nacional de la mano de jugadores como José Manuel Ramos, José Juan Gallego, Juan Ramón Moyano y el nigeriano Assir Jaume, en una fase de ascenso ganada por los rinconeros con mucha solvencia en Badajoz. En la actualidad, el club se mantiene en Primera División Nacional peleando por la permanencia y con la aspiración de acceder a corto o medio plazo a División de Honor.