O tênis de mesa surgiu na Inglaterra no século XIX. Imitando o jogo de tênis num ambiente fechado, objetos do dia-a-dia eram usados como equipamento: uma fileira de livros poderia ser usada como rede, uma rolha de garrafa como bola e uma caixa de charutos como raquete.

A popularidade do jogo fez com que as empresas de brinquedos iniciassem a venda de equipamentos comercialmente. As raquetes antigas eram muitas vezes feitas de madeira que gerava muito barulho, criando o nome ping pong. A partir daí o nome ping pong foi largamente usado até que a empresa inglesa J. Jaques registrou marca em 1901 e então os outros fabricantes passaram a usar o nome tênis de mesa. O mesmo ocorreu nos Estados Unidos onde Jaques vendeu os direitos do nome ping pong para os Parker Brothers.

Uma inovação importante veio com James Gibb, um inglês apaixonado pelo jogo, que descobriu umas bolas de celulóide em uma viagem aos Estados Unidos em 1901 e achou que seriam ideais para o jogo. Logo em seguida, em 1903, E.C. Goode inventou uma versão moderna da raquete, com uma borracha colada sobre a lâmina de madeira.

A popularidade do tênis de mesa cresceu em 1901 quando torneios foram organizados, livros foram escritos e um Mundial não oficial ocorreu em 1902. Em 1921, foi criada uma Associação de Tênis de Mesa e, logo em seguida, a Federação Internacional de Tênis de Mesa (ITTF) em 1926. Londres sediou o primeiro Mundial em 1927. Mas só em 1988, em Seul o esporte se tornou Olímpico.

No fim de 2000, as antigas bolas de 38 mm foram oficialmente trocadas pelas de 40 mm. Tal medida foi tomada para aumentar a resistência do ar sobre a bola e efetivamente tornar o jogo mais lento. Já naquela os jogadores começaram a aumentar a grossura da esponja da borracha tornando o jogo extremamente rápido. Após a mudança espera-se que o tênis de mesa seja mais fácil de ser assistido e que assim o esporte ganhe popularidade.