Le mot décimer dérive de decem (« dix ») et signifie littéralement « prélever un dixième ».

La principale force de l'armée romaine a été sa discipline de fer qu'elle s'est forgée dans les débuts de l'expansion de Rome. Les ordres devaient être suivis à la lettre, et les sanctions tombaient très rapidement. La décimation est une de ces sanctions, on y recourait lorsque les hommes d'une compagnie fuyaient le combat ou ses positions et laissaient leurs camarades seuls.

Les hommes incriminés étaient mis en rang, et l'on désignait par tirage au sort un dixième de l'effectif. Les malheureux choisis étaient exécutés ou battus à mort, et ce quelque soit leur rang. Les premières traces de la mesure remontent à 471 av. J.-C., et la décimation perdure durant toute la République. Étant coûteuse en hommes, cette sanction restait exceptionnelle, mais la menace de sa mise à exécution suffisait généralement à maintenir la discipline dans les rangs.