den første brug af udtrykket katana til at beskrive et sværd forekommer så tidligt som Kamakura-perioden (1185-1333), men den faktiske historie med bladvåben håndværk i Japan strækker sig tilbage over tyve århundreder. Først var japanske sværd enkle variationer af de kinesiske sværd, der var lige, dobbeltkantede jernblade. De første originale japanske sværd, der betragtes som forløberen for den ‘moderne’ katana, begyndte at dukke op i den tidlige Heian-periode (omkring 700 E.kr.).
Katana blev hovedsageligt brugt af samurai, den militære adel i det feudale Japan (1185-1600) op gennem Edo-perioden (1603-1868). Den øgede popularitet af katana blandt samurai opstod på grund af den skiftende karakter af nærkampskrig. Den hurtigere trækning af dette sværd var velegnet til kamp, hvor sejren var meget afhængig af hurtige responstider. Katana blev slidt gennem en bæltelignende ramme (obi) med den skærpede kant opad. Ideelt set kunne samurai trække sværdet og skære fjenden i en enkelt bevægelse.
med slutningen af Edo-perioden og begyndelsen af Meiji-perioden begyndte Japan en hurtig proces med industrialisering og vestliggørelse. Med hensyn til militæret skiftede våbnene fra sværd til skydevåben. Brugen af katana i japansk dagligdag sluttede næsten på samme tid med HAIT-Kurrrei (sværdforbud) edikt fra 1876, som kun tillod politi og militært personel at bære dem. Mange af sværdsmede var forpligtet til at lukke deres forretninger, hvilket førte til den nærmeste udryddelse af katana svoresmed indtil 1906. På det tidspunkt blev to kendte sværdsmede udnævnt til kejserlige husholdningskunstnere og bevarede således sværdsmedernes færdigheder, en kulturel arv, der er videregivet til i dag.