a katana kifejezés első használata a kard leírására már a Kamakura-korszakban (1185-1333) fordul elő, de a pengés fegyvergyártás tényleges története Japánban több mint húsz évszázadra nyúlik vissza. Eleinte a japán kardok a kínai kardok egyszerű változatai voltak, amelyek egyenesek voltak, kétélű vaspengék. Az első eredeti japán kardok, amelyeket a modern Katana előfutárának tekintenek, a korai Heian-korszakban (CE 700 körül) kezdtek megjelenni.
a katanát elsősorban a szamurájok, a feudális Japán katonai nemessége (1185-1600) használta az Edo-korszakig (1603-1868). A katana növekvő népszerűsége a szamurájok körében a közelharc hadviselésének változó jellege miatt következett be. Ennek a kardnak a gyorsabb húzása alkalmas volt a harcra, ahol a győzelem nagymértékben függött a gyors reakcióidőktől. A katanát övszerű szárnyon (obi)keresztül tolták, élesített élével felfelé. Ideális esetben a szamurájok egyetlen mozdulattal előhúzhatják a kardot és levághatják az ellenséget.
az Edo-korszak végével és a Meidzsi-korszak kezdetével Japán gyors iparosodási és nyugatiasodási folyamatba kezdett. Ami a katonaságot illeti, a fegyverek kardról lőfegyverre váltottak. A katana használata a japán mindennapi életben majdnem ugyanabban az időben ért véget, mint az 1876-os Hait Adaptrei (kard tilalom) rendelet, amely csak rendőri és katonai személyzetet engedélyezett. A kardkovácsok közül soknak be kellett zárnia vállalkozását, ami 1906-ig a katana swordsdsmith szinte kihalásához vezetett. Abban az időben két jól ismert kardkovácsot neveztek ki császári háztartási művészeknek, megőrizve ezzel a kardkovácsok képességeit, amely kulturális örökséget továbbadtak a mai napig.