Katana-termiä käytettiin ensimmäisen kerran kuvaamaan miekkaa jo Kamakura-kaudella (1185-1333), mutta teräaseiden valmistamisen todellinen historia Japanissa ulottuu yli kahdenkymmenen vuosisadan taakse. Aluksi japanilaiset miekat olivat yksinkertaisia muunnelmia kiinalaisista miekoista, jotka olivat suoria, kaksiteräisiä rautateriä. Ensimmäiset alkuperäiset japanilaiset miekat,joita pidetään ”nykyisen” katanan edeltäjänä, alkoivat ilmestyä Heian-kauden alkupuolella (noin 700 Jaa.
katanoita käyttivät pääasiassa samurait, feodaalisen Japanin sotilasaateli (1185-1600) aina Edo-kauteen (1603-1868) saakka. Katanan suosion kasvu samuraiden keskuudessa johtui lähitaistelusodankäynnin muuttuvasta luonteesta. Tämän miekan nopeampi veto sopi hyvin taisteluun, jossa voitto riippui voimakkaasti nopeista vasteajoista. Katana oli kulunut työntämällä läpi vyömäinen nauha (obi)teroitettu reuna ylöspäin. Ihannetapauksessa samurai voisi vetää miekan ja leikata vihollisen yhdellä liikkeellä.
Edo-kauden päätyttyä ja Meiji-kauden alkaessa Japanissa alkoi nopea teollistuminen ja länsimaistuminen. Armeijan osalta aseet siirtyivät miekasta ampuma-aseeseen. Katanan käyttö Japanin jokapäiväisessä elämässä päättyi lähes samaan aikaan vuoden 1876 Haitōrei (miekkakielto) – ediktin kanssa, joka salli vain poliisien ja sotilaiden kantaa niitä. Monia miekkaseppiä vaadittiin sulkemaan yrityksensä, mikä johti katana sworesmithingin lähes sukupuuttoon vuoteen 1906 asti. Tuolloin keisarillisiksi taloustaiteilijoiksi nimitettiin kaksi tunnettua miekkaseppää, mikä säilytti miekkaseppien taidot, jotka ovat siirtyneet nykypäivään.