Die erste Verwendung des Begriffs Katana zur Beschreibung eines Schwertes erfolgt bereits in der Kamakura-Zeit (1185-1333), aber die tatsächliche Geschichte der Klingenwaffenhandwerkskunst in Japan reicht über zwanzig Jahrhunderte zurück. Zuerst waren japanische Schwerter einfache Variationen der chinesischen Schwerter, die gerade, zweischneidige Eisenklingen waren. Die ersten originalen japanischen Schwerter, die als Vorläufer des ‚modernen‘ Katana gelten, tauchten in der frühen Heian-Zeit (um 700 n. Chr.) auf.
Katana wurden hauptsächlich von den Samurai verwendet, dem militärischen Adel des feudalen Japans (1185-1600) bis zur Edo-Zeit (1603-1868). Die zunehmende Popularität des Katana unter Samurai kam wegen der sich verändernden Natur der Nahkampfkrieg. Das schnellere Ziehen dieses Schwertes war gut für Kämpfe geeignet, bei denen der Sieg stark von schnellen Reaktionszeiten abhing. Das Katana wurde durch eine gürtelartige Schärpe (Obi) mit der geschärften Kante nach oben geschoben. Im Idealfall könnte Samurai das Schwert ziehen und den Feind in einer einzigen Bewegung schneiden.
Mit dem Ende der Edo-Zeit und dem Beginn der Meiji-Zeit begann Japan einen rasanten Prozess der Industrialisierung und Verwestlichung. In Bezug auf das Militär verlagerten sich die Waffen vom Schwert zur Schusswaffe. Die Verwendung des Katana im japanischen Alltag endete fast zeitgleich mit dem Haitōrei-Edikt (Schwertverbot) von 1876, das nur Polizei- und Militärpersonal das Tragen erlaubte. Viele der Schwertschmiede mussten ihre Geschäfte schließen, was bis 1906 zum Aussterben der Katana-Schwertschmiede führte. Zu dieser Zeit wurden zwei bekannte Schwertschmiede zu kaiserlichen Haushaltskünstlern ernannt, wodurch die Fähigkeiten der Schwertschmiede erhalten blieben, ein kulturelles Erbe, das bis heute weitergegeben wurde.