Rozwój terytorialny i gospodarczy państwa japońskiego na przestrzeni dziejów wymuszał potrzebę stworzenia sprawnego systemu administracji i zarządzania. W 689 r. Kodeks Asuka, drugi z kilku tzw. ritsuryō, aktów normatywnych klasycznej Japonii wprowadził m.in. Gokishichidō, co tłumaczy się jako pięć prowincji i siedem okręgów, a określało najstarszy system podziału terytorialnego Kraju Kwitnącej Wiśni. W sensie prawnym powstałe wówczas regiony funkcjonowały jedynie do okresu Muromachi, tj. ok. XVI w., niemniej jednak z geograficznego punktu widzenia istniały w świadomości Japończyków aż do XIX w. Owymi regionami, zwanymi okręgami, a w przypadku dosłownego tłumaczenia słowa dō traktami, bądź też drogami były: Tōkaidō, Tōsandō, Hokurikudō, San’indō, San’yōdō, Nankaidō oraz Saikaidō. Ponadto istniał nieoficjalny centralny, stołeczny region Kinai, protoplasta późniejszego Kinki, który jako jedyny na początku składał się z pięciu pierwszych prowincji (kuni),, tj. Yamato, Yamashiro, Kawachi, Settsu oraz Izumi. Podział ten pomijał znajdujące się wówczas poza zasięgiem cywilizacji japońskiej Hokkaido, północną część Honsiu oraz Riukiu.
Kodeksy Taihō z 701 r. i Yōrō z 720 r. zreorganizowały istniejące i powołały w pozostałych regionach wiele nowych prowincji, które z czasem stały się podstawową jednostką podziału administracyjnego Japonii. Ich liczba ulegała zmianie, lecz w okresie Kamakura (XIV w.) ustabilizowała się i aż do 1868 r., a więc restauracji władzy cesarskiej było ich 68. Z kolei korekty granic prowincji miały miejsce w okresach Nara i Meiji, natomiast od okresu Heian do Edo pozostały niezmienne. W pierwszych wiekach swego istnienia prowincje dzieliły się na dzielnice zwane gun lub kōri. Na czele każdej prowincji stał mianowany przez cesarza gubernator zwany kokushi, a z nastaniem bakufu sioguni powoływali gubernatorów określanych mianem shugo, którzy mieli większą władzę i byli odpowiedzialni często za więcej niż jedną prowincję.
Niemniej już w okresie Muromachi – a zwłaszcza w następnym, pełnym niepokojów i wojen okresie Azuchi-Momoyama – ich funkcje zaczęli spełniać potężni i wpływowi, a przy tym mający osobiste oddziały samurajów, panowie feudalni zwani daimyō. Ciągła rywalizacja między wielkimi rodami i związana z tym niestabilność polityczna szły w parze z ambicjami poszczególnych daimyō, którzy częstokroć dążyli do poszerzania swych włości poza obszar wyznaczony granicami przypadających im prowincji. Z upływem czasu coraz liczniejsze lenna daimyō wyparły de facto podział na 68 prowincji, co usankcjonował prawnie wielki wódz Hideyoshi Toyotomi, ustanawiając han, czyli domenę feudalną (lenno), jako podstawową jednostkę podziału administracyjnego. Prowincje funkcjonowały odtąd jedynie jako swego rodzaju punkt odniesienia, pozwalający lepiej orientować się w terenie oraz określać położenie danego miasta, czy też dowolnego spośród około 300 hanów.
Podlegający bezpośrednio siogunowi panowie feudalni, winni byli przysięgać mu wierność i lojalność, a w okresie władzy Tokugawów dzielili się na spokrewnionych z nimi fudai-daimyō oraz tozama-daimyō. Niemniej jednak o pozycji danego hanu, a co za tym idzie jego władcy, decydował roczny dochód, którego miarą była jednostka objętości zwana koku. Najbogatszym hanem była, położona na granicy dzisiejszych prefektur Ishikawa i Toyama, domena Kaga, której dochód przekraczał 1 mln koku. Domeny, w których zbiory były mniejsze od 10 tys. koku, choć nadal były nazywane hanami, to jednak stojący na ich czele władcy tracili tytuły i przywileje należne daimyō oraz nie podlegali bezpośrednio zwierzchnictwu sioguna; nie mieli też prawa budować będących podkreśleniem wysokiego statusu zamków. Ranga domeny była określana politycznie w sposób odgórny, niemniej jednak oczekiwano, że han i stojący na jego czele pan zachowają się odpowiednio do nadanej wcześniej klasy i zgromadzą wymaganą ilość koku. Podział kraju na feudalne domeny utrzymał się do 1871 r. kiedy zastąpiło je 305 prefektur, które następnie ulegały scalaniu. Pod koniec tego samego 1871 r. było ich 72; w 1881 – 37; w 1885 – 45, a w 1888 r., po dodaniu Hokkaido i Okinawy, ustaliła się aktualna liczba 47 prefektur. W 1907 r., po zwycięskiej wojnie z Rosją, Japończycy utworzyli obejmującą południową część wyspy Sachalin prefekturę Karafuto, istniejącą do końca II wojny światowej.
Określane wspólnym mianem to-dō-fu-ken jednostki administracyjne dzielą się na 43 zwykłe ken, obejmujący całe Hokkaido okręg dō, metropolię Tokio to oraz 2 prefektury miejskie (Kioto i Osaka), czyli fu. Na czele prefektury stoi gubernator, odpowiedzialny przed lokalnym parlamentem. W 1947 r. Prawo o autonomii lokalnej przyznało prefekturom większy zakres obowiązków i kompetencji. W Japonii używa się także podziału na 8 regionów geograficznych: Hokkaido, Tōhoku, Kantō, Chūbu, Kinki (wobec którego używa się także nazwy Kansai), Chūgoku, Sikoku oraz Kiusiu, który obejmuje również prefekturę Okinawa.