“中國”這個詞語，是由日本平安時代的延喜式所選取采用的。當時日本仿照唐朝方法，將日本全國分為五畿七道共六十八國，除了按人口多少分為“大國”、“上國”、“中國”和“下國”四等級外，並以當時的首都京都為中心，依照驛站和京畿的遠近，分類為“近國”、“中國”和“遠國”。這種分類，於康保四年（西元967年）正式實行，在大約從10世紀開始普遍使用。當時除了畿內五國，其他七道內諸國也有分近國、中國和遠國，特別將“中國地方”指為山陽山陰兩道。
將山陽道和山陰道等地方合稱為“中國”，最早有文獻記載的應該是日本南北朝時代的《太平記》。書中記載足利直冬初時被委任為長門探題，後來也管治著山陽道的周防、安藝、備後、備中及山陰道的出雲、伯耆、因幡等國，故後來被稱為“中國探題”。所以相信，最遲在室町幕府之後，就以“中國”來統稱以上諸國。
此外，在描寫日本古代神話與天皇家係的《古事記》與《日本書紀》中，將出雲國地區稱作葦原中國，簡稱中津國、中國，也有可能是該詞的語源之一。
古代日本的山陽道包括播磨、美作、備前、備中、備後（三備）、安藝、周防和長門，山陰道包括丹波、丹後、但馬、因幡、伯耆、出雲、石見、隱岐，共十六國。但中國並不包括整個山陽和山陰道，其中備前、美作、播磨、但馬、丹後、丹波等地方（大約相當於現在的京都府和兵庫縣）並不算是中國。
中國於日本曆史的中古時期，因戰亂較少，而成為當時日本除了京都之外，對唐朝文化及藝術、模仿與發展，風氣最盛的地區。
