オペレーティングシステム（OS）のほとんどは、個々の電子データをファイルという単位で格納することで、一つの単位として扱っています。それらのファイルを、ルートと呼ばれるトップレベルの場所から、階層型に分類された下位構造の適切な場所に配置して整理するという考え方を採用しています。ディレクトリは、そのような階層的に分類された場所の事です。
ディレクトリは、OS上でどのように永続的なデータを管理するかという方法を決定しているファイルシステムの要素の一部を成しています。もともと、ハードディスクなどの生の装置のレベルでは、セクタという物理的な単位でデータが扱われていますが、アプリケーションから見た場合、これは低レベル過ぎて扱いづらいです。そこで、OSはよりアプリケーションのロジックに近いデータの格納とアクセスの手段として、ファイルシステムを提供しています。