記憶装置は大きく、内部メモリと外部メモリに分類できる。
内部メモリはレジスタ、キャッシュメモリ、主記憶装置などのいわゆる半導体素子を用いたメモリと捉えることができる。また、外部メモリはHDD、CD-ROM、磁気テープ装置などのメディアやドライブを用いるメモリのことである。デジタルカメラや音楽記録用に使われるメモリカードは、稼働部分を含まないので内部メモリといえるが、取り外しが可能であることから外部メモリともいえる。
内部メモリはその設置位置によって、プロセッサ内部と外部に分類できる。プロセッサ内部とはCPU内部に記憶装置を内蔵しているタイプであり、プロセッサ外部とはCPUの外部に独立した装置として記憶装置を設置するタイプである。
記憶装置は動作速度の高速なものほど大容量化が難しく、動作速度が遅いものほど大容量が実現しやすい。
低集積度の半導体記憶素子は小容量の高速バッファ記憶（キャッシュメモリ）に用いられ、比較的低速の磁気ディスク装置は大容量であることが必須の補助記憶装置として用いられる。
このように動作速度と容量との特徴を活かして何段階かに記憶装置を組み合わせて、処理の効率化と資源の効率的利用が行われる。
記憶装置はレジスタを頂点とし、磁気テープを底辺とするピラミッド構造となる。ピラミッドの上に行くほど速度性能はよいが、容量は小さくビット単価は高くなる。 逆にピラミッドの底辺に行くほど速度性能は悪いが、容量は大きくビット単位は安くなる。
記憶装置の速度とコストの関係は、一般的に低速のものほどコストは安くできるという相関関係がある。
わざわざ階層構造を作らなくても、大容量で単一の記憶装置が実現できれば、コンピュータの構造はずっと簡単になるはずである。しかし、次のような理由から、その実現は困難である。
記憶装置の利用状況を観察すると、プログラムが利用する記憶領域には次のような2つの局所性があることがわかる。この性質があるため、大容量の記憶装置を搭載することはあまり意味がない。
これらの理由から、大容量で高速な単一の記憶装置を実現することをあまり意味がなく、記憶装置は適切に階層化することが効率的になる。
