ローカルLLMに必要なPCスペックは?初心者向けに目安と選び方を解説

生成AI
生成AI

「社内文書の要約にローカルLLMを試したいけれど、手元のPCで動くのか分からない」と感じていませんか。GPUやメモリの数字だけを見ても、業務に活用するうえで何を優先すべきか、判断しにくいものです。

ローカルLLMは、自分のPCや自社のサーバーで動かす文章生成AIです。社内文書の要約や質問への回答、メールの下書き作成などに活用できます。

この記事では、ローカルLLMを手元のPCで動かし、質問への回答や文章の要約に使う場合を想定して、必要なPCスペックと各部品の役割、既存PCで試す方法を解説します。

ローカルLLMに必要なPCスペックの目安

ローカルLLMでは、PCに読み込んで使う学習済みのAIを「モデル」と呼びます。モデルを使って質問への回答や文章の生成をおこなう処理が「推論」です。推論に必要なPCスペックは、使うモデルの大きさや求める回答速度によって変わります。

まずは手元のPCで小さなモデルを試し、回答内容と待ち時間を確かめましょう。

次の表は、手元のPCで試す場合と、GPU搭載PCを選ぶ場合の目安です。

使い方 CPU(計算を担う部品) メモリ(作業に使う場所) SSD(データの保存場所) GPU(AIの計算を速める部品)
手元のPCで試す(GPUなし) 手元のCPUを使用 搭載量を確認し、小さなモデルを読み込めるか試す 空きが50GB程度あると始めやすい なくても動かせるが、回答に時間がかかる場合がある
GPU搭載PCを選ぶ(試用) Core i5またはRyzen 5以上 16~32GB 512GB以上 RTX 3060またはRTX 4060(VRAM 8~12GB)
GPU搭載PCを選ぶ(実用・開発) Core i7またはRyzen 7以上 32~64GB NVMe SSD 1TB以上 RTX 4070 Ti SUPERまたはRTX 4080(VRAM 16GB)

※表に出てきたCPU・メモリ・SSD・GPUの役割と、選ぶ際の確認ポイントは次の章で説明します。

GPU搭載PCの数値は構成例であり、必須条件ではありません。

ローカルLLMを使うPCを選ぶ上で確認したい部品と役割

ローカルLLMを使うPCを選ぶには、各部品が動作にどう関わるかを知る必要があります。

ここではGPU、CPU・メモリ、SSDの順に、それぞれの役割と確認するポイントを説明します。

GPU:AIを速く動かすための部品

GPUは、ローカルLLMの計算を速める部品です。GPUが計算中のデータを置く専用メモリを「VRAM」と呼びます。使いたいAIのデータがVRAMに収まるかどうかが、GPU選びの重要な点です。

VRAMが足りないと、モデルを読み込めなかったり、PC全体のメモリを使うことで回答が遅くなったりします。同じ型番のGPUでもVRAM容量が異なる製品があるため、製品名だけでなく、VRAMが何GBあるかを確認しましょう。

また、GPUには複数のメーカーや機種があり、利用するソフトによって対応が異なります。使うソフトがそのGPUに対応しているかも確認が必要です。

CPU・メモリ:PC全体の処理を支える部品

CPUはPCの計算を担い、メモリは処理中のデータを置く場所です。PC全体で使うメモリは「RAM」と呼び、GPU専用のVRAMとは別に容量を確認します。

GPUを中心にAIを動かす場合、CPUだけを高性能にしても、VRAMの不足は解消しません。一方、GPUを使わずCPUで動かす場合は、CPUの性能とRAMの容量が動作に影響します。

VRAMが8GB以上のGPUを使う構成では、RAMは16GB以上、余裕を持たせるなら32GBが一つの目安です。ただし、必要量はモデルや同時に使うアプリによって変わります。

SSD:AIのデータを保存する部品

SSDは、ダウンロードしたAIのデータやソフトを保存する場所です。モデルのデータは一つで数GB~数十GBになるため、複数の作業を試すほど空き容量が必要になります。

SSDの空き容量は最低50GB、できれば100GB以上が目安です。冒頭の表にある512GB・1TBはSSD全体の容量なので、すでに保存しているファイルを除いた「空き容量」を見てください。

SSDはモデルを保存する場所、RAMとVRAMはモデルを動かすときに使う場所です。モデルを保存できない場合はSSDの空き容量を確保し、メモリ不足で読み込めない場合は、まず小さなモデルや軽量化されたモデルを試しましょう。

必要なPCスペックはモデルの大きさ・軽量化・文章の長さで変わる

モデルを選ぶときは、名前にある数字が手がかりになります。まずは、この数字の意味から確認しましょう。

モデルが大きいほど必要なメモリが増える

モデル名に付く「7B」「14B」などは、モデルの規模を表します。Bは10億を意味し、数字が大きいほど、モデルのデータを置くメモリも多く必要になります。

モデルの規模 必要なVRAMの目安
7~8B 8GB
13~14B 12~16GB
30~32B 24GB

※4bit量子化という軽量化をした場合の目安。扱う文章の長さなどで変わります。

表より小さい1~4B級のモデルは、短い文書の要約や分類を試す候補です。

軽量化の程度と文章の長さでも必要なメモリが変わる

モデルを軽量化すると、ローカルLLMを動かすために必要なメモリを減らせます。

軽量化の方法の一つが「量子化」です。モデルが使う数値の精度を下げ、データ量を減らします。モデルを探すと、名前に「Q4」「Q8」などが付いていることがあります。これは量子化の程度を示す記号です。

量子化によって回答の正確さが変わる場合があるため、実際に使いたい質問や文書で、回答を確かめましょう。

一方、長い文書や会話を一度に扱うと、必要なメモリは増えます。ソフトの設定にある「コンテキスト長」は、一度に扱える文章量の上限です。必要以上に大きく設定すると、メモリの使用量が増え、回答が遅くなることがあります。

MacやGPUのないPCでもローカルLLMは使える?

GPU搭載PCの構成例に当てはまらなくても、ローカルLLMを試せる場合があります。

ここでは、Macで確認したいメモリ容量と、GPUのないPCで小さなモデルから試す方法を順に説明します。

MacはCPUとGPUが共有するメモリ容量を見る

MacでローカルLLMを使う場合、確認したいPCスペックの一つがメモリ容量です。Apple Silicon搭載MacではCPUとGPUが同じメモリを使います。これを「ユニファイドメモリ」と呼び、RAMとVRAMを別々に備えるPCとはメモリの見方が異なります。

用途別には、軽く試すなら16GBから、余裕を持たせるなら24GB以上、長い社内文書の処理まで考えるなら32GB以上が目安です。Apple Silicon搭載Macは購入後にメモリを増設できないため、購入時には使いたいモデルと用途を踏まえて容量を選びましょう。

GPUのないPCは小さなモデルから試す

GPUのないPCでも、CPUだけでローカルLLMを動かせるソフトがあります。ただし、GPUを使う場合より返答に時間がかかることがあります。まずは1~4B級などの小さなモデルを選び、短い文章の要約から試しましょう。回答の内容と待ち時間を見れば、手元のPCスペックで対応できるかを判断しやすくなります。

ノートPCにGPUがある場合も、実際のVRAM容量を確認してください。同じ系列のGPUでもデスクトップ向けとは仕様が異なる場合があり、電力設定や冷却も速度に影響します。

ローカルLLMを使う際、PCのスペックが足りるかを確認する3つの方法

手元のPCスペックが用途に足りるかは、ローカルLLMを小さく試して確かめましょう。動作の可否だけでなく、回答の内容と待ち時間も確認します。

ここでは、ローカルLLMを使う際に、PCのスペックを確かめる3つの方法を解説します。

ソフトを入れて短い質問や要約を試す

まず、ローカルLLMを試すPCのスペックを確認します。CPU、RAM、GPUのVRAM、SSDの空き容量を調べ、「短い文書を要約する」など試す用途を一つ決めましょう。

代表的な実行ソフトにはLM StudioとOllamaがあります。画面操作で試すなら、LM Studioでは次の順に進められます。

  1. ソフトをインストールする
  2. PCの容量に合うモデルを探してダウンロードする
  3. モデルを読み込み、短い文章を入力して要約を頼む

モデルをダウンロードした後は、質問や要約を手元のPCで処理でき、オフラインでも利用できます。

ただし、ローカルで動くことだけで情報漏えいの心配がすべてなくなるわけではありません。試用時は社内ルールに従って扱える文章を使い、端末の管理にも注意しましょう。

要約が返ってきたら、元の文章と見比べて内容が合っているか確認します。「動いた」だけで判断せず、回答が目的に合うか、待ち時間を許容できるかも見ておきましょう。

動かない・遅い場合はモデルや設定を見直す

ローカルLLMが動かない、または遅いときは、PCスペックの不足と判断する前にモデルや設定を見直します。メモリ不足でモデルを読み込めない場合は、より小さなモデルや、強く軽量化されたモデルを選び直しましょう。長い文章を扱うと遅くなる場合は、コンテキスト長を必要以上に大きくしていないかも確認します。

GPUを搭載している場合は、処理をGPUに割り当てる設定も確認できます。LM Studioではコンテキスト長や「GPUオフロード」の標準設定が自動で選ばれるため、まず通常の設定で動かし、遅いと感じたときに設定を見直すと分かりやすいでしょう。

モデルや設定を変えても必要な回答や速度が得られない場合は、GPUの追加やPCの買い替えを検討します。

複数人で使う場合は別に構成を検討する

複数人でローカルLLMを使う場合、必要なPCスペックは個人で試す場合とは変わります。担当者一人のPCで動いたとしても、部署全体で同時に使えるとは限りません。

複数人での利用を考える段階では、使うモデルと利用人数をもとに、共用PCや自社サーバーの構成を別に検討します。まずは個人PCでの試用結果を、次の検討材料にするとよいでしょう。

まとめ:ローカルLLMのスペックは使うAIと用途に合わせて選ぼう

  • ローカルLLMに必要なPCスペックの目安は、試用でRAM16~32GB・VRAM8~12GB、実用でRAM32~64GB・VRAM16GB
  • 必要なスペックは、モデルの規模・量子化・文章の長さで変わる
  • Apple Silicon搭載Macは共有メモリの容量を確認し、GPUのないPCは小さなモデルをCPUで試す

ローカルLLMの使用にあたり、今回紹介した数値は機材選びの目安です。最初から高額な構成を決めるのではなく、想定する用途に近い作業で、手元のPCがどこまで使えるかを確かめましょう。

まずは試す用途を一つ決め、PCのRAM・VRAM・SSDの空き容量を確認するところから始めてください。

あなたにおすすめの記事

  1. RAGを構築するには?必要な準備と5ステップの進め方を解説

    社内マニュアルが複数の場所に分かれていて、同じ問い合わせがあるたびに資料を探している方は多いのではないでしょうか。こうした状況では、どの文書をAIに参照させればよいか迷うケースは少なくありません。 資料が古かったり、部署 … 続きを読む

    • 生成AI
  2. LLMを自社向けに構築するには?方法の選び方と5ステップの進め方を解説

    社内資料を使って回答するLLMを構築したいものの、モデルを一から開発する必要があるのか、既存のモデルを使えるのか迷っていませんか。商品仕様や社内ルールへの問い合わせが集まる現場では、資料をどう参照させ、回答をどう確認する … 続きを読む

    • 生成AI
  3. LLMの活用方法には何がある?主な業務や導入時の注意点を解説

    報告書の作成や問い合わせ対応に時間がかかり、LLMを使ってみたいものの、どの業務から試せばよいか迷っている方は多いのではないでしょうか。 LLMを活用すると、文章の下書き、資料からの情報探し、記録の整理などを支援できます … 続きを読む

    • 生成AI
  4. ガウシアンスプラッティングの仕組みとは?写真から3D空間を再現する流れ

    離れた場所にいる人へ空間の様子を共有したいものの、写真だけでは物の位置関係や周囲の広がりが伝わりにくいことがあります。例えば建設現場では、設備の配置や作業エリアの周囲の状況を、遠隔の関係者に伝える場面があるでしょう。 現 … 続きを読む

    • 生成AI
  5. RAGで社内文書を活用するには?活用シーンや導入ステップ、注意点を解説

    「社内マニュアルを整備しているのに、同じ質問が何度も届く」「過去の提案書を使いたいが、保存場所がわからない」と悩む方は多いのではないでしょうか。こうした課題への対策として、社内文書の検索と生成AIを組み合わせるRAGが挙 … 続きを読む

    • 生成AI
  6. ローカルLLMの構築方法を5ステップで解説|代表的なツールも紹介

    「生成AIで社内の問い合わせ対応を減らしたいけれど、社内資料を外部サービスに入力するのは不安」と感じていませんか。そのような企業で検討したい選択肢が、自分のPCや社内サーバーでAIモデルを動かすローカルLLMです。 ロー … 続きを読む

    • 生成AI
  7. オンプレLLMとは?クラウドとの違いやメリット、導入ステップを解説

    社内文書の要約や問い合わせ対応にAIを活用したくても、機密情報を外部へ送信できず、検討が進まない企業もあるでしょう。その選択肢となるのが、自社管理のサーバーで運用する「オンプレミスLLM」です。 オンプレミスLLMは、デ … 続きを読む

    • 生成AI
タイトルとURLをコピーしました