Slabe

LibreChat+OllamaでローカルLLM

LibreChatとOllamaを組み合わせて、ローカル環境で大規模言語モデル（LLM）を動作させる方法を解説します。

# ai # docker # llm # ローカルllm

LibreChat

LibreChat - The Open-Source AI Platform
LibreChat brings together all your AI conversations in one unified, customizable interface.
www.librechat.ai

ChatGPTみたいなUIを提供するやつです。

Ollama

Ollama
Ollama is the easiest way to automate your work using open models, while keeping your data safe.
ollama.com

ローカルでLLMを動作させることのできるツールです。

以上の２つを合わせてローカルでAIを動作させていきたいっていう話。

環境

CPURyzen 7 5700X
RAM32GB
SSD1TB
GPUNVIDIA RTX 4060 Ti 16GB
OSArchLinux

今回はDockerで動かしていきます。

セットアップ

リポジトリのクローン

Terminal window
git clone https://github.com/danny-avila/LibreChat
cd LibreChat

.envの作成

リポジトリ内にあるexampleをコピーする。

Terminal window
cp .env.example .env

内容は特にいじらなくていい。

librechat.yamlの作成

これもリポジトリ内にあるexampleをコピーする。

Terminal window
cp librechat.example.yaml librechat.yaml

現時点では内容は編集しない。

docker-compose.override.yamlの作成

これもリポジトリ内にあるexampleをコピーする。

Terminal window
cp docker-compose.override.yml.example docker-compose.override.yml

これも現時点では内容を編集しない。

docker-compose.override.ymlの編集

librechat.yamlをマウントしたり、Ollamaを追加します。

services:
    api:
        volumes:
            - type: bind
              source: ./librechat.yaml
              target: /app/librechat.yaml
    ollama:
        image: ollama/ollama:latest
        container_name: ollama
        restart: unless-stopped
        gpus: all
        ports:
            - "11434:11434"
        volumes:
            - ./ollama:/root/.ollama

librechat.yamlの編集

Ollamaを使うように設定します。

version: 1.3.6
endpoints:
  custom:
    - name: "Ollama"
      apiKey: "ollama"
      baseURL: "http://ollama:11434/v1/"
      models:
        default:
          - "qwen3.5"
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "Ollama"

起動

ここまで設定を進めたら起動します。

Terminal window
docker compose up -d

ブラウザからhttp://localhost:3080にアクセスすると、

こんな感じの画面が現れます。Sign upしてください。

ログインすると、こんな感じ。

ollamaのモデルをpull

ollamaでモデルをpullします。今回はqwen3.5を。

Terminal window
docker exec -it ollama ollama pull qwen3.5

モデルをpullしたら再起動します。

Terminal window
docker compose down && docker compose up -d

モデルの選択画面に現れればOKです。

話してみる

ちゃんと話せます。

おわり

今回はここまでです。
ここでは書いていませんが検索まで設定してます。

いいぽよ。

更新履歴

2026/03/24: 一部内容に誤りがあったため修正

もくじを表示

次の記事

アニメエンコードの研究(笑)

前の記事

Cloudflare Zero Trustで宅外から宅内のネットワークへアクセスする