Установка AI модели локально на PC

Устанавливаем модель Qwen3-Coder-30B-A3B-Instruct-GGUF.

  1. Установите или обновите Ollama до последней версии. Сайт https://ollama.com/download
  2. Скачайте GGUF файл с страницы модели на Hugging Face. Рекомендую файл Qwen3-Coder-30B-A3B-Instruct-Q4_K_M.gguf.
  3. Создайте Modelfile для Ollama. Создайте текстовый файл с именем Modelfile (без расширения) и следующим содержимым:

# Путь к скачанному вами GGUF файлу
FROM /путь/к/вашей/папке/Qwen3-Coder-30B-A3B-Instruct-Q4_K_M.gguf

# Настройки параметров (рекомендованные для этой модели)
PARAMETER temperature 0.7
PARAMETER top_p 0.8
PARAMETER top_k 20
PARAMETER repeat_penalty 1.05

# Шаблон для работы с чатом (скопируйте с официальной страницы Qwen3 в Ollama, если нужно)
# TEMPLATE "..."

Импортируйте и запустите:

ollama create my-qwen3-coder -f ./Modelfile
ollama run my-qwen3-coder

ollama pull nomic-embed-text

ollama serve

 

Создаем docker-compose.yml для Neo4j

version: '3.8'

services:
# 1️⃣ Neo4j — графовая БД (опционально, но LightRAG её использует при graph_mode=True)
neo4j:
image: neo4j:5-community
container_name: lightrag-neo4j
ports:
- "7474:7474"# HTTP-интерфейс Neo4j Browser
- "7687:7687"# Bolt protocol
environment:
- NEO4J_PLUGINS=["apoc", "graph-data-science"]# APOC — нужно для LightRAG graph operations
- NEO4J_AUTH=none# Для тестов — без пароля (в продакшене настрой!)
- NEO4J_dbms_memory_heap_max_size=2G
volumes:
- neo4j_data:/data
# Монтированные тома для устойчивости данных
volumes:
neo4j_data:

 

 Клонирование и установка LightRAG

# Клонируем репозиторий
git clone https://github.com/HKUDS/LightRAG.git
cd LightRAG

# Создаем виртуальное окружение с uv (рекомендуется авторами)
curl -LsSf https://astral.sh/uv/install.sh | sh
uv venv
source .venv/bin/activate  # Linux/macOS

# Устанавливаем LightRAG с поддержкой Neo4j и API
uv pip install lightrag-hku[api]

# Или если хотите полную установку из исходников
uv sync --extra neo4j --extra api

 

Создайте файл .env в корне проекта LightRAG:

# LLM через Ollama (ваша модель)
OLLAMA_BASE_URL=http://127.0.0.1:11434
LLM_MODEL=my-qwen3-coder:latest
EMBEDDING_MODEL=nomic-embed-text

# Neo4j подключение (уже запущен)
NEO4J_URI=bolt://localhost:7687
# NEO4J_USERNAME=neo4j
# NEO4J_PASSWORD=your_password  # если ставили, иначе оставьте пустым

# Настройки хранилищ
GRAPH_STORE=Neo4JStorage
VECTOR_STORE=FaissVectorDBStorage

# Режим работы
DEFAULT_QUERY_MODE=mix