Разработка веб скрапера для заполнения RAG

Создаем файл rag_scraper.py в той же папке что и mcp_lightrag_server.py:

будет позже

открываем браузер с Neo4j: http://127.0.0.1:7474/browser/ - по мере записи чанков в базу, тут будут появляться ноды, прошу заметить если название ноды записано слитно на русском языке, это не ошибка, это просто id, если ее открыть то в центре в кружочке уже будет нормальный текст.