Сергей Маринкевич
85 lines
4.1 KiB
Markdown
85 lines
4.1 KiB
Markdown
# mattermost-dl
|
||
|
||
Локальная выгрузка истории Mattermost в JSON и поиск по ней (SQLite FTS и MCP).
|
||
|
||
- `mattermost-dl.py` — скачивает каналы в `results/YYYYMMDD/`
|
||
- `mm_index.py` — индексирует выгрузки в `mattermost_index.sqlite`
|
||
- `mm_search.py` — поиск из командной строки
|
||
- `mm_search_mcp.py` — тот же поиск как MCP-сервер
|
||
- `renew.sh` — инкрементальная выгрузка команд и обновление индекса
|
||
|
||
`config.json`, `cookies.pkl`, `results/` и база индекса в git не попадают.
|
||
|
||
## Быстрый старт
|
||
|
||
```bash
|
||
cd /home/grayhook/Documents/mattermost-dl
|
||
python3 -m venv .venv
|
||
.venv/bin/pip install mattermostdriver requests beautifulsoup4 fastmcp
|
||
cp config.json.example config.json
|
||
```
|
||
|
||
В `config.json` укажите хост Mattermost (без `https://`), `login_mode` (`gitlab`, `token` или `password`) и логин. Пароль в файл не пишется.
|
||
|
||
Первый запуск интерактивный: скрипт спросит недостающие поля и сохранит токен.
|
||
|
||
```bash
|
||
.venv/bin/python mattermost-dl.py
|
||
```
|
||
|
||
Дальше выгрузка без вопросов — оба флага обязательны. `--channel all` берёт все каналы команды, иначе список имён через запятую.
|
||
|
||
```bash
|
||
.venv/bin/python mattermost-dl.py --team esr-daily --channel all
|
||
```
|
||
|
||
После первого успешного прогона в конфиг пишутся `incremental`, `last_export_at` и `output_base`. Следующие запуски дописывают только новые сообщения в ту же папку.
|
||
|
||
Индекс (для быстрого поиска и вложений):
|
||
|
||
```bash
|
||
.venv/bin/python mm_index.py
|
||
```
|
||
|
||
Поиск:
|
||
|
||
```bash
|
||
.venv/bin/python mm_search.py "текст" --user sergey.marinkevich --limit 20
|
||
```
|
||
|
||
Обновить все настроенные команды и индекс одной командой:
|
||
|
||
```bash
|
||
./renew.sh
|
||
```
|
||
|
||
`renew.sh` выгружает `esr-daily`, `esr-developers` и `esr-dev-and-qa`, затем вызывает `mm_index.py`.
|
||
|
||
## Crontab
|
||
|
||
Каждые 15 минут в рабочие часы будней — выгрузка и инкрементальный индекс. По субботам в 10:15 — полная переиндексация.
|
||
|
||
```cron
|
||
*/15 8-22 * * 1-5 cd /home/grayhook/Documents/mattermost-dl && /usr/bin/bash renew.sh >> /tmp/mattermost-dl.log 2>&1
|
||
15 10 * * 6 cd /home/grayhook/Documents/mattermost-dl && ./.venv/bin/python3 mm_index.py --reindex-all >> /tmp/mattermost-dl-weekly.log 2>&1
|
||
```
|
||
|
||
## Поиск
|
||
|
||
| Задача | Команда |
|
||
|---|---|
|
||
| Текст сообщения | `mm_search.py "запрос"` |
|
||
| Пользователь, канал, команда | `--user`, `--channel`, `--team` |
|
||
| Даты | `--after 2026-01-01 --before 2026-02-01` |
|
||
| Имя вложения | `--file-name` (нужен индекс) |
|
||
| Текст внутри вложения | `--file-content` (нужен индекс, только UTF-8) |
|
||
| Каталог пользователей | `--resolve-user "Фамилия"` / `--search-users "запрос"` |
|
||
|
||
Корень выгрузки по умолчанию `results`, база — `mattermost_index.sqlite`. Переопределение: `-r` / `--root` и `--db`. Полный проход без кэша файлов: `mm_index.py --reindex-all`.
|
||
|
||
## MCP
|
||
|
||
`mm_search_mcp.py` по умолчанию работает через stdio. Общий HTTP-процесс: `MM_MCP_TRANSPORT=http`, хост и порт — `MM_MCP_HOST` / `MM_MCP_PORT` (по умолчанию `127.0.0.1` и `8766`), путь — `MM_MCP_PATH` (`/mcp`). Пример юнита — `mm-search-mcp.service`.
|
||
|
||
Переменные поиска: `MM_SEARCH_ROOT` (по умолчанию `results`), `MM_SEARCH_DB` (`mattermost_index.sqlite`), `MM_CONFIG_PATH` (`config.json`). Подробности инструментов — в `mattermost-search/SKILL.md`.
|