re-publisher

01 / Задача

Посты из Telegram в тематические каналы MAX

Хотел разбирать поток из нескольких каналов без ручного переноса каждого поста. Собрал конвейер, где можно посмотреть, почему материал отобран, что прочитал OCR и куда он отправился.

Сценарий: Моя рабочая область для тематических подборок. Публичный результат — каналы MAX; административный интерфейс закрыт паролем.

Что делал

• Сбор новых сообщений через Telethon, сохранение оригиналов, вложений и состояний обработки.
• Разметка корпуса вместе с Codex, локальное обучение TF-IDF и MiniLM, сохранение версий и истории прогонов.
• Конструктор фильтров, словарь лейблов, раздельные оценки текста и OCR.
• Отправитель MAX, проверка доставки, очередь, повторы, миграции и развёртывание.

03 / Технологии

Что использовано

Доли по размеру прикладных файлов Git в закреплённой версии. Каждый файл отнесён к одной подсистеме по правилам scripts/generate-stack-share.mjs; тесты, ассеты, зависимости и generated-файлы исключены. Округление — до 0,1%. Это состав кода, а не уровень владения технологиями.

04 / Решения

Как устроен проект

• Новые сообщения принимает collector в режиме new_only. Старый необработанный буфер не запускается автоматически.
• Отдельные процессы: web, collector, coordinator, TF-IDF, MiniLM, OCR и отправитель MAX. Очереди и результаты сохраняются в PostgreSQL.
• RapidOCR читает изображения и статические превью видео. Распознанный текст не дописывается в публикацию.
• Отсутствующая оценка остаётся неизвестной. Фильтры поддерживают категории, подкатегории, обязательные признаки, длину и вложенные И / ИЛИ / НЕ.
• Отправляется оригинальный пост с медиа и ссылкой «Источник». Отдельного блока ссылок из текста нет.

05 / Проверка

Сценарии демки

1. Посмотреть публичные каналы MAX и пример перепубликованного поста.
2. С доступом владельца открыть доску: Не готовы → Отсортирован → Отфильтрован → Маркировка → На публикацию.
3. Открыть карточку и выбрать источник результата: текст поста или OCR. Сравнить сохранённые прогоны.
4. Открыть фильтр: проверить модель, условия, лейбл и совпавшие основания в предпросмотре.
5. В истории MAX проверить канал, статус доставки, сохранённую ссылку и ошибки.

Результаты проверок

• Девять каналов MAX подключены. Первая партия содержит 180 публикаций — по 20 на канал. Отправитель новых подходящих сообщений включён.
• В снимке истории есть последующие доставки. Число публикаций меняется по мере поступления сообщений.

Ограничения

• Метки корпуса поставлены Codex. Показатели моделей измеряют согласие с этой разметкой, а не независимую человеческую точность.
• Маршруты для новичков и юмора экспериментальные. Для новичков test: 57/65 совпадений; для OCR-юмора validation: 92/104. Согласованные пороги качества не пройдены.
• OCR не понимает картинку без текста, не слушает звук и не просматривает всё видео. Ошибки чтения требуют разбора.
• Медиа больше 100 МБ и недоступные части альбома блокируют автоматическую готовность. В интерфейсе есть остановленные карточки.
• Счётчики и время на скриншотах — снимок состояния, а не обещание производительности.