WTG

01 / Задача

Архив системы сбора и обработки публикаций

Многоэтапная обработка публикаций требует прослеживаемости: от источника и задания до OCR, классификации, решения оператора и итогового материала.

Для кого: Операторы обработки контента и разработчики фоновых data-процессов.

Мой вклад

• Прикладной контур сбора, очередей, обработки и операторского review.
• Административные экраны, модели данных и карта зависимостей code-map.
• Архивирование фактического интерфейса и агрегатов, анализ ограничений и полный вывод runtime из эксплуатации.

02 / Технологии

Стек и его роль

03 / Решения

Как устроен проект

• Сбор и долгая обработка вынесены в задания с lease/heartbeat.
• OCR отделён от web и имеет самостоятельные очередь, статусы и попытки.
• Исходная публикация, промежуточные решения и итоговые материалы имеют разные роли.
• Архив содержит только обезличенные изображения, документацию и агрегаты; рабочая БД, сессии и резервные копии не сохранены.

04 / Проверка

Что сохранено

1. Просмотрите обезличенные расписания, группы, pipeline и материалы.
2. Сопоставьте экран со строкой code-map и схемой данных.
3. Откройте агрегаты очередей и истории, прочитайте дату и ограничения замера.
4. Изучите акт удаления и сравнение диска/RAM до и после вывода из эксплуатации.

Подтверждённые результаты

• Сохранено 30 содержательных кадров фактического интерфейса.
• Дата, сценарий и версия указаны у каждого кадра.
• Зафиксировано 527 718 публикаций и 29 092 OCR-задания; это разные сущности и не показатели качества.
• WTG удалён после проверки локального архива; до очистки его каталог занимал около 104 GiB.

Границы и ограничения

• Архивный проект; сервис выведен из эксплуатации. Демо-ссылки и восстановления WTG нет.
• Статусы заданий и confidence не являются измерением точности OCR или моделей.
• Legacy noVNC и недоступные разделы не выдаются за работающие.
• Обнаруженный рост web до примерно 3,8 GiB описан как наблюдение; первопричина кода не установлена.