Данные о недвижимости: конвейер

Задача

Привести выгрузки разных порталов недвижимости к единому формату и организовать регулярную обработку.

Что даёт решение

• Файлы пяти форматов загружаются в общую таблицу ClickHouse.
• Повторный запуск пропускает загруженное и догружает пропуски.
• Ошибка отдельного файла не останавливает обработку остальных.

Как работает

Пять порталов (Otodom, OLX, Gratka, Morizon, Nieruchomosci) каждый день присылают файлы по городам. Скрипт находит их в облачном хранилище, приводит пять разных форматов к одной таблице и загружает в ClickHouse. Продажа и аренда идут отдельными ветками.

Повторный запуск пропускает уже загруженное и догружает пропущенные дни, а один битый файл не останавливает остальные.

Отдельные задачи Airflow каждые пять минут исправляют адреса, пишут описания и разбирают фото через языковую модель, затем собирается витрина для сайта.

В демо схема по этапам и тестовый прогон с журналом в формате настоящих логов.