¶ Архитектура проекта
Работа проекта основывается на pipeline-архитектуре. Pipeline-архитектура представляет собой последовательно соединенные источники, фильтры и обработчики данных. Данный подход позволяет постепенно получать и обрабатывать данные. Каждый фильтр/обработчик может работать параллельно.
Аналогичная архитектура используется в работе со смежными проектами «Цифровой след: аналитика» и «Цифровое портфолио». С точки зрения pipeline-архитектуры «Аналитика» обрабатывает информацию и отправляет данные в приемник «Портфолио».
¶ Компоненты архитектуры
- Обработчик / Адаптер — преобразует или фильтрует данные.
- Источник — является источником данных, например, текстовый файл или API.
- Приемник — является целью данных, например, файл или база данных.
¶ Архитектура адаптера
Практически любой адаптер в данном проекте представляет собой структуру из трех ключевых составляющих: получение, обработка и сохранение данных в базу данных. Так как адаптеры имеют приблизительно одинаковую структуру, то можно ограничится глобальным описанием работы адаптера.
Из рисунка выше видно, что планировщик, в указанное время запускает адаптер, в свою очередь адаптер отправляет запрос на получение данных. После получения и обработки данные отправляются на сервер с базой данных.
В роли планировщика используется демон cron, используемый на сервере linux для запуска команд в указанное время, обычно раз в день. Для получения доступа к планировщику требуется использовать настройку cron, например, командой crontab -e.
¶ Запрос данных
Для получения данных чаще всего требуется подключится к API (запросить клиент) сервиса, а далее можно отправлять запросы либо через GET/POST, либо через обертку, которую может предоставить язык программирования.
¶ Обработка
Обработка данных представляет собой анализ и трансформирование данных под нужды проекта, в частности подготовка информации к загрузке в базу данных, например, создание json-записи.
¶ Отправка данных
Для отправки данных требуется подключится к серверу базы данных, получить клиент и получить требуемую коллекцию. После можно производить поиск, вставку или удаление записей.
¶ Работа с таблицами
Одним видом задач в проекте является разработка скриптовых программ для создания таблиц с различной информацией. Для удобства пользования таблицей было решено использовать веб-формат, а именно Google Spreadsheets. Структура работы с данными аналогична структуре адаптера. Однако вместо базы данных как приемника программа подключается к API таблицы.
Отличия между подключением к таблице и к базе данных практически отсутствуют. Для подключения к таблице требуется получить API (токен, полномочия). Больше информации можно узнать в официальной документации Google.
Для обновления данных можно воспользоваться запросами API такими как Append, Delete, Insert или похожими. Также можно воспользоваться запросом BatchUpdate, которые позволяет проводить сразу несколько операций изменений, однако он имеет более сложную структуру запроса.