?

Log in

No account? Create an account

serge_gorshkov


Сергей Горшков - о бизнесе в сфере ИТ

о семантической интеграции, программировании, управлении...


Обработка потоковых данных и онтологии
serge_gorshkov

Мы реализовали программный комплекс для обработки потоковых данных на платформе АрхиГраф. Задача комплекса — обрабатывать json-сообщения, поступающие через очереди MQ, преобразовывать содержащиеся в них сведения в соответствии с онтологической моделью, применять логические правила обработки и записывать результат в SQL или noSQL-хранилище.

Преимущества комплекса — неограниченные возможности масштабирования, изменение структуры получаемых данных и логики их обработки по ходу работы системы без перезапуска, возможность изменения места и структуры физического хранения информации. Производительность — сотни сообщений в секунду (в зависимости от сложности логики обработки).

Некоторые подробности архитектуры и способа решения можно увидеть в презентации.