Category:

Обработка потоковых данных и онтологии

Мы реализовали программный комплекс для обработки потоковых данных на платформе АрхиГраф. Задача комплекса — обрабатывать json-сообщения, поступающие через очереди MQ, преобразовывать содержащиеся в них сведения в соответствии с онтологической моделью, применять логические правила обработки и записывать результат в SQL или noSQL-хранилище.

Преимущества комплекса — неограниченные возможности масштабирования, изменение структуры получаемых данных и логики их обработки по ходу работы системы без перезапуска, возможность изменения места и структуры физического хранения информации. Производительность — сотни сообщений в секунду (в зависимости от сложности логики обработки).

Некоторые подробности архитектуры и способа решения можно увидеть в презентации.


Error

Anonymous comments are disabled in this journal

default userpic

Your reply will be screened

Your IP address will be recorded