Category: it

Category was added automatically. Read all entries about "it".

Самое важное в этом журнале

Не ходите, дети, в программисты

В одной новостной рассылке процитировали одного как бы образовательного блогера, который написал на одном сайте для как бы озабоченных образованием следующий пассаж про ИТ:
"Правда заключается в том, что IT-компании вынуждены искать специалистов через интернет, потому что желающих работать на скучной, тяжёлой, бесперспективной работе мало. Те немногие, кого привлекла зарплата и мода, уходят из IT через несколько лет. Поэтому программистами чуть реже чем всегда работают очень молодые люди".

Тут можно долго издеваться над каждым словом, но внимание мое этот пост привлек не потому, что кто-то в интернете опять написал очередной бред. А потому, что кадровая проблема в ИТ действительно очень остра, и некоторый вклад в нее вносят такие вот рассуждальщики, сбивая людям ориентир.

Collapse )

О способах моделирования темпоральности

Для многих методов моделирования представление темпоральности (изменений моделируемой системы во времени) является серьезной проблемой. Можно придумать множество способов описания интуитивно понятного 3-мерного пространства, наполненного объектами, но когда возникает необходимость отразить взаимодействия этих объектов, изменение их состава и свойств описать временность их существования в целом – все становится не столь очевидно. Приходится вводить понятия Состояний и Событий, от которых недалеко и до темпоральных частей (расщепления информационного объекта, отражающего моделируемый объект, на подчиненные объекты, описывающие отдельные стадии его существования).
Все эти способы так или иначе работают, но
Collapse )

Управление доступом к разрозненным данным

Тезисы выступления на конференции «Технологии управления данными-2018», посвященного архитектуре и функциональности логической витрины данных, основанной на онтологиях.

Collapse )

8 вопросов об онтологиях и корпоративной автоматизации

Собрал в единое "интервью" наиболее часто задаваемые и важные вопросы от наших потенциальных заказчиков о том, зачем нужны онтологии в корпоративных ИТ.
Ниже - подробности об отношениях онтологий с "большими данными", машинным обучением и нейросетями, примеры успешных проектов и уникальные возможности онтологических систем.

Q: Онтологии – это ведь про открытые и связанные данные, web 3.0? Какое отношение это имеет к корпоративной автоматизации?
A: Принципы онтологий состоят в следующем:
- Дать способ формального, машинно-читаемого описания концептуальных моделей, то есть тех наборов понятий, которые мы используем, думая об окружающем мире;
- Записывать любые факты в терминах таких моделей;
- Задать правила получения логических выводов, при помощи которых машина будет получать новые факты на основе уже известных.
То есть онтологии моделируют наше логическое мышление. "Открытые данные" и web 3.0 были только первой идеей о том, как использовать на практике часть их возможностей. Потенциал онтологий гораздо шире, и сегодня они широко используются в научных исследованиях, в системах поддержки принятия решений, системах управления знаниями.

Q: Но ведь с 1970-х годов существовали экспертные системы, которые делали то же самое.
A: Экспертные системы действительно строились по похожему принципу, но во времена их популярности не было тех возможностей интеграции и автоматизированного сбора данных, которые есть сейчас. Поэтому стек современных программных продуктов, работающих с онтологиями – графовые базы данных, редакторы моделей, машины логического вывода, прикладное ПО на их основе – способен решать гораздо более широкие и важные задачи.

Q: И какие же это задачи? Например, для поддержки принятия решений существуют системы BI, витрины данных…
Collapse )

Система сбора корпоративной отчетности: онтологии + Big data

На прошлой неделе сдали в промышленную эксплуатацию еще один проект - систему сбора корпоративной отчетности одной из крупнейших госкомпаний. Функционал системы состоит в сборе с дочерних зависимых обществ информации, нужной для построения отчетов для внешних и внутренних потребителей (всего отчетов - несколько сотен). Если совсем по-простому, то раньше в компании собирали непосредственно те данные, которые в эти отчеты попадают, то есть итоговые цифры; в нашей реализации собираются исходные данные, а затем на их основании рассчитываются значения для формализованных отчетов. Это позволяет повторно использовать собираемые данные и верифицировать их.

Конечно, в основе решения лежат онтологии: они описывают структуру собираемой информации (модель предметной области) и структуру требуемого представления (модель отчетности), правила расчета показателей и правила заволнения форм. В этом проекте мы выполнили полный цикл работ - анализ, проектирование (совместно с ген. подрядчиком) и реализацию ПО на основе наших продуктов, составление всех частей модели, тестирование и ввод в эксплуатацию. Сбор данных происходит как вручную, путем заполнения форм сбора данных на портале, так и автоматизированным способом.

Главный технологический интерес в этом решении представляет связка HBase (база данных в составе стека Hadoop) и графовой СУБД. Графовая база нужна для хранения сложной и изменчивой структуры информации (отчетные формы постоянно изменяются), а кластер HBase - для того, чтобы разместить огромный объем фактических данных.

Collapse )

MongoDB для хранения данных онтологии и другие новости

Завершилась наша работа над Подсистемой поддержки принятия управленческих решений в одной большой автоматизированной системе. Здесь мы воплотили на практике и довели до индустриального уровня принцип логической витрины данных, о котором я уже писал (там, правда, было про big data, а здесь про Mongo - но и Hadoop у нас есть в другом похожем проекте, про него отдельно напишу). В общем, теперь идеи подтверждены не только реализацией, но и эксплуатацией.

Итак, представим, что у нас есть информация сложной и нестабильной структуры, для хранения и обработки которой онтологии просто необходимы. Еще и логический вывод задействован. Но при этом данных очень много (миллионы информационных объектов), они поступают непрекращающимся потоком, и работать с ними нужно с довольно высокой скоростью ответа, в реальном времени.Collapse )

Личный опыт подачи заявки в реестр российского ПО

С 2016 года заработал реестр российского ПО, продуктам из которого госзаказчики обязаны отдавать предпочтение перед зарубежными аналогами. 14 января, через пару дней после того, как открылась регистрация заявок в реестр, я подал туда два наших продукта - MDM и Систему Управления Знаниями.

Collapse )

Самое же гадкое состоит в том, что нет никакого способа вступить в контакт с экспертами совета, узнать конкретные замечания и ответить на них, и т.д. В ожидании решения по заявке я трижды писал им запросы - все они оставлены без ответа. Это дает возможность экспертам выдавать совершенно любые замечания по продуктам, и, фактически, принимать решения произвольно и бесконтрольно. Никаких механизмов апелляции, разумеется, тоже нет.

Впрочем, у меня есть догадка о том, как можно было бы повысить шансы на попадание в реестр. Значительную часть экспертов совета составляют представители двух ассоциаций производителей софта. Вероятно, в рамках ассоциаций оказываются услуги по "доработке" заявок, и т.п. И я бы даже вступил в одну из этих ассоциаций, если бы не их входные критерии, которым мы не отвечаем - например, по минимальному числу персонала (как будто от размера штата зависит качество продуктов).

Не то чтобы я узнал что-то новое о российских реалиях; сам отказ тоже меня не слишком удивил - скорее, я бы удивился, если бы удалось в реестр попасть, интрига была только в причине. Да и безотносительно реестра - крупные корпоративные заказчики боятся российского ПО как огня. Цена разговоров о "поддержке российского производителя" на этом фоне понятна.

Искусственный интеллект на OWL

Дискуссия по поводу прошлого поста показала серьезный разрыв в понимании разными людьми термина "искусственный интеллект" - чем, впрочем, только подтвердила один из основных тезисов статьи. Чтобы прояснить и обосновать свой взгляд на искусственный интеллект и возможности его реализации с помощью OWL и правил логического вывода, я сделал небольшой практический кейс, на примере которого хочу все разложить по полочкам.

Итак, представим себе маленького зверька, который пробрался на склад пищевых товаров. Он бежит и пробует на зуб все, что попадается ему на пути. Задача у него такая, которой нельзя не посочувствовать: сожрать как можно больше всего за единицу времени. Кейс хочется максимально упростить, поэтому представим, что ему встречаются предметы только трех типов: бутылочки с крышкой, жестяные банки и пластиковые контейнеры. Зверек может выполнять с ними три действия: тянуть, ломать и крутить. Он ничего не знает о том, каким видам воздействий поддаются эти предметы.

Collapse )

Но это все не принципиально, главное же состоит вот в чем:

Мы можем сделать правила такой же частью всеобщей модели, как концептуальная (TBox) и фактографическая (ABox) части.

Это не предусмотрено существующими средствами OWL (точнее, правила SWRL в OWL сериализуются, могут жить внутри triple store, но связываться с этим себе дороже), но нам-то кто мешает посмотреть на дело шире? Никто.
Итак, наша машина логического вывода берет правила из самой модели. Это значит, что правила могут изменять правила.
Collapse )