Сибирские ученые разработали программу поиска запрещенной информации в Интернете

Новосибирск. 24 декабря. ИНТЕРФАКС-СИБИРЬ - Сотрудники лаборатории искусственного интеллекта Института систем информатики им.А.П.Ершова (ИСИ, Новосибирск) создали программу, способную с высокой точностью распознавать запрещенное содержание сайтов, даже если оно завуалировано, сообщает издание СО РАН "Наука в Сибири".

Ученые объединили нейронные сети с методами экспертов (лингвистов и специалистов по машинному обучению). Полученный инструмент - плагин на платформе WordPress - проверяет информацию, отфильтровывает нелегальный контент и объясняет, почему счел его таковым.

"Идея проекта в том, что современные методы типа машинного обучения или нейронных сетей плохо справляются с поиском запрещенного контента. Злоумышленники могут использовать сленг при продаже наркотиков. Они называют их совершенно обычными словами, такими как "молоко" или "корова". Если блокировать эти слова, то будет заблокировано слишком много сайтов. Еще одна трудность - часто сообщения о продаже наркотиков размещаются на сайтах совершенно обычной тематики, например в комментариях к новостям", - отмечает старший научный сотрудник лаборатории искусственного интеллекта ИСИ Елена Сидорова.

Сначала программа анализирует структуру, затем с помощью словаря проводится лингвистический анализ содержания, и делается вывод, связан ли текст с темой наркотиков.

"Одно сообщение на веб-странице может содержать ссылку на другое, и эти цепочки помогают постоянно проверять подозрительную лексику и пополнять базу. Для обновления словаря названий наркотических средств также привлекались эксперты-наркологи, которые знают этот сленг", - уточняет Сидорова.

Отмечается, что методы машинного обучения определяют нелегальное содержание с точностью около 70%, комбинированный способ позволяет добиться точности выявления в 86% случаев. При этом почти 90% нейтральных сайтов метод не относит к нежелательным.