Сервис, который проверяет уникальность новостей искусственным интеллектом, запустили российские программисты

Программисты из Владивостока разработали первый в своём роде сервис по проверке новостей на плагиат с внедрённым искусственным интеллектом, который обучался на более чем миллионе новостных материалов. Методика проверки текста таким образом разрабатывалась на протяжении двух лет. В тестировании нейросети были использованы опубликованные новости известных СМИ, которые дали согласие на участие в разработке проекта. Создатели TurboCheck отметили, что кроме новостных материалов ИИ умеет проверять уникальность текста сочинений, рефератов, документов, и так далее.

Разработчики рассказали подробно о том, как именно работает антиплагиат. Алгоритм при проверке уникальности задействует известный многим метод шингла, когда система проверяет, например, каждое второе слово или каждое третье. Турбочек применяет такой же способ оценки текста, но с дополнительным использованием искусственного интеллекта, который позволяет проверять новости в разы быстрее сервисов с подобным функционалом. ИИ быстро находит повторяющиеся фразы, указывает на них и отображает страницы, на которых есть совпадения. Кроме того, благодаря внедрённому искусственного разума, система находит совпадения в материалах, которые были опубликованы в Сети минуту назад. К сожалению, другие известные программы проверки уникальности такой точностью не обладают.

Совместная работа алгоритма с методом шингла и нейросети позволила устранить главный недостаток подобных проверок на плагиат, когда пользователь мог повысить уникальность текста благодаря замене каждого второго или третьего слова на синоним. Таким образом новость становилась уникальной по сочетанию слов, но мысль в тексте оставалась плагиатом. Чтобы усовершенствовать функцию антиплагиата, разработчики создали искусственного пользователя, который за считанные секунды находит любую информацию в поисковых системах и самостоятельно совершает переходы по страницам в Интернете.

Программисты добавили, что проверка текста на уникальность требует постоянных доработок и крупных финансовых вложений, так как обучение искусственного интеллекта продолжается, чтобы сделать проверку более быстрой и точной.