Поисковый алгоритм Google помог китайцам создать самого эффективного ИИ-цензора для интернета.

Два года назад компания Google представила новый поисковый алгоритм BERT для лучшей обработки запросов на разных языках. С помощью нейронной сети алгоритм анализирует не отдельные слова, а предложения целиком, что существенно улучшает релевантность выдачи. Оказалось, что на базе BERT можно создать крайне эффективного ИИ-цензора, чем воспользовались китайские разработчики.

Как известно, китайский сегмент интернета отличается высокой степенью цензуры. Сложность китайского языка и различные ухищрения пользователей не позволяют эффективно использовать для цензуры традиционные алгоритмы поиска «крамольных» публикаций. Например, поиск по ключевым словам достигает точности 70 %, а точность обученной людьми нейросети приближается к 80 %. Новая китайская разработка с элементами ИИ на алгоритме BERT даже без обучения позволяет повысить точность обнаружения подлежащих цензуре текстов до 91 %.

Алгоритм Google BERT с открытым кодом не может анализировать тексты длиной более 512 слов. Чтобы обойти это ограничение разработчики из Шэньянского университета Лигун и Китайской академии наук разработали алгоритм для разбивки больших текстов на доступные для анализа с помощью BERT и технологию последующей сборки текстов до первоначального объёма. Получилось решение, которое может искать даже скрытый между строк подтекст.

Сегодня в Китае для обеспечения цензуры в интернете — для поиска содержимого от аморального и террористического до нападок на коммунистическую партию и строй в стране — работает огромная армия цензоров-людей. Это колоссальная статья расходов. Искусственный интеллект приближается к тому, чтобы не только заменить всё это на машинный анализ, но также обещает буквально не захлебнуться в растущем потоке данных, с чем люди просто не справятся.

InternetUA

https://internetua.com/

Новости по теме
Форосский парк: запрет есть – стройка идет - Доброе утро, Крым.

Форосский парк: запрет есть – стройка идет - Доброе утро, Крым.

Строительство детского лагеря на территории памятника паркового искусства в поселке Форос приостановлено до осени, об этом в середине апреля написал на своей странице «Вконтакте» подконтрольный России глава Крыма Сергей Аксенов. Но, как сообщают м...

День памяти жертв геноцида крымских татар. В Крыму и на материке - Крымский вечер

День памяти жертв геноцида крымских татар. В Крыму и на материке - Крымский вечер

18 мая в Украине и мире чтят память жертв геноцида крымскотатарского народа. В этот день в 1944 году началась советская кампания депортации крымских татар из Крыма, за несколько дней с полуострова депортировали весь народ. 18 мая 2021 года жертв д...

Нові меблі та окрема ванна кімната: як виглядають нові камери за 12 тисяч гривень в місяць.

Нові меблі та окрема ванна кімната: як виглядають нові камери за 12 тисяч гривень в місяць.

В Лук'янівському СІЗО в Києві презентували новий корпус на 18 камер, перебування в яких коштує 12 тис грн на місяць з людини. На ремонт одного такого корпусу витратили близько 14 млн грн. Це - кошти з державного бюджету. Натомість гроші, отримані ...

3

Дело Медведчука. Новые факты - Итоги 18.05.21

Дело Медведчука. Новые факты - Итоги 18.05.21

00:00 Смотрите в этом выпуске: 00:21 Украина и мир чтят память жертв депортации крымскотатарского народа. 00:59 Кадровые ротации в правительстве. Верховная Рада во время внеочередного заседания уволила трёх министров. 03:32 Президент Владимир Зеле...

Навальный, хакеры, санкции: эксклюзивное интервью Сергея Нарышкина Би-би-си.

Навальный, хакеры, санкции: эксклюзивное интервью Сергея Нарышкина Би-би-си.

В интервью корреспонденту Би-би-си Стиву Розенбергу глава Службы внешней разведки России Сергей Нарышкин отверг обвинения в том, что его агентство было связано с массовой кибератакой в США в прошлом году. Нарышкин предположил, что эту операцию мог...

Крым будет свободным: обращение президента ко Дню памяти жертв геноцида крымских татар.

Крым будет свободным: обращение президента ко Дню памяти жертв геноцида крымских татар.

Президент Украины Владимир Зеленский в День памяти жертв геноцида крымскотатарского народа отметил, что каждый украинец разделяет эту боль. Он также рассказал, что подписал указ о мерах по деоккупации и реинтеграции полуострова, а для защиты прав ...