Автоматические описания к фото в Facebook и Instagram станут более подробными

Каждое изображение в Facebook и в Instagram дополняется подписью, которую генерирует ИИ. Alt-текст – поле для метаданных, описывающее изображение на веб-странице.

Например, «человек стоит возле леса с лошадью», «собака в лодке». Такие описания помогают людям с плохим зрением понять, что изображено на фото. Часто авторы постов добавляют их вручную, но большинство пользователей ими просто пренебрегает. Поэтому соцсети используют автоматические описания к картинкам.

В Facebook технология Automatic Alt Text применяется с 2016 года, – то есть очень давно, учитывая то, как стремительно развивается машинное обучение. Впоследствии система многократно улучшилась, в последнем обновлении появилась возможность создавать более детальные описания по требованию.

Сейчас эта технология распознает в десять раз больше элементов, чем прежде, около 1 200. А сам текст описания будет более подробным. Раньше было: «два человека возле здания», сейчас – «селфи двух людей возле Эйфелевой башни». К описанию добавляется «возможно», чтобы избежать ошибочных предположений.

Конечно, не все идеально, например на этом изображении система просто сообщает о расположении людей и объектов.

Очевидно, что люди находятся выше барабанов, а шляпы – выше людей. Но такая информация вовсе не нужна, чтобы понять, что изображено на фото. Система может выдать примерно следующее описание: «дом, несколько деревьев и гора». По этим словам сложно понять, что изображено. Дом на горе или перед ней? Деревья перед домом или за ним, или на горе на заднем плане?

Без этих деталей не получится в точности описать фото, даже если общая идея и так ясна. Когда зрячий человек хочет в деталях рассмотреть картинку, он приближает ее к лицу, или увеличивает масштаб. У людей, лишенных этой возможности, теперь есть команда «создать подробное описание изображения». На Android активируется долгим нажатием, на iOS – специальным действием.

Возможно, новое описание будет более понятным, например, таким: «дом и несколько деревьев перед горой со снегом».

Функция подробного описания появится на Facebook и Instagram в качестве тестовой, но не во всех странах одновременно. Описание будет краткими, чтобы было проще переводить на другие языки.