Что такое модерация фотографий: сколько стоит модерация фотографий на сайте у фрилансеров

уроки этикета от Data Scientist’a, часть 2 / Хабр

Привет, Хабр!

Мы продолжаем серию статей про модерацию контента на площадках Центра Развития Финансовых Технологий Россельхозбанка. В прошлой статье мы рассказывали, как решали задачу модерации текста для одной из площадок экосистемы для фермеров “Свое Фермерство”. Почитать немного о самой площадке и о том какой результат мы получили можно здесь.

Если коротко, то нами использовался ансамбль из наивного классификатора (фильтр по словарю) и BERT’a. Тексты, прошедшие фильтр по словарю, пропускались на вход в BERT, где они также проходили проверку.

А мы, совместно с Лабораторией МФТИ, продолжаем улучшать нашу площадку, поставив перед собой более сложную задачу премодерации графической информации. Эта задача оказалась сложнее предыдущей, так как при обработке естественного языка можно обойтись и без применения нейросетевых моделей. С изображениями все сложнее — большинство задач решается с помощью нейронных сетей и подбором их правильной архитектуры. Но и с этой задачей, как нам кажется, мы неплохо справились! А что у нас из этого получилось, читайте далее.

Что хотим?

Итак, поехали! Давайте сразу определимся, что из себя должен представлять инструмент модерации изображений. По аналогии с инструментом модерации текста это должен быть некоторого рода “черный ящик”. Подавая ему на вход изображение, загружаемое продавцами товаров на площадку, мы бы хотели понимать, насколько данное изображение приемлемо для публикации на площадке. Таким образом, получаем задачу: определить подходит ли изображение для публикации на сайте или нет.

Задача премодерации изображений является распространенной, но решение зачастую отличается в зависимости от площадок. Так, изображения внутренних органов могут быть приемлемыми для медицинских форумов, но не подходить для соцсетей. Или, к примеру, изображения разделанных тушек животных допустимо на сайте, где их продают, но вряд ли понравится детям, которые заходят в интернет, чтобы посмотреть Смешариков.

Что касается нашей площадки, то для нее были бы приемлемыми изображения сельскохозяйственных товаров (овощи/фрукты, корма для животных, удобрения и т.д). С другой стороны, очевидно, что тематика нашего маркетплейса не подразумевает наличие изображений с различным непотребным или оскорбляющим кого-то контентом.

Для начала мы решили ознакомиться с уже известными решениями задачи и попробовать адаптировать их под нашу площадку. Как правило, многие задачи модерации графического контента сводятся к решению задач класса NSFW, для которых существует датасет в открытом доступе.
Для решения задач NSFW, как правило, используются классификаторы на базе ResNet, которые показывают качество accuracy > 93%.

Матрица ошибок исходного NSFW классификатора

Хорошо, допустим у нас есть хорошая модель и уже готовый датасет для NSFW, но будет ли этого достаточно для определения приемлемости изображения для площадки? Оказалось, что нет. Обсудив такой первоначальный подход с моделью NSFW с владельцами нашей площадки, мы поняли, что необходимо определять немного больше категорий, а именно:

• людей (изображения с людьми мы не хотим видеть, так как они не соответствуют целям платформы)
• животных (нельзя пропускать мертвых животных, а, к примеру, от спящих их отличить весьма проблематично. Поэтому такие фото мы хотим отправлять дальше на ручную модерацию)
• а также корректно работать с надписями на изображениях (различные неприемлемые надписи нам также ни к чему)

То есть, нам все же пришлось составлять свой датасет и думать какие еще модели могли бы быть полезны.

Тут мы сталкиваемся с частой проблемой машинного обучения: нехваткой данных. Она обусловлена тем, что наша площадка создана не так давно, и на ней нет негативных примеров, то есть размеченных, как неприемлемые. Для её решения нам на помощь приходит метод few-shot learning.

Суть этого метода в том, что мы можем дообучить, например, ResNet на небольших, собранных нами датасетах, и получить точность выше, чем если бы делали классификатор с нуля и только с использованием нашего небольшого датасета.

Как делали?

Ниже представлена общая схема нашего решения, начиная от входного изображения и заканчивая результатом детектирования различных категорий, в случае подачи на вход изображения яблока.

Общая схема решения

Рассмотрим каждую часть схемы подробнее.

1 этап: Graffiti detector

Мы ожидаем, что на наш сайт будут загружать товары с текстом на упаковках и, соответственно, возникает задача детектирования надписей и выявления их значения.
Первым этапом мы с помощью библиотеки OpenCV Text Detection находили надписи на упаковках.

OpenCV Text Detection — это инструмент оптического распознавания символов (OCR) для Python. То есть он распознает и «прочитает» текст, встроенный в изображения.

Пример работы EAST детектора

Пример детектирования надписей вы можете видеть на фото. Для выявления bounding box мы использовали модель EAST, но здесь читатель может почувствовать подвох, так как данная модель обучена на распознавание английских текстов, а на наших изображениях тексты на русском языке. Именно поэтому далее используется модель бинарной классификации (граффити/ не граффити) на базе ResNet, доученная до нужного качества на наших данных. Мы взяли ResNet-18, так как эта модель лучше всего показала себя при подборе архитектуры.

В нашей задаче мы бы хотели отличать фото, где надписи являются надписями на упаковках товаров от граффити. Поэтому решили разделить все фото с текстом на два класса: граффити и не граффити

Полученная точность модели составила 95% на заранее отложенной выборке:

Матрица ошибок детектора граффити

Неплохо! Теперь мы умеем вычленять текст на фото и с хорошей вероятностью понимать подходит ли оно для публикации.

Но что делать, если текст на фото отсутствует?

2 этап: NSFW detector

Если на картинке мы не обнаруживаем текст это не значит, что она неприемлема, поэтому дальше мы хотим оценить насколько контент на изображении соответствует тематике сайта.

На этом этапе задача состоит в том, чтобы отнести изображение к одной из категорий:

• наркотики (drugs)
• порно (porn)
• животные (animals)
• фото, способные вызвать отторжение (в том числе и рисунки) (gore/drawing_gore)
• хентай (hentai)
• нейтральные изображения (neutral)

При этом важно, чтобы модель возвращала не только категорию, но и степень уверенности в ней алгоритмов.

Для классификации использовали модель на базе NSFW. Она обучена так, что разделяет фото на 7 классов и только один из них мы ожидаем увидеть на сайте. Таким образом, мы оставляем только нейтральные фото.

Результат такой модели — 97% (в терминах accuracy)

Матрица ошибок NSFW детектора

3 этап: Person detector

Но даже после того, как мы научились фильтровать NSFW, задачу еще нельзя считать решенной. Например, фото человека не попадает ни в категорию с NSFW, ни в категорию фото с текстом, но и на сайте мы подобные изображения не хотели бы видеть. Тогда мы добавили в нашу архитектуру еще и модель детекции человека — Single Shot Detector (далее SSD).

Выделение людей или каких-либо других заранее известных объектов также является популярной задачей с широкой областью применения. Мы использовали готовую модель nvidia_ssd из pytorch.

Пример работы алгоритма SSD

Результаты работы модели ниже (accuracy — 96%):

Матрица ошибок детектора человека

Результаты

Мы оценивали качество работы нашего инструмента метриками weighted F1, Precision, Recall. Результаты представлены в таблице:

Метрика	Полученная точность
Weighted F1	0.96
Weighted Precision	0.96
Weighted Recall	0.96

А вот еще несколько наглядных примеров его работы:

Примеры работы инструмента

Заключение

В процессе решения мы пользовались целым “зоопарком” моделей, которые часто используются для задач компьютерного зрения. Мы научились “читать” текст с фото, находить людей, различать непозволительный контент.

Напоследок, хочется отметить, что рассмотренная задача полезна с точки зрения получения опыта и применения модифицированных классических моделей. Вот некоторые полученные нами инсайты:

1. Можно обходить проблему нехватки данных с помощью метода few-shot learning: большие модели можно доучить до необходимой точности на собственных данных
2. Не нужно стесняться добавлять ручную модерацию: чтобы отличить мертвое животное от спящего необходимы очень сложные модели, которые вряд ли оправдают потраченное на них время
3. Хорошей практикой является использование качественных моделей, обученных на больших датасетах, которые помогут закрыть хотя бы часть потребностей
4. Решать задачи с изображениями становится в разы проще, если удается вычленить из них текст, а значит примерно понимать к какой категории оно относится. Это довольно удобно для сайтов различных магазинов, так как по тексту и фону упаковки, как правило, можно быстро понять является ли товар допустимым или нет
5. Несмотря на то, что задача модерации изображений довольно популярная, ее решение, как и в случае с текстами, может отличаться от площадки к площадке, так как каждая из них рассчитана на разную аудиторию. В нашем случае, к примеру, мы, дополнительно к неприемлемому контенту, детектировали еще животных и людей

Благодарю за внимание и до встречи в следующей статье!

Автоматическая модерация изображений — AI Russia

3227

Январь, 2020 год.

Платформа для автоматического анализа и обработки контента «Робби».

ИТСоцсетиМаркетингКлиентский сервисКрупный бизнесСобственная разработкаMail.ru GroupРост производительностиComputer visionImage recognition

Какую проблему решали

Каждый день пользователи загружают в социальную сеть «Одноклассники» более 40 млн изображений. Некоторые картинки и фотографии могут содержать тексты негативного характера: оскорбления, спам, рекламу, нецензурные выражения и т.д.

Изображения проверялись командой модераторов вручную, что приводило к большим затратам на персонал и задержке в обнаружении нежелательного контента.

Решение проблемы

Команда «Антиспам» социальной сети «Одноклассники» разработала «Робби» – платформу для автоматического анализа и обработки контент.

«Робби» анализирует новые изображения и распознает основные типы негативного контента на стадии загрузки без участия человека. На ручную обработку отправляются только пограничные случаи, что позволяет принимать максимально точные решения.

Технология внедрена для модерации изображений в других сервисах Mail.ru Group: в Юла – для обнаружения контактных данных на фото (телефон, url-адреса, ники Инстаграма), в Ситимобил – для распознавания госномера автомобиля, в MyTarget – для дедупликация рекламных баннеров с одинаковым текстом.

Применяемые технологии

«Робби» – автоматизированная платформа на базе нейросетей и технологии big data.

Платформа приступает к анализу изображений сразу после их загрузки в «Одноклассники». Алгоритм PixelLink ищет картинки с текстом. Алгоритм CRNN определяет местоположение текста на изображении и распознает его. Модель использует технологию оптического распознавания текста OCR (optical character recognition).

Алгоритм Deep Averaging Network разделяет распознанный текст на различные классы. Негативные (реклама, спам, мошенничество и т.д.) удаляются автоматически.

Бизнес-процесс

До проекта:

• Поиск негативных изображений вручную.
• Большой штат модераторов.
• Длительный процесс удаления негативного контента.

После проекта:

• Автоматический поиск изображений с текстом.
• Распознавание текста на картинке.
• Категоризация контента по степени его негативности.
• Мгновенное удаление нежелательного контента.

Результаты

Команда проекта

Вадим Гуров

Руководитель проектов

Владислав Долганов

Руководитель группы разработки

Евгений Журин

Ведущий разработчик

Михаил Марюфич

Разработчик

Алексей Сенников

Руководитель проектов

Руслан Торобаев

Разработчик

Похожие кейсы

AI-кейсы с доказанной бизнес-эффективностью. Все проекты успешно прошли проверку комиссией из признанных экспертов в технологиях и бизнесе.

X5

Оплата взглядом на кассах самообслуживания

2021

Как работает модерация фотографий?

Любое изображение, отправленное на ваш веб-сайт из внешнего источника, должно пройти модерацию до или после публикации, чтобы убедиться, что изображение соответствует правилам публикации и общей теме или брендингу вашей страницы.

Модерация фотографий, как и модерация любого контента, осуществляется для поддержания качества и порядка в вашем интернет-сообществе. Что еще более важно, он также защищает ваши онлайн-ресурсы от непроверенной информации, мошеннических заявлений или любого контента, который может нанести ущерб вашей репутации.

Какие изображения можно модерировать?

Любое изображение может быть подвергнуто модерации независимо от его формата или типа. Это могут быть аватары, конкурсные работы, фотоальбомы, скриншоты, видеокадры, макросы изображений, изображения профиля — практически любое цифровое изображение, которое вы размещаете на своем сайте.

• Качество

  Соответствует ли фотография установленным вами критериям? Проверка качества может больше зависеть от технических аспектов изображения, таких как разрешение, цвет или размер. Проверка того, что изображено на изображении, также может подпадать под проверку качества. Это может быть этап процесса, когда ваши модераторы отфильтровывают фотографии, содержащие наготу, ненависть, насилие, употребление наркотиков или ненормативную лексику.

• Точность

  Проверка на точность гарантирует, что все, что изображено на изображении или заявлено о нем заявителем, соответствует действительности. Подписи, темы или метаданные могут быть включены в проверку точности, но рекомендуется также включить проверку оригинальности представления, чтобы избежать возможных обвинений в нарушении прав.
  

Процесс ручной или автоматизированный?

Это можно сделать в любом случае. Ручная проверка представленных изображений лучше всего подходит для небольшого сообщества или для фотоконкурсов, где требуется сложное и сознательное суждение, чего не могут обеспечить беспилотные программы.

С другой стороны, автоматическая модерация удобна, если вы получаете большое количество материалов или если сообщения с изображениями необходимо публиковать в режиме реального времени. Вы можете использовать систему модерации фотографий или добавить инструмент в систему модерации контента вашего сайта (CMS) для автоматической сортировки и распознавания пигментов, количества света, фотоэффектов или лиц.

Поскольку подобные программы не могут быть точными на сто процентов, настоятельно рекомендуется иметь аутсорсинговую команду рядом с вашей системой. Интеграция живых модераторов в вашу CMS может дать вам возможность модерировать тысячи изображений в день, не жертвуя человеческими стандартами.

Не позволяйте немодерируемому контенту запятнать репутацию вашего бренда. Open Access BPO, ключевой игрок в индустрии модерации контента, предлагает услуги по созданию и модерации контента в соответствии с потребностями вашего бизнеса. Свяжитесь с нами сегодня, чтобы усилить присутствие вашего бренда в Интернете.

0 акции

• Поделиться
• Твит

ПРИСОЕДИНЯЙТЕСЬ К НАМ НА FACEBOOK

Открытый доступ BPO3 дня назад

Игровые компании получают большую выгоду от делегирования различных функций аутсорсинговым компаниям. Это позволяет им сосредоточиться на реальной разработке игр и развитии своей империи интерактивных развлечений.

Их партнерские аутсорсеры предоставляют следующие услуги: https://buff. ly/40Hr6yU

———-
Максимизируйте свой #игровой потенциал и масштабируйте свои операции с помощью надежного аутсорсера #CX и #BackOffice : OpenAccessBPO.com/get-started

#WeSpeakYourLanguage
#BPO #CustomerExperience
#ContentModeration #TechSupport

   Просмотреть на Facebook

Open Access BPO3 дня назад

обеспечивая при этом производительность и качественную поддержку ваших клиентов.

Но это работает, только если все сделано правильно. Вот несколько советов, которые вы можете использовать для геймификации своего контакт-центра: https://buff.ly/42TMbIg

———-
Обеспечьте своим клиентам качественную поддержку: OpenAccessBPO.com/get-started

#WeSpeakYourLanguage

   Просмотреть на Facebook

Открытый доступ BPO4 дня назад

Делая своих операторов #CallCenter счастливыми, вы повышаете #производительность и улучшаете #CustomerExperience.

Вот как вы можете облегчить их жизнь: https://buff.ly/3TXwzzb

———-
Давайте создадим для вас хорошо вовлеченную #аутсорсинговую команду для отличного #CX: https://buff.ly/3TYecdG

#WeSpeakYourLanguage
#CustomerSupport #EmployeeEngagement

   Посмотреть в Facebook

Открытый доступ BPO5 дней назад

Прогнозирование рабочей силы обеспечивает наличие в #CallCenter достаточного количества операторов #CallCenter каждую смену для:
• удовлетворения потребностей потребителей;
• обеспечивать качество #CustomerExperience;
• улучшать репутацию своего клиента; и
• повысить #лояльность клиентов.

Вот факторы, которые необходимо учитывать для эффективного планирования рабочей силы: https://buff.ly/40GvQVg

———-
Убедитесь, что над вашей программой работают высококвалифицированные агенты: OpenAccessBPO. com/get- начато

#WeSpeakYourLanguage
#CustomerSatisfaction #CSat

   Просмотреть на Facebook

Открытый доступ BPO5 дней назад

#Gamification утверждает, что облегчает стрессовые рабочие места, но действительно ли это полезно для #TechnicalSupport?
Присоединяйтесь к нам, чтобы узнать, насколько эффективна эта стратегия в #CallCenter: https://buff.ly/3ZqWrVp

———-
Мы разрабатываем стратегии, которые расширяют возможности людей и укрепляют лояльность к бренду для Наши партнеры: openAccessbpo.com/get-Started

#wepeakyourlanguage
#customersupport #customerservice
#employeemanage #employeeengage
#customerexperience

Просмотр на Facebook

Open Access BPO5 Days Days

DIS ‘ потребности, не выслушав их сначала.
Вот что они хотят услышать о вашем бренде: https://buff.ly/3LYJor4

———-
Доверьте свои потребности в аутсорсинге фирме, которая позаботится о том, чтобы потребности ваших клиентов были услышаны: OpenAccessBPO.com/get-started

#WeSpeakYourLanguage
#CustomerExperience
#CustomerSupport #CX

1    Посмотреть на Facebook

Краткое руководство по модерации изображений

Создание бренда требует тщательного управления каждым аспектом вашего бизнеса. , включая вашу визуальную идентификацию.

Изображения влияют на вашу компанию. Он служит визуальным представлением вашего бренда, продуктов и услуг. Вот почему вы не должны оставлять места для неприемлемых изображений на своем веб-сайте и страницах в социальных сетях, чтобы поддерживать свою репутацию.

Модерация изображений является хорошей практикой для обеспечения безопасности и благополучия ваших клиентов каждый раз, когда они заходят на ваш сайт. В этой статье кратко рассказывается о модерации изображений и о том, как она влияет на вашу работу.

Определено модерирование изображения

Модерация изображений — это форма модерации контента, которая включает фильтрацию изображений, которые считаются явными или неуместными для социальных сетей или веб-сайта бренда.

В организациях действуют разные стандарты фильтрации изображений в зависимости от их руководящих принципов. Wattpad, например, применяет политику нулевой терпимости к изображениям, которые нарушают их стандарты сообщества в отношении контента.

Бренды могут либо использовать автоматизацию, либо нанимать специальных экспертов для одобрения или пометки неприемлемых изображений в максимально возможной степени.

Когда требуется модерация изображений?

Как бизнес, вы всегда должны практиковать модерацию изображений, чтобы обеспечить безопасность ваших клиентов и оптимальное взаимодействие с ними.

Несмотря на то, что это наиболее рекомендуется для компаний всех отраслей, модерация изображений становится требованием для вашей компании при следующих условиях.

• Когда вы публикуете семейный контент
• Ваш бренд живет за счет пользовательского контента (UGC)
• Когда вы получаете многочисленные жалобы и сообщения о нарушениях в течение дня
• Вы проводите конкурсы и другие мероприятия, требующие пользовательского контента
• Вы создали авторитетный бренд и хотите сохранить доверие к себе в долгосрочной перспективе

Определена модерация изображений

Типы модерации изображений

Вы можете использовать несколько видов модерации изображений для более эффективной фильтрации изображений:

Ручная модерация

Ручная модерация предполагает использование модераторов контента для фильтрации изображений и другого визуального контента. Это отличная альтернатива ИИ, поскольку не каждое изображение может быть правильно отфильтровано системой.

Это требует внимания к деталям и решительности модераторов. Некоторый контент может потребовать сознательного принятия решений, особенно когда речь идет о слишком графических или непристойных изображениях.

Этот тип идеально подходит для малых предприятий, работающих с небольшим объемом изображений, которые необходимо ежедневно модерировать и проверять.

Автоматическая модерация

Автоматическая модерация включает использование API для ускорения и повышения эффективности модерации.

С помощью кодирования и машинного обучения команды могут мгновенно использовать автоматическую модерацию для просмотра огромных объемов изображений. Они также могут интегрировать веб-сайты по умолчанию и программное обеспечение, представленное в изобилии на рынке, чтобы помочь им в своих усилиях.

У модерации ИИ тоже есть свои недостатки. В нем отсутствует сознательный мониторинг образов; система обнаруживает только то, что в них запрограммировано.

В результате система могла помечать изображения, соответствующие требованиям компании, и квалифицировать их как непристойные.

Типы модерации изображений

Гибридная модерация

Наконец, гибридная модерация сочетает ручную и автоматическую модерацию в одной операции.

Чтобы максимально повысить эффективность операций, компании могут изначально использовать ИИ для обработки больших объемов изображений. Затем модераторы-люди будут квалифицировать и проверять то, что отфильтровал ИИ.

Гибридная модерация рассматривается как более жизнеспособный вариант модерации контента, особенно изображений, чтобы компенсировать недостатки модерации ИИ.

Один из способов сделать это — условное делегирование, ^[1] , когда модераторы-люди устанавливают правила, используемые ИИ для квалификации изображений.

Как модерация изображений влияет на ваш бренд

Защита бренда сложнее, чем кажется. Помимо фильтрации контента, вы должны свести к минимуму получение откровенного контента в будущем.

В той мере, в какой имидж бренда создает впечатление и узнаваемость, модерация имиджа помогает укрепить вашу репутацию. Он посылает сообщение о том, что вы заботитесь о благополучии и безопасности вашего клиента при посещении вашего веб-сайта или страницы.

Кроме того, модерация изображений помогает вашему бренду улучшить следующее.

• Взаимодействие с пользователем . Модерация изображений улучшает взаимодействие с пользователем, гарантируя, что ваш контент подходит для вашей целевой аудитории.
• Удовлетворенность клиентов . В то же время модерация изображений повышает удовлетворенность клиентов, поскольку меньше клиентов будут считать ваш контент неприемлемым.
• Рейтинг в поисковых системах . Модерация изображений предотвращает пометку вашего сайта за неприемлемое содержание. Это может даже повысить ваш рейтинг в поисковых системах и сделать ваш сайт более широкой аудиторией.
• Соответствие отраслевым нормам . Наконец, вы можете гарантировать соблюдение правил вашей отрасли посредством модерации изображений. Это приводит к увеличению авторитета и знаний, которые можно передать на вашем веб-сайте.

Как модерация изображений влияет на ваш бренд

Аутсорсинг модерации изображений

В конце концов, вы не всегда можете управлять своими процессами модерации самостоятельно. Эта операция может занять некоторое время, в зависимости от объема обрабатываемых изображений и процедур фильтрации.

Аутсорсинг модерации изображений может быть отличным способом гарантировать, что ваш контент безопасен и подходит для вашей аудитории.

Поскольку спрос на модерацию изображений продолжает расти, важно найти лучшего поставщика для ваших нужд.

Правильный поставщик гарантирует, что ваши изображения модерируются быстро и точно, а ваш контент соответствует отраслевым стандартам.

Ссылка на статью:

[1] Условное делегирование . Лай В., Картон С., Бхатнагар Р., Ляо К.В., Чжан Ю. и Тан К. (2022). Сотрудничество человека и ИИ через условное делегирование: пример модерации контента. Конференция CHI по человеческому фактору в вычислительных системах.