Sony AI предлагает новое решение для борьбы с предубеждением компьютерного зрения против желтой кожи.
Sony AI предлагает решение против предубеждения компьютерного зрения.
Японская технологическая гигант Sony описала возможный способ измерения системных предубеждений по отношению к некоторым оттенкам кожи в недавней статье.
Компьютерные системы компьютерного зрения исторически испытывали трудности с точным определением и анализом людей с желтыми оттенками кожи. Стандартная шкала типов кожи Фицпатрика неадекватно учитывает вариации оттенков кожи, сосредоточиваясь только на тональности от светлой до темной. В результате стандартные наборы данных и алгоритмы проявляют сниженную производительность на людях с желтым цветом кожи.
Эта проблема существенно влияет на определенные этнические группы, такие как азиаты, приводя к несправедливым результатам. Например, исследования показали, что системы распознавания лиц, разработанные в Западе, имеют более низкую точность для лиц азиатов по сравнению с другими этническими группами. Отсутствие разнообразия в обучающих данных является ключевым фактором, влияющим на эти предубеждения.
В статье исследователи Sony AI предложили многомерный подход к измерению видимого цвета кожи на изображениях для более объективной оценки справедливости систем компьютерного зрения. В исследовании утверждается, что общепринятый подход, основанный на использовании шкалы типов кожи Фицпатрика для характеризации цвета кожи, ограничен, поскольку он сосредоточен только на тональности от светлой до темной. Вместо этого исследователи предлагают измерять как воспринимаемую светлоту L*, чтобы учесть тональность кожи, так и угол оттенка h*, чтобы охватить оттенок кожи от красного до желтого. Ведущий автор исследования Уильям Тонг объяснил:
“Хотя практично и эффективно сводить цвет кожи к его тональности, это ограничивает наше понимание сложности состава кожи. […] Поэтому мы предлагаем использовать многомерную шкалу для более точного представления различий в цвете кожи между людьми на изображениях.”
Исследователи продемонстрировали ценность этого многомерного подхода в нескольких экспериментах. Во-первых, они показали, что стандартные наборы данных изображений лиц, такие как CelebAMask-HQ и FFHQ, смещены в сторону светло-красного цвета кожи и недостаточно представляют темно-желтые оттенки кожи. Генеративные модели, обученные на этих наборах данных, воспроизводят аналогичное предвзятое отношение.
Во-вторых, исследование выявило предвзятость оттенка кожи и оттенка в моделях обрезки изображений на основе важности и моделях верификации лиц. Алгоритм обрезки изображений Twitter проявил предпочтение к светло-красным оттенкам кожи. Популярные модели верификации лиц также показывали лучшие результаты на светлых и красных оттенках кожи.
Наконец, манипулирование оттенком кожи показало причинно-следственные связи в моделях прогнозирования атрибутов. Люди с более светлым оттенком кожи чаще классифицировались как женщины, тогда как люди с более красным оттенком кожи чаще предсказывались с улыбкой. Тонг заключил:
“Наш вклад в оценку цвета кожи в многомерном аспекте предлагает новые, ранее невидимые, возможности для лучшего понимания предубеждений при оценке справедливости как наборов данных, так и моделей.”
Исследователи рекомендуют использовать многомерные шкалы цвета кожи в качестве инструмента справедливости при сборе новых наборов данных или оценке моделей компьютерного зрения. Это может помочь устранить проблемы, такие как недостаточное представительство и различия в производительности для определенных оттенков кожи.
Источник изображения:
