Суть услуги
Регуляторы по всему миру ужесточают требования к ИИ-системам. Особенно это касается финансовых учреждений, страховых компаний, государственных структур и здравоохранения. Если ваша ИИ-система не соответствует требованиям регулятора она может быть запрещена или к компании применены штрафы.
Основные требования регуляторов:
- Прозрачность: можно ли объяснить почему система приняла решение
- Справедливость: система не должна дискриминировать по полу, возрасту, национальности, религии
- Защита данных: личные данные должны быть защищены согласно закону
- Надёжность: система должна давать стабильно хорошие результаты
- Документирование: всё должно быть задокументировано и проверено
- Отсутствие манипуляции: система не должна быть уязвима к атакам
Наша услуга: провести полную оценку соответствия, выявить все риски, подготовить систему к проверке регулятора.
Процесс оценки - 5 этапов
Этап 1: Анализ применяемого законодательства (3-4 дня)
- Определяем какие регуляторы относятся к вашему бизнесу
- Изучаем требования каждого регулятора к ИИ-системам
- Понимаем какие штрафы и санкции за нарушения
- Определяем критические требования и nice-to-have требования
- Составляем чек-лист требований для вашей компании
Этап 2: Аудит текущей ИИ-системы (5-7 дней)
- Изучаем архитектуру ИИ-системы и как она работает
- Анализируем данные которые использует система
- Тестируем систему на справедливость и отсутствие дискриминации
- Проверяем защиту данных и конфиденциальность
- Определяем можно ли объяснить решение системы
- Анализируем риски и уязвимости
Этап 3: Тестирование на справедливость и дискриминацию (4-5 дней)
- Проводим тесты на дискриминацию по полу — даёт ли система разные результаты для мужчин и женщин
- Тесты по возрасту — зависят ли результаты от возраста
- Тесты по национальности или этнической принадлежности — видны ли закономерности
- Тесты по социально-экономическому статусу
- Анализируем где система может быть несправедливо предвзята
- Рассчитываем метрики справедливости
Этап 4: Проверка документации и прозрачности (3-4 дня)
- Проверяем есть ли полная документация ИИ-системы
- Анализируем насколько система объяснима (explainability)
- Проверяем есть ли механизмы для апелляции решения
- Определяем можно ли понять как система пришла к решению
- Проверяем документацию по обучению модели
- Оцениваем соответствие требованиям документирования
Этап 5: Рекомендации и план приведения в соответствие (4-5 дней)
- Определяем что уже соответствует требованиям
- Выявляем что нужно исправить и в какой срок
- Составляем дорожную карту исправления нарушений
- Рекомендуем как переоснастить систему
- Определяем как подготовиться к проверке регулятора
Требования разных регуляторов
Европейский регулятор (регуляция ИИ): требует оценки рисков, документирования, тестирования на справедливость, возможности апелляции решения, наблюдения за ИИ в production.
Банк России: требует прозрачности кредитных моделей, возможности объяснить отказ в кредите, отсутствия дискриминации, защиты данных клиентов.
Центр по сертификации ПО: требует документирования алгоритма, результатов тестирования, соответствия стандартам.
ФСТЭК (Федеральная служба по техническому и экспортному контролю): требует защиты критичной информации, отсутствия утечек данных, соответствия требованиям безопасности.
Специфичные требования по отраслям:
- Финансы: система должна объяснять почему отказала в кредите/займе, не должна дискриминировать по признакам пола/возраста, должна проходить стресс-тесты
- Страховка: система должна рассчитывать справедливую премию, не должна дискриминировать, должна быть прозрачна
- Здравоохранение: система должна только рекомендовать а не принимать решения за врача, должна быть очень точна, должна защищать медданные
- Государство: система должна применяться справедливо ко всем, должна быть полностью объяснима, должна быть проверяемой
Примеры из реальной практики
Пример 1: Банк (система одобрения кредитов)
Банк обучил модель одобрения кредитов которая показывала хорошие результаты на тестовых данных. Но при аудите обнаружили:
- Модель дискриминирует женщин — они получают отказ в 20% случаях вместо 10% у мужчин
- Модель дискриминирует людей старше 60 лет
- Невозможно объяснить почему система отказала конкретному человеку
Что сделали: Добавили ограничения чтобы система не использовала пол и возраст. Реализовали объяснимость через SHAP значения. Добавили процесс апелляции. Результат: система стала соответствовать требованиям регулятора, была одобрена.
Пример 2: Страховая компания (расчёт премии)
Страховка использовала ИИ для расчёта премий за КАСКО. При проверке выявили:
- Система использует место жительства что косвенно дискриминирует по национальности
- Система повышает премию молодым водителям но только если они не из Москвы
- Нет объяснений почему человеку предложена такая премия
Что сделали: Перестроили модель без использования места жительства как косвенного признака. Добавили объяснения. Сделали аудит справедливости. Результат: система стала справедливой, регулятор одобрил.
Пример 3: Государственное учреждение (отбор кандидатов)
Госучреждение хотело использовать ИИ для отбора кандидатов на должность. При оценке обнаружили:
- Система обучена на исторических данных где было больше мужчин — теперь отсеивает женщин
- Система не прозрачна — невозможно понять почему кандидат отсеялся
- Нет механизма апелляции
Что сделали: Переобучили модель с балансировкой по полу. Реализовали полную объяснимость каждого решения. Добавили процесс апелляции к человеку. Результат: система может быть использована в государственных процессах.
Пример 4: Здравоохранение (диагностика болезни)
Больница использует ИИ для помощи в диагностике рака. При аудите выявили:
- Система очень точна на европейцах но менее точна на людях других национальностей
- Система может заменить врача но использована как первичное решение
- Медданные не полностью защищены
Что сделали: Собрали больше данных от пациентов других национальностей. Переформулировали — система только помощь врачу, решение принимает врач. Усилили защиту медданных. Результат: система может быть использована в больницах.
Пример 5: Техкомпания (общие требования)
Техкомпания разрабатывает ИИ для разных клиентов. При подготовке выявили:
- Нет полной документации ИИ-систем
- Нет процесса тестирования на справедливость
- Нет механизмов для аудита и отслеживания ошибок
Что сделали: Разработали процесс разработки ИИ с требованиями соответствия. Добавили тестирование на справедливость в QA процесс. Реализовали логирование всех решений системы. Результат: компания может продавать ИИ регуляторным органам.
Ключевые метрики справедливости которые мы проверяем
- Demographic parity: система принимает одинаковый процент решений для разных групп
- Equalized odds: система имеет одинаковый процент ошибок для разных групп
- Predictive parity: точность предсказания одинакова для разных групп
- Calibration: вероятности которые выдаёт система соответствуют реальности
Что получает клиент
- 1. Отчёт об оценке соответствия (60-80 страниц): описание применяемого законодательства, анализ текущей системы, результаты тестов на справедливость, выявленные нарушения, рекомендации по исправлению.
- 2. Детальные результаты тестирования: таблицы с результатами по каждому критерию, сравнение с требованиями, определение критичных нарушений.
- 3. План приведения в соответствие: пошаговый план исправления, сроки, требуемые ресурсы, оценка стоимости и времени.
- 4. Чек-лист для регулятора: документ который можно показать регулятору демонстрирующий соответствие требованиям.
- 5. Рекомендации по мониторингу: как отслеживать справедливость и соответствие в production.
Кому это нужно
- Финансовым учреждениям которые используют ИИ в кредитовании
- Страховым компаниям которые используют ИИ в расчётах премий
- Государственным учреждениям которые хотят использовать ИИ
- Компаниям здравоохранения которые используют ИИ в диагностике
- Крупным корпорациям которые хотят убедиться что их ИИ соответствует требованиям
- Компаниям которые хотят продавать ИИ решения регуляторным органам
Результаты оценки
- ✓ Ясное понимание требований вашего регулятора к ИИ
- ✓ Выявление всех нарушений и рисков
- ✓ Готовый план исправления нарушений
- ✓ Документация подтверждающая соответствие
- ✓ Уверенность что система соответствует требованиям
- ✓ Готовность к проверке регулятора
- ✓ Минимизация рисков штрафов и санкций
