Що таке зрозумілий штучний інтелект (XAI)?

• Зрозумілий штучний інтелект (Explainable AI, XAI) — напрямок досліджень у галузі ШІ, який прагне створити системи та моделі, здатні пояснювати свої дії та приймати рішення зрозумілим для людей чином.

• Однією з основних проблем у навчанні сучасних штучних інтелектів є «чорна скринька»: системи можуть давати точні відповіді та виконувати складні завдання, але часто важко зрозуміти, яким чином вони дійшли цих результатів.

• XAI може бути корисним у областях, де потрібен високий рівень зрозумілості прийнятих рішень, таких як медицина, фінанси, право.

Як визначити ШІ?

Штучний інтелект може бути складним та непрозорим для розуміння. Через це логічно виникає запит на зрозумілий штучний інтелект (Explainable AI, XAI).

Щоб розібратися в тому, що таке XAI, спочатку слід уважніше подивитися на ШІ взагалі. Технології штучного інтелекту – велика область, яка продовжує інтенсивно зростати. Однак універсального визначення для неї поки що не існує.

У 2021 році Європейська комісія представила регулятивну пропозицію, що дало б юридично обов’язкове визначення ШІ. У документі йдеться, що до штучного інтелекту належать системи, які роблять висновки, прогнози, рекомендації або приймають рішення, що впливають на навколишнє середовище.

Відповідно до юриста та дослідника ШІ Джейкоба Тернера, штучний інтелект також можна визначити як «здатність неприродної сутності приймати рішення на основі процесу оцінки». Об’єднавши визначення Європейської комісії та Тернера, можна сказати, що системи штучного інтелекту здатні «вчитися» і впливати на навколишнє середовище. Штучний інтелект не обмежується програмним забезпеченням, може проявлятися у різних формах, включаючи робототехніку.

Що таке «чорна скринька» в ШІ?

Штучний інтелект приймає «рішення» або створює вихідні дані на основі вхідних даних та алгоритмів. Завдяки здатності навчання та застосуванню різних технік та підходів, ШІ здатний робити це без прямого людського втручання. Це призводить до того, що ШІ-системи часто сприймають як «чорну скриньку».

Під «чорною скринькою» в даному випадку мається на увазі складність розуміння та контролю над рішеннями та діями, які виробляють системи та алгоритми ШІ. Це створює проблеми з прозорістю та відповідальністю, що, у свою чергу, несе різні правові та регуляторні наслідки.

Як цю проблему вирішує XAI?

Поняття зрозумілого штучного інтелекту виникло як у відповідь проблему «чорного ящика». XAI є підхід, спрямований на створення систем ШІ, результати яких можна пояснити в термінах, зрозумілих людині. Основна мета зрозумілого штучного інтелекту — зробити прийняття рішень у системах ШІ прозорим та доступним.

Можна виділити такі фактори, які роблять XAI значним компонентом у сфері розробки та використання ШІ:

• Відповідальність. Якщо система ШІ приймає важливе для людини рішення (наприклад, відмова у кредиті або постановка медичного діагнозу), люди повинні розуміти, як і чому це рішення було ухвалено. Концепція XAI дозволить підвищити прозорість та відповідальність подібних процесів, позбавити суспільство від страхів, пов’язаних з використанням технологій ШІ.
• Довіра. Люди радше довіряють системам, які вони розуміють. Якщо система ШІ може доступно пояснити свої рішення, люди охоче прийматимуть її рішення.
• Поліпшення моделі. Якщо ми можемо зрозуміти, як система ШІ приймає свої рішення, ми можемо використовувати цю інформацію для покращення моделі. Це дозволить ефективно виявляти та усувати упередженості, робити систему точнішими, надійнішими та етичнішими.
• Відповідність законодавству. У деяких юрисдикціях, наприклад, у Європейському Союзі із запровадженням Загального регламенту захисту даних (GDPR), потрібно, щоб організації могли пояснити рішення, прийняті з використанням автоматизованих систем.

Прозорість і зрозумілість можуть поступатися місцем іншим інтересам, таким як прибуток або конкурентоспроможність. Це наголошує на необхідності встановлення правильного балансу між інноваціями та етичними міркуваннями при розробці та застосуванні штучного інтелекту.

Підвищення довіри до державних та приватних систем ШІ має важливе значення. Воно стимулює розробників бути більш відповідальними і гарантує, що їх моделі не поширюватимуть дискримінаційних ідей. Крім того, це сприяє запобіганню незаконному використанню баз даних.

XAI відіграє ключову роль цьому процесі. Пояснення означає прозорість ключових факторів та параметрів, що визначають рішення ШІ. Хоча повна зрозумілість може бути недосяжною через внутрішню складність ШІ-систем, можливо встановити певні параметри та значення. Це робить штучний інтелект.

Які є приклади XAI?

Прикладами зрозумілого штучного інтелекту можуть бути різні техніки машинного навчання. Вони підвищують зрозумілість моделей ШІ через різні підходи:

• Дерева рішень. Надають чітке візуальне подання процесу ухвалення рішень ШІ.
• Системи з урахуванням правил . Визначають алгоритмічні правила у форматі, зрозумілому для людей. Вони можуть бути менш гнучкими щодо інтерпретації.
•  Байєсівські мережі. Імовірнісні моделі, які показують причинно-наслідкові зв’язки та невизначеності.
• Лінійні моделі та аналогічні техніки в нейронних мережах. Ці моделі показують, як кожен вхідний параметр впливає на вихід.

Для досягнення XAI використовуються різні підходи, включаючи візуалізацію, пояснення природною мовою та інтерактивні інтерфейси. Інтерактивні інтерфейси, наприклад, дозволяють користувачам досліджувати, як передбачення моделі змінюються при зміні вхідних даних.

Візуальні інструменти, такі як карти інтенсивності та дерева.

У чому недоліки XAI?

Пояснимий штучний інтелект має кілька обмежень, деякі пов’язані з його застосуванням:

• Складність розробки. Великі команди інженерів можуть працювати над алгоритмами протягом багато часу. Це ускладнює розуміння всього процесу розробки та вбудованих у системи ШІ принципів.
• Неоднозначність терміна «зрозумілість». Це поняття, що широко трактується, яке може викликати різні інтерпретації при впровадженні XAI. Коли аналізуються ключові параметри та фактори в ШІ, виникають питання: що саме вважати «прозорим» чи «зрозумілим» і які межі цієї зрозумілості?
• Швидкий розвиток ШІ. Штучний інтелект розвивається експоненційно. У поєднанні з бездоглядними системами та глибоким навчанням теоретично може досягти рівня загального інтелекту. Це відкриває шлях до нових ідей та інновацій, але й спричиняє додаткові складності при впровадженні XAI.

Які перспективи у XAI?

Розглянемо дослідження про «генеративних агентів», автори якого інтегрували мовні моделі ШІ з інтерактивними агентами. У ході експерименту була створена віртуальна пісочниця, що є маленьким містечком з двадцятьма п’ятьма віртуальними «жителями». Спілкуючись природною мовою, вони демонстрували реалістичну індивідуальну та соціальну поведінку. Так один агент «захотів» організувати вечірку, після чого агенти почали самостійно розсилати запрошення.

Слово «самостійно» тут украй важливе. Якщо системи ШІ демонструють поведінку, яку складно простежити до окремих компонентів, це може викликати наслідки, що складно прогнозуються.

XAI здатний запобігти або хоча б пом’якшити деякі ризики використання ШІ. Важливо пам’ятати, що зрештою відповідальність за рішення та дії, що ґрунтуються на ШІ, лежить на людях, навіть якщо не всі рішення штучного інтелекту можуть бути пояснені.

Матеріал підготовлений за участю мовних моделей, розроблених OpenAI. Інформація, представлена ​​тут, частково ґрунтується на машинному навчанні, а не на реальному досвіді чи емпіричних дослідженнях.