Збалансоване виявлення аномальних транзакцій методом HYBRID AWRED на реальних даних в умовах сильного дисбалансу класів

Анотація

У статті було розглянуто задачу виявлення аномальних транзакцій у сильно незбалансованих фінансових даних. Ці дані включали в себе дуже малу кількість рідкісного класу порівняно з кількістю нормальних операцій. Така постановка виявилась складною не лише через малу кількість аномальних прикладів. Це також обумовлено тим, що частина підозрілих транзакцій не утворювала чітко відокремленої групи у просторі ознак, тому звичайна помилка реконструкції автоенкодера не завжди забезпечувала достатню якість ранжування і надійний вибір порогу. Для розв'язання цієї проблеми використано сьому версію методу HYBRID AWRED. В ньому використано гібридний підхід, у якому автоенкодерна реконструкційна основа поєднується зі стійким профілем каліброваних залишків.
Всі експерименти було виконано на наборі Credit Card Fraud Detection, який включав в себе 284807 транзакцій, 30 ознак і 492 аномальних записів. Частка аномального класу становила лише 0.1727%. Навчальна вибірка була сформована тільки з нормальних транзакцій. Валідаційна вибірка використовувалася для підбору порогу та параметрів HYBRID AWRED v7, а тестова вибірка застосовувалася тільки для фінальної оцінки якості. Такий підхід зменшив ризик витоку інформації з тестових даних у процедуру налаштування порогового рішення.
У методі HYBRID AWRED v7 використано фіксоване калібрування реконструкційних залишків після початкового навчання автоенкодера. Тут для кожної ознаки обчислювався калібрований залишок, після чого бралася його додатна частина і далі застосовувалося м'яке логарифмічне стискання ln (1 + rj +). Це зменшило вплив надто великих значень у правому хвості оцінки аномальності. Підсумкова оцінка була сформована як нормована лінійна комбінація каліброваного профілю залишків із невід'ємними вагами. Навчання AWRED-компоненти виконувалося з використанням псевдоаномалій і ранжувальної функції втрат. Такий підхід дозволив не тільки зменшити помилки реконструкції, а й покращити порядок розміщення нормальних та аномальних транзакцій за рівнем ризику.
За результатами п'яти незалежних прогонів HYBRID AWRED v7 досяг AUC-ROC 0.9432+/-0.0117, AUC-PR 0.6639+/-0.0634, F1 0.7153+/-0.0402, MCC 0.7180+/-0.0399, Precision 0.6608+/-0.0565 і Recall 0.7831+/-0.0501. Порівняно з такими конкурентами як AE, AEfinetuned, DAE, SVDD і DAGMM запропонований підхід показав найкращу якість за AUC-PR, F1, MCC і повнотою. Але треба мати на увазі, що цей результат не слід трактувати як повне відділення аномальних транзакцій від нормальних. Частина слабких підозрілих прикладів залишається близькою до нормального профілю. Однак HYBRID AWRED v7 помітно покращив практично важливу порогову якість у задачі з екстремальним дисбалансом класів.

Ключові слова: аномальні транзакції, виявлення аномалій, автоенкодер, HYBRID AWRED v7, AUC-PR, дисбаланс класів, калібровані залишки, порогове рішення.