Czy analiza sentymentu przy pomocy systemu AI to praktyka zakazana?

Przepis brzmi tak:

Art. 5.1.f

Zakazuje się następujących praktyk w zakresie AI: (…)

wprowadzania do obrotu, oddawania do użytku w tym konkretnym celu lub wykorzystywania systemów AI do wyciągania wniosków na temat emocji osoby fizycznej w miejscu pracy lub instytucjach edukacyjnych, z wyjątkiem przypadków, w których system AI ma zostać wdrożony lub wprowadzony do obrotu ze względów medycznych lub bezpieczeństwa;

I tu powstaje pytanie, czy takim zakazanym systemem będzie system AI do analizy sentymentu. Pytanie ma bardzo praktyczny wymiar, gdyż analiza sentymentu jest powszechnie wykorzystywana w biznesie, zwłaszcza w ramach call centers.

Czym jest analiza sentymentu?

Badanie sentymentu to inaczej badanie wydźwięku emocjonalnego wypowiedzi. Analiza sentymentu jest szeroko stosowana do analizy wypowiedzi na określone tematy w celu oceny nastawienia autora danej wypowiedzi do tego tematu.

Najczęściej wynikiem analizy sentymentu jest klasyfikacja wypowiedzi jako pozytywnej, negatywnej lub neutralnej, jednak są także systemy, które pozwalają na bardziej szczegółową analizę (np. w skali od zera do 100), a nawet na wykrywanie konkretnych emocji autora (np. frustracji, obojętności lub niepokoju).

Przedmiotem analizy sentymentu mogą być wypowiedzi w dowolnej formie, zarówno tekstowej jak i audio. Analiza sentymentu jest stosowana w monitoringu mediów, klasyfikacji komunikacji od klientów pod kątem pilności czy analizie rynku, jednak niektóre organizacje stosują ją także w procesach kadrowych w celu, np. mierzenia satysfakcji pracowników, czy analizy ich nastrojów lub w celu oceny jakości rozmów w call center. Analiza sentymentu może być także wykorzystana w kontekście edukacyjnym, np. do analizy ocen studentów dotyczących prowadzonych zajęć.

Skoro badanie sentymentu to badanie wydźwięku emocjonalnego wypowiedzi, to wydawałoby się, że na tytułowe pytanie jest prosta odpowiedź - tak, system AI do analizy sentymentu może być systemem AI do wyciągania wniosków na temat emocji osoby fizycznej w miejscu pracy lub instytucjach edukacyjnych. Jednak przy bliższej analizie okazuje się, że odpowiedź musi być bardziej zniuansowana.

Przede wszystkim trzeba sprawdzić, czy analiza sentymentu dotyczy analizy emocji osoby fizycznej w sytuacjach związanych z miejscem pracy. Analiza sentymentu wypowiedzi w social mediach na temat firmy nie będzie objęta tym zakazem.

Czy „system AI do wyciągania wniosków na temat emocji osoby fizycznej” jest tym samym, co „system rozpoznawania emocji”?

W AI Act nie znajdziemy definicji „systemu AI do wyciągania wniosków na temat emocji osoby fizycznej”, ale jest za to definicja systemu rozpoznawania emocji, która jest następująca:

Art. 3 pkt 39

„system rozpoznawania emocji” oznacza system AI służący do identyfikacji lub wywnioskowania emocji lub zamiarów osób fizycznych na podstawie danych biometrycznych tych osób”

Brzmienie tych pojęć jest bardzo podobne – czy zatem system, o którym mowa w art. 5 ust. 1 lit. f (czyli system AI do wyciągania wniosków na temat emocji) jest tożsamy z systemem rozpoznawania emocji czy nie? A jeśli tak, to dlaczego w art. 5 ust. 1 lit. f nie użyto ww. terminu, lecz zamiast tego napisano, że zakaz dotyczy „systemów AI do wyciągania wniosków na temat emocji osoby fizycznej”?

Niestety AI Act nie jest konsekwentny w stosowaniu jednolitej terminologii. Różnych określeń systemów do rozpoznawania emocji jest w AI Act więcej.

I tak motyw 44 preambuły – który jest uzasadnieniem wprowadzenia zakazu z art. 5 ust. 1 lit. f - mówi o systemach AI „przeznaczonych do wykrywania stanu emocjonalnego osób fizycznych w sytuacjach związanych z miejscem pracy i edukacją”.

Z kolei w Załączniku III w pkt 1 wskazane są jako systemy wysokiego ryzyka „systemy AI przeznaczone do wykorzystania przy rozpoznawaniu emocji”.

Mamy zatem 4 różne pojęcia, które zdają się opisywać to samo:

• system AI do wyciągania wniosków na temat emocji osoby fizycznej,
• system AI służący do identyfikacji lub wywnioskowania emocji lub zamiarów osób fizycznych,
• system AI przeznaczony do wykrywania stanu emocjonalnego osób fizycznych,
• system AI przeznaczony do wykorzystania przy rozpoznawaniu emocji.

W naszej ocenie nie powinniśmy przypisywać specjalnego znaczenia stosowaniu różnej terminologii. Użycie różnych określeń raczej nie było zamierzone, lecz wynikało z szybkiego tempa, w którym przygotowywano ostateczną wersję przepisów rozporządzenia. Wszystkie wyżej podane pojęcia należy zatem rozumieć jako systemy rozpoznawania emocji.

Jeśli „system do wyciągania wniosków na temat emocji” to tak naprawdę „system rozpoznawania emocji”, to jakie systemy będą podlegać zakazowi wykorzystania?

Definicja systemu rozpoznawania emocji składa się z trzech elementów:

1. jest to system AI służący do celów identyfikacji lub wnioskowania,
2. identyfikacja lub wnioskowanie ma dotyczyć emocji lub zamiarów (intencji) osób fizycznych,
3. identyfikacja lub wnioskowanie ma następować na podstawie danych biometrycznych tych osób.

Czym są emocje w ramach AI Act?

Motyw 18 preambuły wskazuje, że emocjami są:

„radość, smutek, złość, zdziwienie, obrzydzenie, zakłopotanie, podekscytowanie, wstyd, pogarda, satysfakcja i rozbawienie.”

Ten sam punkt wskazuje jednak, że emocjami nie są stany fizyczne, takie jak ból lub zmęczenie.

Emocjami nie są także łatwe do zauważenia formy wyrazu, gestów lub ruchów, takie jak:

• podstawowe rodzaje wyrazu twarzy, takiej jak grymas lub uśmiech,
• gesty, takie jak ruch rąk, ramion lub głowy,
• cechy głosu danej osoby, takie jak podniesiony ton lub szept,

chyba, że wykorzystuje się takie formy wyrazu lub gestów do identyfikacji lub wnioskowania na temat emocji.

Zauważmy, że określenie sentymentu może mieć różny charakter. Może być zarówno zniuansowanym opisem różnych predefiniowanych emocji wykrytych w danej treści, jak i wskazaniem swoistego sumarycznego podsumowania stosunku emocjonalnego autora treści bez wskazywania konkretnych emocji (np. wg skali pozytywny, neutralny, negatywny). Od możliwości zastosowanego systemu zależeć będzie zatem także jego ocena pod kątem statusu jako systemu potencjalnie zakazanego.

Co to są dane biometryczne?

Kolejnym elementem definicji systemu rozpoznawania emocji jest „identyfikacja lub wnioskowanie o emocjach na podstawie danych biometrycznych”.

Pojęcie danych biometrycznych ma swoją definicję w AI Act:

Art. 3 pkt 34

„dane biometryczne” oznaczają dane osobowe będące wynikiem specjalnego przetwarzania technicznego, które dotyczą cech fizycznych, fizjologicznych lub behawioralnych osoby fizycznej, takich jak wizerunek twarzy lub dane daktyloskopijne;

Oznacza to, że identyfikacja lub wnioskowanie o emocjach w oparciu o dane nie-biometryczne (np. analizę wyłącznie tekstu) nie wchodzi w zakres tego pojęcia, jednak analiza w oparciu o np. wzorzec pisania na klawiaturze, pisma odręcznego lub w oparciu o analizę głosu już tak.

Podsumowanie

W ramach tego newslettera tylko sygnalizujemy tematykę związaną z klasyfikacją systemów AI do oceny sentymentu na tle przepisów o zakazie stosowania systemów AI do rozpoznawania emocji. Każdy taki system trzeba poddać uważnej analizie pod kątem spełnienia wszystkich przesłanek z AI Act.

Warto wspomnieć, że nie mamy jeszcze wytycznych dotyczących sposobu rozumienia wielu opisanych powyżej pojęć. Zgodnie z art. 96 AI Act Komisja Europejska powinna opracować wytyczne dotyczące praktycznego wdrażania rozporządzenia, a w szczególności zakazanych praktyk, o których mowa w art. 5. Mają one być dostępne jeszcze przed wejściem w życie zakazu.

Tym niemniej już teraz zwracamy uwagę firmom, które wykorzystują systemy AI do analizy sentymentu, że od 2 lutego 2025 r. takie systemy mogą być uznane za „systemy do wyciągania wniosków na temat emocji osoby fizycznej w miejscu pracy” i w związku z tym stanowić praktykę zakazaną.

Jeśli uważają Państwo, że wykorzystywane w Państwa organizacji systemy sztucznej inteligencji mogą zostać uznane za systemy, których stosowanie stanowi zakazaną praktykę, zapraszamy do kontaktu.