Jak sztuczną inteligencję uczy się moralności?

Sztuczna inteligencja staje się nieodłącznym elementem naszego codziennego życia, stąd kwestie dotyczące moralności w kontekście uczenia maszynowego nabierają coraz większego znaczenia. Wraz z postępem technologicznym pojawiają się pytania dotyczące tego, jak programować sztuczną inteligencję, aby nauczyła się zasad moralnych.

ChatGPT OpenAI, Bard Google’a, Aria w przeglądarce Opery itp. to sieci neuronowe, z których korzystamy coraz częściej, by zdobyć informacje lub uzyskać porady, podpowiedzi, a nawet wręcz instrukcje działania w bardzo różnorodnych obszarach. Czy sztuczna inteligencja (ang. artificial intelligence – AI) nadaje się także do doradzania w przypadku dylematów moralnych? Czy maszyny, w których takie sieci neuronowe odpowiadałyby za ich funkcjonowanie, byłyby dla nas bezpieczne w tym sensie, że podejmowałyby zawsze działanie odpowiadające temu, co my, ludzie, uważamy za moralne? Czy można nauczyć roboty przestrzegania kodeksu moralnego?

Rozpowszechnienie się obecnie dostępu do systemów opartych na AI oraz potencjalne przyszłe zastosowania takich systemów wiążą się z realnym problemem moralności ich decyzji i działań. Poniżej przyjrzymy się temu, jak w tekście pt. How Robots Can Learn to Follow a Moral Code [Jak roboty mogą nauczyć się przestrzegać kodeksu moralnego] opublikowanym niedawno w prestiżowym czasopiśmie „Nature” amerykański dziennikarz naukowy Neil Savage analizuje kwestię uczenia AI moralności1Patrz Neil Savage, How Robots Can Learn to Follow a Moral Code, „Nature” 2023, October 26, https://www.nature.com/articles/d41586-023-03258-1 [dostęp 20.... Wskażemy przy tym na pewne filozoficzno-teologiczne problemy, jakie wiążą się z kodowaniem zasad moralnych w systemach, takich jak ChatGPT i podobnych.

AI już doradza w kwestiach moralnych. Możesz zapytać AI Jezusa!

Co jakiś czas Internet obiegają sensacyjne informacje o wykorzystywaniu AI w różnych dziedzinach życia, także w sferze religijnej. Możemy na przykład przeczytać, że w „niemieckim miasteczku Fuerth ponad 300 protestantów zasiadło na nabożeństwie, które niemal w całości zostało zaplanowane i przeprowadzone przez sztuczną inteligencję – ChatGPT”2Marta Borkowska, Czy chatbot potrafi skutecznie zastąpić księdza? Niemieckie doświadczenia z AI w kościele, https://oiot.pl/eksperyment-ze-sztuczna-inteligencja-w-kosciele/ [dostęp 20 XI 2023]., jak również znaleźć sugestie, że „najnowsze technologie oparte na sztucznej inteligencji mogą zastąpić spowiedź”3https://demotywatory.pl/5189208/Najnowsze-technologie-oparte-na-sztucznej-inteligencji-moga [dostęp 20 XI 2023].. Jeśli zaś kogoś dręczą jakieś dylematy moralne, może o radę poprosić AI Jezusa. AI Jezus to chatbot dostępny na platformie do strumieniowego przesyłania gier Twitch4Patrz np. Marta Borkowska, Cyfrowy Mesjasz na Twitchu? Poznaj AI-Jezusa, https://oiot.pl/ai-jesus-na-twitchu/ [dostęp 20 XI 2023].. Oparty jest na GPT-4 oraz generatorze głosu AI PlayHT. Choć użytkownicy często starają się skłonić AI Jezusa, by powiedział coś niestosownego lub głupiego, to – jak zauważa Savage – „AI Jezus pozostaje zdecydowanie pozytywny, dziękując użytkownikom za wkład w dyskusję i wzywając ich do współczucia i zrozumienia”5Savage, How Robots Can Learn to Follow a Moral Code.. Savage zwraca uwagę, że gdy jeden z użytkowników „zadał pytanie o charakterze seksualnym na temat cech fizycznych postaci biblijnej”, to choć niektóre chatboty mogłyby przejść do porządku dziennego nad kwestią uprzedmiotowienia osoby lub nawet wzmocnić takie podejście, to „AI Jezus zamiast tego starał się nakierować pytającego na bardziej etyczne zachowanie, mówiąc, że ważne jest, aby skupić się na charakterze osoby i jej wkładzie w rozwój ludzkości, a nie na cechach fizycznych”6Savage, How Robots Can Learn to Follow a Moral Code..

Sposób reakcji AI Jezusa może robić wrażenie odpowiedzi wynikającej z wrażliwości moralnej. A jednak AI Jezus jest tylko szczególnym sposobem zastosowania tzw. generatywnego dużego modelu językowego (ang. generative large language model –GLLM), który jest odmianą dużego modelu językowego (LLM), jakim jest GPT-4. Jak mówi Savage, „Nikt nie twierdzi, że system jest prawdziwym źródłem przewodnictwa duchowego, ale pomysł zaszczepienia sztucznej inteligencji w poczuciu moralności nie jest tak naciągany, jak mogłoby się początkowo wydawać”[7]. „Umoralnienie” sztucznej inteligencji jest już rozpoznanym problemem, a zajmujący się nim informatycy korzystają z osiągnięć lub koncepcji pojawiających się w różnych dziedzinach i wskazują na różne szczegółowe podproblemy:

Wielu informatyków bada, czy można nauczyć systemy autonomiczne dokonywania wyborów etycznych lub promowania zachowań zgodnych z wartościami ludzkimi. Czy na przykład robotowi zapewniającemu opiekę można ufać, że będzie dokonywał wyborów w najlepszym interesie swoich podopiecznych? A może można polegać na algorytmie w celu opracowania najbardziej odpowiedniego z etycznego punktu widzenia sposobu dystrybucji ograniczonej liczby narządów do przeszczepów? Czerpiąc ze spostrzeżeń z nauk kognitywnych, psychologii i filozofii moralności, informatycy zaczynają opracowywać narzędzia, które mogą nie tylko sprawić, że systemy sztucznej inteligencji będą zachowywać się w określony sposób, ale być może także pomogą społeczeństwom w określeniu, jak powinna działać etyczna maszyna7Przypis.

Jak działają ChatGPT i jemu podobne i jak uczy się je moralności?

LLM stojące za ChatGPT OpenAI lub Bard firmy Google to sieci neuronowe zasilane miliardami zdań. Na ich podstawie LLM poznają statystyczne powiązań między słowami. Gdy na żądanie użytkownika generują tekst, to polega to na tym, że przewidują najbardziej statystycznie wiarygodne słowo, które nastąpi po słowach je poprzedzających. W ten sposób powstają składnie i sensownie brzmiące zdania. Źródłem danych są zbiory publicznie dostępnych tekstów, takich jak Wikipedia, bazy danych, książki i materiały z Internetu znane jako zbiór danych Common Crawl.

W czasie szkolenia dane dobiera się tak, aby uniknąć nadmiernie nieodpowiednich treści, modele mimo to uwzględniają błędy systematyczne. Już na etapie udostępniania danych konieczna jest kontrola, bo, jak wskazuje Savage, pierwsze chatboty pozostawione samym sobie produkowały teksty pełne mowy nienawiści. Szkolenie wymaga więc takiej kontroli, która pozwoli uniknąć tego typu problemów. Ta kontrola twórców LLM polega na zastosowaniu którejś z kilku strategii lub taktyk.

Nadzorowane dostrajanie

Jedną z taktyk jest nadzorowane dostrajanie. Polega ona na tym, że „Niewielka liczba osób wybiera niektóre pytania zadane chatbotowi przez użytkowników i zapisuje odpowiedzi, które uważa za odpowiednie, a następnie model jest ponownie szkolony z wykorzystaniem tych odpowiedzi”8Savage, How Robots Can Learn to Follow a Moral Code.. Szkolenie polega więc na tym, że za właściwe przyjmuje się te odpowiedzi, które za takie uznała pewna niewielka grupa ludzi. W ramach tej taktyki samo pytanie rozpoznaje się już jako mogące promować nienawiść lub przemoc. LLM może być wtedy uczony przez osoby nadzorujące, by na przykład reagować stwierdzeniem: „Nie mogę odpowiedzieć na to pytanie”.

Modele wtórne i lewicowy ChatGPT

Przytaczany przez Savage’a Soroush Vosoughi (informatyk prowadzący grupę Minds, Machines, and Society na Dartmouth College w Hanover, New Hampshire) wykorzystał do kierowania LLM tzw. modele wtórne. Były to modele pomocnicze zdań, które mogą zmniejszać stopień dyskryminacji określonej grupy. W zdaniach tych przykładowo zamiast wyrażenia „nielegalny cudzoziemiec” można zastosować termin „nieudokumentowany imigrant”. W kolejnym kroku zmienia się wagę statystyczną słów w LLM, tak aby zwiększyć prawdopodobieństwo wygenerowania terminów pożądanych.

Również cytowany przez Savage’a Oren Etzioni (doradca w Allen Institute for AI w Seattle, w stanie Waszyngton) twierdzi, że ten rodzaj dostrajania LLM jest stosunkowo łatwy: „Ktoś o przeciętnych umiejętnościach technicznych i dysponujący rozsądnym budżetem może stworzyć model w dużym stopniu odpowiadający jego wartościom”9Savage, How Robots Can Learn to Follow a Moral Code..

Informatyk David Rozado (Otago Polytechnic w Dunedin w Nowej Zelandii) zademonstrował łatwość takiego dopasowania, dokonując operacji, której koszt wyniósł mniej niż 300 USD. Jak pisze Savage, Rozado „uważa, że ChatGPT ma lewicowe nastawienie polityczne, więc dostroił LLM z rodziny GPT-3, aby stworzyć RightWingGPT, chatbota o przeciwnych nastawieniach”. W jego zamierzeniu projekt miał, jak pisze Savage, „stanowić ostrzeżenie przed niebezpieczeństwami związanymi z politycznie zorientowanym systemem sztucznej inteligencji”10Savage, How Robots Can Learn to Follow a Moral Code..

Uczenie przez wzmacnianie

OpenAI wykorzystuje do bardziej wyrafinowanych szkoleń uczenie się przez wzmacnianie na podstawie informacji zwrotnej od ludzi (ang. reinforcement learning from human feedback – RLHF). Uczenie to polega na systemie nagród mających zachęcać do pożądanego zachowania:

Mówiąc prosto, każda akcja otrzymuje numeryczną ocenę, a komputer jest zaprogramowany, aby maksymalizować swoje wyniki. Vosoughi porównuje to do przyjemności wywoływanej przez dopaminę, którą mózg otrzymuje w odpowiedzi na niektóre działania; jeśli coś sprawia przyjemność, większość istot będzie to robić ponownie. W RLHF recenzenci ludzcy dostarczają przykładów preferowanego zachowania […] a system wykorzystuje te przykłady do wyprowadzenia matematycznej funkcji obliczającej ścieżkę do nagrody w przyszłości11Savage, How Robots Can Learn to Follow a Moral Code..

Vosoughi odwołuje się jednak do tego, że przyswojenie norm społecznych odbywa się w jakiejś części w wyniku interakcji społecznych. Pozytywna reakcja innych ludzi stanowi pożądaną informację zwrotną i ludzie tak modyfikują swoje zachowania, aby taką reakcję u innych wywołać. Dlatego jego zdaniem po wykorzystaniu istniejących metod szkolenia chatbotów należy następnie „wysłać je w świat”, to znaczy pozwolić na to, aby wchodziły w interakcję z innymi chatbotami i uczyły je, jak się zachować. Byłoby to coś w rodzaju „wirtualnej presji rówieśników” nakłaniającej innych do stosowania przyjętych zasad etyki.

Wycinanie neuronów w sztucznych sieciach neuronowych

Vosoughi bada również technikę etycznego modelowania, która jest czymś w rodzaju „operacji mózgu na sieciach neuronowych”. Dokonując operacji mózgu, można wyciąć części odpowiedzialne za niepożądane zachowanie. Przytoczmy opis tej procedury z komentarzem badacza:

Głębokie sieci neuronowe działają na zasadzie pobierania danych wejściowych reprezentowanych przez liczby i przepuszczania ich przez szereg sztucznych neuronów. Każdy neuron ma wagę – małą funkcję matematyczną, którą wykonuje na danych przed przekazaniem wyniku do następnej warstwy neuronów. Podczas treningu niektóre neurony optymalizują się pod kątem rozpoznawania określonych cech danych. Na przykład w systemie rozpoznawania twarzy niektóre neurony mogą po prostu znaleźć linię wskazującą krawędź nosa. Następna warstwa może zbudować z nich trójkąty przedstawiające nos i tak dalej, aż odtworzą obraz twarzy. Czasami wykryte wzorce mogą być niepożądane. Na przykład w systemie używanym do sprawdzania podań o pracę niektóre neurony mogą nauczyć się rozpoznawać prawdopodobną płeć osoby ubiegającej się o pracę na podstawie jej imienia i nazwiska. Aby zapobiec wystawianiu przez system rekomendacji dotyczących zatrudnienia na podstawie tej cechy – co jest nielegalne w wielu krajach – Vosoughi sugeruje, że wagę odpowiedzialnego neuronu można ustawić na zero, co właściwie usuwa ją z równania. „To w zasadzie lobotomia modelu – mówi Vosoughi – ale robimy to z chirurgiczną precyzją, więc spadek wydajności jest bardzo minimalny”. Chociaż w swojej pracy skupił się na modelach językowych, to samo podejście można zastosować do każdej sztucznej inteligencji opartej na sieci neuronowej12Savage, How Robots Can Learn to Follow a Moral Code..

Informatyk odpowiedzialny za działanie danej sieci neuronowej może więc tak dobierać wagi dla poszczególnych sztucznych neuronów, aby wzmacniać lub osłabiać określone reakcje. System może stać się w ten sposób na przykład obojętny na płeć osoby starającej się o pracę. Równie dobrze jednak może być nieobojętny na dowolne dane, jakie uzyska o określonej osobie. Wszystko w rękach informatyka-chirurga, który dobiera wartości wag w sztucznych neuronach tworzących sieć neuronalną i model językowy.

Skąd obecnie AI „wie”, co jest moralne? I co pomijają projektanci AI?

AI jest uczona takiej moralności, jakiej chcą jej projektanci. Pierwsze chatboty pozostawione bez kontroli produkowały wypowiedzi pełne tego, co ich twórcy uznali za mowę nienawiści i nawoływanie do przemocy. By ukrócić takie reakcje i „wychować” moralną AI, stosuje się różne techniki. Powstałe twory okazują się jednak mieć określone preferencje polityczno-moralne, jak wspominany lewicowy – twierdzi Vosoughi – Chat-GPT. Jako ludzie jesteśmy więc w stanie stworzyć AI o moralności, jaką chcemy.

Osoby znające filozoficzną regułę, że z twierdzeń o faktach nie wynikają twierdzenia o powinnościach, nie powinny być zaskoczone tym, że obserwacja zachowań ludzi nie nadaje się za bardzo do określenia tego, jak należy się zachowywać. Ci, którzy na podstawie zachowań ludzi chcą wyprowadzić twierdzenia o tym, co jest moralne, popełniają tzw. błąd naturalistyczny. Tak samo mógłby ktoś próbować domyślać się, jakie są przepisy ruchu drogowego, opierając się na obserwacji tego, jak rzeczywiście zachowują się kierowcy (i piesi). Oczywiście na podstawie takiej obserwacji i po zastosowaniu dostrzeżonych zachowań w swoim postępowaniu może okazać się, że jakoś radzimy sobie na drodze, że nie stwarzamy od razu chaosu w ruchu drogowym, ale wciąż nie oznacza to, że jeździmy zgodnie z przepisami. (A zapewne w którymś momencie nasze nieprzestrzeganie przepisów w sposób, w jaki i inni ich nie przestrzegają, doprowadzi do tej czy innej niepożądanej sytuacji drogowej).

A gdybyśmy nasze wnioski moralne mieli wyprowadzać na podstawie obserwacji stosunku Niemców do Żydów lub do Polaków w czasie II wojny światowej, to jaką moralność moglibyśmy opracować na podstawie obserwowanych faktów? Czy powiedzielibyśmy, że to była prawdziwa moralność, oparta na prawdziwym prawie moralnym?

Jeśli słuszność mają praktycznie wszystkie największe religie świata, to prawo moralne nie jest czymś, co możemy poznać w wyniku obserwacji zachowań ludzi, ani czymś, co możemy ustalić w wyniku głosowania. W sekcji Uniwersalność prawa moralnego przytaczamy podane przez Clive’a S. Lewisa przykłady uniwersalnych zasad moralnych mających wskazywać na obiektywność prawa moralnego. Pochodzą one z różnorodnych źródeł, różnorodnych kultur, epok i nie stanowią wyrazu tego, jak ludzie się rzeczywiście zachowują, ale wskazują, jak powinni się zachowywać. Na podstawie streszczonego tu artykułu Savage’a widać, że idea obiektywności prawa moralnego nie jest brana pod uwagę przez projektantów AI. Jest to bardzo ciekawe pominięcie o potencjalnie bardzo brzemiennych skutkach, przed którymi ostrzegał Lewis, gdy pisał o „projektantach” odrzucających ideę obiektywnego prawa moralnego: „ludzie formujący człowieka nowego wieku będą zbrojni w uprawnienia wszechmocnego państwa i w potężne naukowe techniki: doczekamy się wreszcie rasy projektantów, którzy naprawdę będą potrafili przykroić całą potomność, jak tylko im się spodoba”13Clive S. Lewis, Koniec człowieczeństwa, tłum. M. Sobolewska, Wydawnictwo Esprit, Kraków 2013, s. 74.. Lewis przyjmował bowiem, że jeśli nauczyciele moralności odrzucą ideę obiektywnego prawa moralnego, to nie tak, iż nie będą promować żadnej moralności, owszem – będą promować taką moralność, jaka tylko im się spodoba.