Niedługo po tym, jak kolejny etap unijnego AI Act wszedł w życie, Anthropic rozgrzał internet do czerwoności zapowiedzią umieszczania w swojej treści znaków wodnych. W tym artykule przyjrzymy się technicznej stronie propozycji Anthropic, tym, jak watermarking AI będzie działać w praktyce i pokrótce omówimy, jak to wpłynie na treści generowane przez AI i współtworzone z wykorzystaniem modeli językowych.

Jak działają LLM-y?

Sposób przygotowania odpowiedzi przez model LLM przypomina pewną kaskadę – zbiór obliczeń, działających w zdefiniowanym przez kontekst zapytania kierunku. To rzeczywistość matematyczna, w której ważną rolę grają tokeny, na podstawie których LLM przypisuje w danym miejscu w tekście dane słowo. My w odpowiedzi widzimy tylko ten token, który został wybrany, ale w trakcie procesu tworzenia odpowiedzi pojawia się ich gigantyczna liczba.

Kiedy model zaczyna przygotowywać odpowiedź, przygląda się swojemu zasobowi słownictwa i przypisuje danym wyrażeniom wartość, która nazywa się logit. Logit to stan pośredni: liczba rzeczywista, surowy wynik, który model generuje przed przekształceniem go w prawdopodobieństwo. Model tworzy w ten sposób pewien ranking, który pozwala mu na ocenę, czy dana fraza pasuje do danego kontekstu. Ranking ten urzeczywistnia dopiero na kolejnym etapie, kiedy, posługując się pewną funkcją, przelicza logity na prawdopodobieństwo. Dopiero mając prawdopodobieństwo, LLM decyduje się na wybór tokenu, który pojawi się w tekście, odkodowuje ten token i umieszcza w swojej odpowiedzi przypisane do niego słowo.

Reasumując:
LLM na bazie swojego zasobu słownictwa przypisuje do fraz (tokenów) logit, czyli wstępną ocenę dopasowania do kontekstu, później na tej podstawie oblicza prawdopodobieństwo dla każdego z tych logitów, a następnie wybiera z nich jedno wyrażenie (jeden token), które dekoduje i umieszcza w odpowiedzi.

W jaki sposób działa znakowanie treści?

Claude wykorzystuje sposób znakowania treści, który korzysta właśnie z tej “ekonomii” logitów. Kiedy istnieje możliwość wyboru (a stawka jest niska, tj. słowo ma wiele synonimów i nie gra kluczowej roli w kontekście zdania, tak jak np. mogłoby to być w przypadku nazwiska lub nazwy miasta, firmy), model decyduje się na dekodowanie logitów według pewnego klucza. Klucz ten jest powiązany bezpośrednio ze słowami, które następują przed znakowaną frazą.

Później możliwe jest odtworzenie tego procesu – porównanie, czy wygenerowane słowa odpowiadają tym, które model przypisałby (prawdopodobnie) danym tokenom zgodnie z kluczem. W ten sposób watermark “podróżuje” z tekstem – można go zidentyfikować gdziekolwiek się pojawi.

Uwaga: wygląda na to, że watermarking będzie stosowany również przez inne podmioty dostarczające LLM-y. Anthropic przyznaje, że korzystają z metody znakowania treści wymyślonej na potrzeby case study wykonanego na potrzeby sztucznej inteligencji firmy Google.

Czy teksty generowane w AI stracą na jakości?

Wiemy już, jak wygląda generowanie tekstu przez LLM i jak wygląda mechanizm ich oznaczania. Warto podkreślić, że nałożenie watermarku wpływa na sposób wyłaniania potencjalnych słów do wykorzystania w tekście (ale według Anthropic nie ogranicza puli spośród których są wybierane). Wiele osób w związku z tym zakłada, że spadnie jakość generowanych przez model treści. Nie musi to być prawda. Należy zwrócić tu uwagę na bardzo ważną kwestię – już teraz modele nie generują w ramach swojej odpowiedzi “najlepszej”, czy nawet “najbardziej” optymalnej odpowiedzi. W praktyce prowadziłoby to do sytuacji, w której output wynikający z takiego samego zapytania byłby zawsze niemal identyczny. Obecnie modele “starają się” w taki sposób konfigurować swoje wypowiedzi, by celować w wartości względnie blisko wysoce prawdopodobnych logitów, a nie te najbardziej optymalne. Dzięki temu treść jest zróżnicowana, nawet jeśli wielokrotnie zadamy to samo pytanie temu samemu modelowi.

Zresztą, jest to bezpośrednio związane z halucynacjami AI – czasem wylosowanie jednego słowa poza kontekstem (tj. logitu o niskim przypisanym prawdopodobieństwie) potrafi zmienić sens całej odpowiedzi i sprawić, że stanie się ona serią wiarygodnych bredni. Tu ponownie wkracza matematyczna kaskada – logity generowane po tym wadliwym będą traktowały go jako punkt odniesienia.

Wracając jednak do sedna – nic w tej chwili nie wskazuje na to, by znakowanie tekstu miało znaczący wpływ na jego jakość. Przynajmniej nie w kontekście tego, jak ocenia go odbiorca. Anthropic zresztą potwierdza, że w swoich testach nie zaobserwowano wpływu znaku wodnego na treść, poziom kreatywności i logikę odpowiedzi.

Czy AI “przywłaszczy” sobie autorskie treści?

To, czy AI będzie w stanie umieścić sygnaturę w danym tekście, będzie zależało przede wszystkim od jego struktury i tego, jak intensywnej obróbce zostanie poddany. Ważna będzie również długość treści – w przypadku tekstu generowanego przez LLM-y mówimy tu o odpowiedziach dłuższych niż 1k zzs / 150 słów / 200 tokenów. Kluczową rolę odegra tu więc to, jak skonfigurowany zostanie prompt korektorski i jakie będą dane wejściowe. By to zobrazować, weźmy pod uwagę dwa potencjalne prompty korekcyjne:

A) Dokonaj korekty tekstu. Napraw błędy interpunkcyjne, gramatyczne, ortograficzne i stylistyczne.

B) Wylistuj błędy interpunkcyjne, gramatyczne, ortograficzne i rażące błędy stylistyczne. Odrzuć z listy błędów te, które mogą być związane ze stylem autora lub metaforami, którymi się posługuje. Następnie pozostałe sugestie zaaplikuj w tekście. Niech ta korekta dotyczy tylko i wyłącznie ustalonych punktów z listy i nie zmienia treści zdań, które nie wymagają zmiany.

Wykorzystanie promptu “B” zdecydowanie zmniejsza szansę na to, że AI będzie w stanie umieścić swój watermark w tekście. Im mniej dowolności (i w tym wypadku im lepszy tekst wejściowy), tym skuteczność narzędzi do oceny tego, czy tekst powstał z wykorzystaniem AI będzie niższa.

Wiele osób zwraca uwagę, że AI “przywłaszczy” sobie treści, które powstaną na kanwie pomysłów, notatek lub surowej treści osoby, która podda je edycji za pomocą LLM-a. Wiele wskazuje na to, że istotnie takie treści będą zawierały watermarki. Być może czas więc wrócić do “staroszkolnych” rozwiązań, jeśli przejrzystość względem wykorzystania narzędzi AI budzi u kogoś obawę.

Jak omijać watermarki AI przy korekcie tekstu?

Po pierwsze – zachęcam, by jednak znaków wodnych wygenerowanych przez AI nie omijać. Klient/odbiorca ma prawo wiedzieć, że dana treść powstała za pośrednictwem AI – może to wpłynąć na ocenę danej pracy, jej wycenę, a także kwestię ryzyka – np. halucynacji, błędów merytorycznych i kwestii prawnych, tj. wymogu oznaczenia treści stworzonych przez sztuczną inteligencję (z którego zresztą wynika obecna polityka Anthropic).

Z drugiej strony, jeśli AI jest wykorzystana czysto pomocniczo, np. jako korekta, można wykorzystać ją na podobnej zasadzie jak we wcześniej przywołanym prompcie – poprosić model o wypisanie błędów i samodzielnie wprowadzić poprawki do tekstu. W obawie przed niesłusznym oznakowaniem treści warto jednocześnie posługiwać się promptami, które nie pozostawią AI wystarczająco szerokiego pola do manewru, by do edycji treści zgodnie z kluczem nakładającym oznaczenie doszło.

Oczywiście, humanizacja tekstu, wprowadzenie synonimów, przebudowa zdań i struktury – to wszystko również może wpłynąć na czułość narzędzi do wykrywania wykorzystania AI, ale jest czasochłonne i w praktyce wielu doświadczonych twórców treści będzie w stanie szybciej przygotować taki tekst od zera. Anthropic stwierdza ponadto, że “drobna edycja prawdopodobnie nie usunie całkowicie znaku wodnego”. Więcej informacji poznamy, gdy firma udostępni narzędzia do identyfikacji znaku wodnego.

Źródła: Anthropic, Machine Learning Mastery, Search Engine Journal

Uwaga: opisywane tu wnioski dotyczą szybko zmieniającej się rzeczywistości prawnej w związku z implementacją nowych regulacji w kwestii oznaczania treści stworzonych za pomocą AI (znanych jako AI Act). Brak dostępu do narzędzi dekodujących watermarki uniemożliwia przetestowanie ich założeń w praktyce. Jednocześnie w tekście występują uproszczenia, które mają na celu skuteczne i przystępne opisanie mechanik modeli LLM bez wzorów, twardej matematyki i powoływania się na skomplikowane i techniczne prace naukowe.