Meta w Mjanmie, część III: Od środka

Panie kongresmenie, postrzegam naszą odpowiedzialność nie tylko jako budowanie serwisów, których ludzie lubią używać, ale też zapewnienie, że te serwisy są dobre dla ludzi i dobre dla całego społeczeństwa. — Mark Zuckerberg, 2018 r.

W poprzednich dwóch częściach tej serii przedstawiłam długą ale brawurową wczesną historię firmy Meta i internetu w Mjanmie, jak również pełną nienawiści dehumanizującą retorykę, która przyszła wraz z nimi. Następnie omówiłam, czego jako zewnętrzni obserwatorzy mogliśmy dowiedzieć się na temat roli Mety w ludobójstwie ludu Rohingja w latach 2016-2017.

W tym artykule przyjrzymy się, co informacje od dwóch sygnalistek i kluczowe śledztwo dziennikarskie ujawniają nam na temat tego, co w tamtym czasie działo się wewnątrz Mety. Ujawnione informacje:

• dają nam ilościowy pogląd na wydajność moderacji treści w Mecie. A to z kolei rzuca światło na pewien zwodniczy zabieg PR-owy, który Meta wykorzystuje w rozmowach na temat moderacji;
• wyjaśniają, co Meta wiedziała na temat efektów algorytmicznych systemów rekomendacji;
• a także rzucają światło na pasożytnicze przejęcie Facebooka przez tajne kampanie wpływowe na całym świecie, również w Mjanmie.

Jednak zanim się tym zajmiemy, drobna uwaga. Niewiele rzeczy na świecie sprawia mi mniej przyjemności niż bycie „zapalonym spiskowcem”. Ten rodzaj retoryki zaciemnia rzeczywistość dokładnie wtedy, kiedy ludzie najbardziej potrzebują przejrzystości oraz generuje napięcie emocjonalne, które utrudnia efektywne podejmowanie decyzji. Naprawdę, nie cierpię tego. Mnóstwo nerwów kosztowało mnie przepracowanie tak wielkiej ilości informacji (zazwyczaj dostępnych publicznie) i sformułowanie wniosków, które mogłyby spokojnie trafiać na fora dla maniaków teorii spiskowych.

Nie mam pojęcia, jak do tego podejść, może poza byciem szczerą, ale nie rozhisteryzowaną i traktowaniem układów hormonalnych osób czytających z szacunkiem poprzez unikanie zbędnego koloryzowania. Ta historia jest niestety mroczna i wielu ludzi czyni w niej mnóstwo zła (możesz przeczytać mój meta-artykuł na temat terminologii i źródeł, jeśli interesuje Cię moje rozczulanie się nad drobiazgami).

Ostrzeżenia o zawartości dla tego artykułu: Cała seria opowiada o ludobójstwie i mowie nienawiści. Nie ma drastycznych opisów ani zdjęć, a niniejszy artykuł nie zawiera obraźliwego słownictwa ani konkretnych przykładów, ale nie wiem, czy to cokolwiek zmienia. W okolicach 40% artykułu znajduje się dość nieprzyjemne zdjęcie pająka.

Ujawnienia

Kiedy w 2021 roku Frances Haugen – była menedżerka produktu w zespole Integralności Obywatelskiej w firmie Meta – przekazała pokaźną porcję wewnętrznej dokumentacji Mety amerykańskiej Komisji Papierów Wartościowych i Giełd (SEC) oraz kilku organizacjom medialnym, niespecjalnie mnie to interesowało. Byłam zmęczona pandemią i nie sądziłam, że jest tam cokolwiek, czego już bym nie wiedziała. Ależ się myliłam!

Informacje ujawnione przez Frances Haugen mają fundamentalne znaczenie, zwłaszcza jeżeli chcesz dowiedzieć się czegoś więcej niż to, co chcą Ci przekazać amerykańskocentryczne nagłówki w prasie. Haugen powiedziała, że uczyniła to ze względu na wydarzenia poza terenem USA – konkretnie w Mjanmie, ale bolesne echo tych wydarzeń miało również miejsce kilka lat później w Etiopii – oraz żywotne prawdopodobieństwo, że te wydarzenia będą się powtarzać. Zatem naturalnym jest, że ujawnione dokumenty mogą mieć ogromne znaczenie – i tak też w istocie jest.

W zestawie informacji dostarczonych do SEC przez prawników Haugen znajdujemy osiem ujawnionych pakietów dokumentów. Każdy z nich dotyczy jednego konkretnego sposobu, w jaki Meta wprowadzała inwestorów i opinię publiczną w błąd. Każdy pakiet ma formę listu (prawdopodobnie istnieje na to jakiś termin prawny, którego nie znam) oraz ogromnego stosu surowych materiałów. Większość z nich – wewnętrzne wiadomości, notatki, maile, komentarze – nie zostały jeszcze upublicznione, jednak same listy zawierają cytaty, a nawiązujące do nich relacje prasowe oraz kopie materiałów odsłaniają jeszcze więcej. Kiedy cytuję ujawnione informacje, wskazuję miejsca, gdzie możesz przeczytać największą porcję tekstu źródłowego. Czasem dysponujemy tylko krótkimi wycinkami, a czasem mamy do wglądu całą, choć zredagowaną treść dokumentu.

Zanim przejdziemy dalej, pragnę uczciwie zaznaczyć, że zostały ujawnione tylko te informacje, które zaprzeczają publicznym wypowiedziom Mety – w przeciwnym razie nie byłoby potrzeby ich ujawniać. A ponieważ dysponujemy tylko fragmentami, brakuje nam szerszego kontekstu, a w szczególności ścierających się ze sobą punktów widzenia. Nie chcę stawiać luźnych tez na podstawie niedorzecznych wypowiedzi jednej czy dwóch osób wewnątrz firmy. Dlatego zajmuję się tylko tymi tezami, które znajdują odzwierciedlenie w wielu konkretnych fragmentach.

Zacznijmy od moderacji treści i co ujawnione dokumenty mają do powiedzenia na jej temat.

Ile niebezpiecznych treści jest usuwanych?

Nie mamy pojęcia, ile „kontrowersyjnych treści” znajduje się na Facebooku – ani na Instagramie, Twitterze, czy jakiejkolwiek innej wielkiej platformie. Firmy prowadzące te platformy również nie znają dokładnych liczb, ale dysponują całkiem wiarygodnymi estymacjami. Wiemy o istnieniu tych estymacji, ponieważ tworzenie próbek oraz klasyfikowanie danych z udziałem człowieka jest częścią procesu trenowania sztucznej inteligencji niezbędnej do prowadzenia moderacji treści – czyli usuwania wpisów i komentarzy – na masową skalę. Proces ten pozwala oszacować, jaką część próbek stanowi konkretny problem, któremu się przyglądamy (to dość powszechna wiedza, ale znajduje ona dodatkowe potwierdzenie w jednym z wewnętrznych dokumentów, które cytuję dalej).

Platformy nie udostępniają tych estymacji publicznie, ponieważ nikt ich do tego nie zmusza. A być może również dlatego – jak ujawnione dokumenty pozwalają nam sądzić – że te liczby wyglądają fatalnie. Dlatego też pragnę przyjrzeć się, jak bardzo fatalnie te liczby wyglądają (czy też niedawno wyglądały) na Facebooku. Przy okazji chcę zwrócić uwagę na popularną taktykę, którą Meta wykorzystuje do odwracania uwagi mediów i instytucji rządowych od dramatycznych statystyk. Uważam, że umiejętność dostrzegania jej może być przydatna.

Jeden z listów ujawnionych SEC przez Frances Haugen dotyczy niepowodzeń Facebooka przy moderacji mowy nienawiści. Nosi on znamienny tytuł: W raportach o „przejrzystości” Facebook wprowadzał w błąd inwestorów oraz opinię publiczną poprzez chwalenie się proaktywnym usuwaniem ponad 90% zidentyfikowanej mowy nienawiści, podczas gdy wewnętrzne dokumenty pokazują, że „zaledwie 3-5%” takiej mowy jest faktycznie usuwane.^[1]

Poniżej fragment wewnętrznego dokumentu Mety, z którego pochodzi estymacja „3-5%”:

Usuwamy mniej niż 5% mowy nienawiści zamieszczanej na Facebooku. A i to jest dość optymistyczna liczba – poprzednie, bardziej rygorystyczne iteracje tej estymacji mówiły raczej o 3%, zaś samej V&I (przemoc i namawianie do przemocy) usuwamy jakieś 0.6% (…) Nie udaje nam się usunąć 95% mowy nienawiści naruszającej zasady. ^[2]

Poniżej cytat z innej notatki cytowanej w tym samym liście:

Nie dysponujemy (…) modelem, który wychwytywałby przynajmniej większość naruszeń integralności, zwłaszcza w obszarach zagrożonych. Podejmujemy akcje wobec zaledwie ok. 2% mowy nienawiści na platformie. Najnowsze estymacje wskazują, że dopóki nie nastąpi znacząca zmiana strategii, trudno będzie poprawić ten wynik o więcej niż 10-20% w krótkim i średnim terminie. ^[3]

I jeszcze jedna estymacja z trzeciego ujawnionego dokumentu:

Wygląda na to, że wielu parach język-państwo mamy znikomy wpływ na mowę nienawiści i skrajną nienawiść, prawdopodobnie około 3% (…) Mamy minimalny (jeżeli w ogóle jakiś mamy) wpływ na przemoc.^[4]

Poniżej czwarty cytat, odnoszący się do badań na temat Facebooka w Afganistanie. Zamieszczam go, aby umieścić globalne liczby w kontekście:

Mimo że mowa nienawiści konsekwentnie plasuje się na czele listy najczęstszych nadużyć na rynku afgańskim, liczba podjętych akcji wobec mowy nienawiści jest zatrważająco niska i wynosi 0.23%^[5].

Szczerze? Nie wydaje mi się, by te liczby wymagały komentarza. Zgadzam się z tym, że usuwanie zaledwie ćwierci procenta mowy nienawiści to „zatrważająco niski” wynik, podobnie jak usuwanie 0.6% wpisów zawierających przemoc i nawoływanie do niej. Ba, uważam że nawet 5% usuwanej mowy nienawiści – najwyższa liczba cytowana w dokumentach – to obiektywnie beznadziejny wynik i sądzę, że wielu ludzi spoza branży technologicznej przyzna mi rację. Wyjaśnia to, dlaczego Meta włożyła aż tyle wysiłku w ukrywanie prawdy na temat moderacji treści.

Wróćmy jednak do tamtego listu do SEC z przydługim tytułem. Wskazuje on, że Meta przez długi czas chwaliła się, iż Facebook „proaktywnie” wykrywa pomiędzy 95% (globalnie w roku 2020) a 98% (w Mjanmie w 2021 r.) wszystkich usuwanych wpisów zawierających mowę nienawiści zanim ludzie w ogóle je zobaczą.

Na pierwszy rzut oka to niezły wynik. 95% to całkiem sporo! Ale z ujawnionych materiałów wiemy też, że według wewnętrznych estymacji odsetek usuwanej mowy nienawiści nie przekracza 5%. Co tu jest grane?

Oto co Meta mówi naprawdę: oczywiście, wykrywamy i usuwamy zaledwie szczątkowy ułamek niebezpiecznych i nienawistnych treści na Facebooku, ale z tego szczątkowego ułamka klasyfikatory oparte o AI wykrywają 95-98% treści zanim ludzie je zgłoszą. I tu jest pies pogrzebany.

Czyli tak – najbardziej optymistyczna liczba w ujawnionych notatkach mówi o usuwaniu 5% mowy nienawiści na Facebooku. To oznaczałoby, że na każde 2000 nienawistnych wpisów lub komentarzy Meta usuwa około 100 z nich – spośród nich 95 jest usuwanych automatycznie i 5 po zgłoszeniach od społeczności. Czyli w naszym przykładzie 1900 spośród 2000 wiadomości pozostaje w obiegu. Opierając się o optymistyczny współczynnik 5% usuwanych treści, systemy oparte o AI usunęły… 4.75% mowy nienawiści. I to jest poziom wydajności, którym chwali się Meta.

Nie trzeba wierzyć mi na słowo – Wired opublikował krytyczny artykuł na ten temat w 2021 r. Również Ranking Digital Rights w mocnych słowach wypowiedział się o tym, jak publiczne wypowiedzi Mety mają się do prawdy w ujawnionych dokumentach, włącznie z całą tą arytmetyką dotyczącą moderacji treści.

Meta wykorzystuje tę taktykę bez przerwy.

Gra w trzy kubki

Poniżej Mark Zuckerberg w dniu 10 kwietnia 2018 r., odpowiadając na pytanie przed senackimi komisjami Handlu i Sprawiedliwości. Tłumaczy, że bardzo trudno jest wykryć mowę nienawiści za pomocą automatycznych narzędzi, a następnie przeskakuje do czegoś, co w jego przekonaniu okazało się prawdziwym sukcesem, czyli „propagandy terrorystycznej”, którą to natychmiast trywializuje do postaci „treści związanych z ISIS i Al-Kaidą”. No i jak mu to idzie? Żaden problem:

Porównajmy mowę nienawiści na przykład z wykrywaniem propagandy terrorystycznej, gdzie udało nam się pomyślnie wdrożyć narzędzia oparte o AI. W momencie, kiedy tutaj siedzimy, nasze systemy AI flagują 99% treści związanych z ISIS i Al-Kaidą zanim ktokolwiek je zobaczy. Jest to zatem sukces jeśli chodzi o wykorzystanie AI do proaktywnego moderowania i zapewniania bezpieczeństwa społeczności^[6].

Czyli 99% spośród… nie wiadomo jakiego procentu tych treści jest faktycznie usuwane.

Zuckerberg próbuje powtórzyć ten manewr zaraz następnego dnia, 11 kwietnia, przed komisją Izby Reprezentantów do spraw Energii i Handlu, ale coś mu nie wychodzi:

W niektórych obszarach stajemy się coraz lepsi. Jednym z takich obszarów, o którym mówiłem wcześniej, były na przykład treści związane z terroryzmem, gdzie mamy już systemy AI wykrywające i usuwające 99 procent treści związanych z ISIS i Al-Kaidą zanim ktokolwiek z ludzi nam je zgłosi. Uważam, że powinniśmy robić tego więcej.^[7]

Wersja, którą Zuckerberg wypowiada tutaj, w dniu 11 kwietnia, odpowiada temu, co według większości ludzi Meta ma na myśli kiedy o tym mówi – ale jak już wcześniej ustaliliśmy, to kłamstwo.

Nikt w czasie tych przesłuchań nie próbuje przycisnąć Zuckerberga co do tych liczb. W rezultacie, kiedy Meta powtarza tę zagrywkę w 2020 r. wielu dziennikarzy wpada w pułapkę i powiela nieprawdziwe stwierdzenia na korzyść Mety:

…oprócz systemów AI i ludźmi moderującymi treści Facebook twierdzi, że wykrywa i usuwa 95% treści zawierających nienawiść, zanim ktokolwiek je zobaczy – Fast Company

Około 95 procent mowy nienawiści na Facebooku jest wyłapywanych przez algorytmy, zanim ktokolwiek zdąży je zgłosić – Ars Technica

Facebook podał, że w zeszłym kwartale podjął działania w związku z 22,1 milionami treści zawierających mowę nienawiści na swojej platformie na całym świecie i około 6,5 milionami przypadków mowy nienawiści na Instagramie. Jak twierdzi, na obu platformach około 95% mowy nienawiści zostało aktywnie zidentyfikowane i zatrzymane przez sztuczną inteligencję – Axios

Firma stwierdziła, że obecnie wykrywa i eliminuje około 95% naruszeń związanych z mową nienawiści przy użyciu zautomatyzowanych systemów oprogramowania, zanim użytkownicy je zgłoszą – Bloomberg

To nie jest tylko wprowadzanie w błąd. To jest rozmyślne rozmijanie się z prawdą, jeżeli ma się przed sobą wewnętrzne liczby.

Wałkuję tę kwestię nie dlatego, że chcę pastwić się nad korporacyjną hipokryzją, lecz dlatego, że ten oszukańczy wykręt jest istotny z dwóch powodów. Po pierwsze, stanowi on instruktaż, jak należy interpretować publiczne wypowiedzi Mety. Po drugie, bardzo źle świadczy on o jedynej nadziei Mety na wielkoskalową moderację treści, jaką są klasyfikatory treści oparte o AI.

Poniżej Zuckerberg mówiący to samo przed komisją Kongresu:

Ważną rzeczą, którą należy zrozumieć, jest to, że ogromna ilość treści na Facebooku sprawia, że nie jesteśmy w stanie, choćbyśmy zatrudnili nie wiadomo ile osób, nigdy nie będziemy mieć wystarczająco, żeby przejrzeć wszystkie treści (…) Musimy wykorzystywać i rozwijać zaawansowane narzędzia AI, które pomogą nam oznaczać pewne treści^[8].

Stwierdzenie to jest w pewnym stopniu obłudne, ale jego sedno jest prawdą: skala platform sprawia, że moderacja treści ludzkimi rękami jest niezwykle trudna. Rozsądnie brzmiące wyjaśnienie Mety jest takie, że zmusza to ich do skoncentrowania się na AI. Ale według wewnętrznych estymacji, klasyfikatory treści oparte o AI wykrywają około 4.75% mowy nienawiści na platformie, nierzadko znacznie mniej. Nie ma się czym chwalić, jeżeli to jest najlepsze, co możesz zaprezentować przed Kongresem!

Ta sama wewnętrzna notatka, z której wcześniej dowiedzieliśmy się, że Meta usuwa od 3% do 5% mowy nienawiści, mówi nam też o potencjale klasyfikatorów AI w procesie masowego usuwania treści:

Nasza aktualna metoda, polegająca na pobieraniu setek tysięcy treści, płaceniu ludziom za oznaczanie ich jako Nienawiść lub Brak Nienawiści, a następnie trenowaniu klasyfikatora i używaniu go do automatycznego usuwania treści z precyzją 95% nigdy nie zrobi znaczącej różnicy^[9].

Uruchomienie efektywnej moderacji treści nawet dla ekstremalnych i powszechnie nieakceptowalnych kategorii wypowiedzi jest rzeczywiście bardzo trudne. Chcę, żeby było to jasne w kontekście najistotniejszego punktu mojej wypowiedzi.

Odpowiedzialność za maszynę

Uważam, że jeżeli budujesz maszynę, a następnie rozdajesz ją za darmo wszystkim ludziom na świecie, to ponosisz przynajmniej częściową odpowiedzialność za szkody, które ta maszyna wyrządza.

Ponadto, nawet jeżeli Twoja odpowiedź brzmi „ale bardzo trudno jest uczynić tę maszynę bezpieczniejszą”, to i tak uważam, że nie zwalnia Cię to z odpowiedzialności, a dodatkowo świadczy o Twojej krótkowzroczności i braku doświadczenia w budowaniu maszyn.

Pomijając oczywistą kwestię trudności – uważam, że im większa różnica istnieje między szkodami, które maszyna wyrządza, a tym, czego ludzie mogą oczekiwać od maszyny, która wygląda i działa w taki sposób, tym większa jest Twoja odpowiedzialność. Jeśli wręczysz wszystkim ludziom na świecie po jednym granacie bojowym, to będzie to oczywiście szkodliwe, ale nie będzie też zaskoczenia, gdy obdarowani zranią tym granatem siebie lub innych. Zupełnie co innego, jeżeli oferujesz ludziom uroczego robota-asystenta, którego da się łatwo przerobić na wyrzutnię rakiet. To już moim zdaniem zupełnie inna kategoria.

Zwłaszcza, gdy widzisz, że ludzie używają Twojego robota-asystenta do mordowania tysięcy ludzi, ale postanawiasz nie rozbrajać go, ponieważ po tym zabiegu nie wyglądałby już tak uroczo.

I tu dochodzimy do kwestii algorytmów.

„Główne mechanizmy produktów”

Zrzut ekranu jednego z ujawnionych wewnętrznych dokumentów zatytułowanego „Facebook i odpowiedzialność”.

W drugiej części tej serii cytowałam mieszkańców Mjanmy, którzy próbowali walczyć z przytłaczającą falą wiadomości głoszących nienawiść i nawołujących do przemocy. Dało się zauważyć gołym okiem, że najgorsze i najbardziej niebezpieczne wpisy cieszyły się największym zainteresowaniem.

Dzięki informacjom ujawnionym przez Haugen możemy potwierdzić, że rozumiano to także wewnątrz Mety.

W 2019 roku pracownik Mety napisał notatkę zatytułowaną „Czym są szkody uboczne”. Znalazły się w nim następujące stwierdzenia (wyróżnienia moje):

Mamy dowody z różnych źródeł na to, że mowa nienawiści, kontrowersyjne wypowiedzi polityczne oraz dezinformacja na Facebooku i innych naszych aplikacjach mają wpływ na społeczeństwa na całym świecie. Dysponujemy także przekonującymi dowodami na to, że główne mechanizmy naszych produktów, takie jak wiralowość, rekomendacje i optymalizacja pod kątem zaangażowania w znaczny sposób przyczyniają się do popularności tego rodzaju wypowiedzi na platformie.

Jeśli nasz dział integralności pozostanie neutralny wobec tych problemów, czy to ze względów technicznych, czy filozoficznych, ostatecznym rezultatem będzie to, że Facebook rozumiany jako całość będzie aktywnie (nawet jeśli niekoniecznie świadomie) promować tego typu działania. Mechanizmy naszej platformy nie są neutralne^[10].

Jeśli pracujesz w branży technologicznej lub zdarzyło Ci się śledzić przez lata doniesienia prasowe głównego nurtu na temat Mety, prawdopodobnie już to wiesz, ale myślę, że warto było nawiązać do tego fragmentu wewnętrznej rozmowy.

Oto obszerna analiza z roku 2020 dotycząca konkretnych części platformy, które aktywnie udostępniają użytkownikom Facebooka tzw. „niepowiązane treści” — wiadomości niepochodzące od znajomych lub subskrybowanych grup. Pochodzi ona z wewnętrznego wpisu pt. „Facebook i odpowiedzialność” (podkreślenia moje):

Facebook najaktywniej prezentuje treści użytkownikom na płaszczyznach rekomendacji takich jak „Strony, które mogą Ci się spodobać”, „Grupy, do których warto dołączyć” oraz proponowane filmy w zakładce Watch. To są płaszczyzny, na których Facebook dostarcza niepowiązane treści. Użytkownicy nie wyrażają aktywnej zgody na te doświadczenia poprzez obserwowanie innych profili czy Stron. Zamiast tego Facebook aktywnie prezentuje im te treści…

Tablica to kolejny sposób, w jaki Facebook aktywnie angażuje się w te szkodliwe doświadczenia. Oczywiście użytkownicy odgrywają również aktywną rolę w wyborze treści, z którymi są łączeni poprzez tablicę poprzez wybór osób, które chcą dodać do listy znajomych i obserwować. Jednak to, kiedy i czy użytkownik zobaczy treść, zależy również częściowo od ocen rankingowych przypisywanych przez nasze algorytmy, które to z kolei pozostają pod naszą kontrolą. Zdaniem etyków oznacza to, że Facebook zawsze jest przynajmniej częściowo odpowiedzialny za wszelkie szkodliwe treści na Tablicy.

Nie wynika to z żadnej wady naszego systemu rankingowego. To po prostu nieodłączny element procesu klasyfikacji. Aby ustalić kolejność treści na Tablicy, przypisujemy liczbę punktów wszystkim treściom dostępnym dla użytkownika, a następnie prezentujemy najpierw treści o najwyższej liczbie punktów. Większość punktów dla treści na tablicy jest ustalana na podstawie modeli trafności. Jeśli uznamy, że treść narusza integralność, wynik jest również ustalany przez dodatkową maszynę rankingową, aby zdegradować ją niżej, niż mogłaby się znaleźć na podstawie swojego wyniku. Koniec końców, wszystkie te algorytmy zwracają jeden wynik; wynik ten jest następnie przydzielany przez Facebooka. Zatem nie ma czegoś takiego jak bierność na tablicy. Możemy jedynie zdecydować się na różne rodzaje działań^[11].

Kolejne cytaty dotyczą głównie USA, ale bez wątpienia mają one szerokie zastosowanie do 90% użytkowników Facebooka spoza USA i Kanady, których obawy dotyczące dezinformacji otrzymują znacznie mniej zasobów.

Poniższy pochodzi z wewnętrznego dokumentu Mety z 5 listopada 2020 r.:

Nie tylko nie robimy nic z konfliktogenną dezinformacją wyborczą w komentarzach, ale wręcz wzmacniamy ją i zapewniamy jej szerszą dystrybucję^[12].

Kiedy pracownicy Mety próbowali przetestować na sobie zachowanie swoich własnych systemów rekomendacji, odkryli, że systemy te bardzo szybko sprowadzały świeże, dopiero co utworzone konto w obszary zainfekowane dezinformacją:

Po pojawieniu się niewielkiej liczby wysokiej jakości/zweryfikowanych konserwatywnych zainteresowań (…) w ciągu zaledwie jednego dnia rekomendacje stron roiły się od polaryzujących treści.

Chociaż konto miało śledzić ogół konserwatywnych wiadomości politycznych i treści humorystycznych i zaczęło się od zweryfikowanych / wysokiej jakości konserwatywnych stron, rekomendacje stron zawierających teorie spiskowe zaczęły się pojawiać już po 2 dniach (pojawienie się rekomendacji QAnon zajęło mniej niż tydzień!).

Rekomendacje grup reagowały nieco wolniej – upłynął tydzień, zanim rekomendacje grup na tablicy stały się w pełni polityczne / prawicowe, oraz nieco ponad tydzień, zanim pojawiły się rekomendacje dotyczące teorii spiskowych^[13].

Z tego samego dokumentu wynika, że kilka stron i grup, które systemy Facebooka polecają użytkownikowi testowemu, wykazuje liczne oznaki powiązania z „skoordynowanym nieautentycznym zachowaniem”, czyli zagranicznymi i krajowymi tajnymi kampaniami wywierania wpływu, do czego dojdziemy niebawem.

Wcześniej jednak chciałabym przedstawić tylko jeden przykład nadużycia algorytmicznego z Mjanmy.

Mowa kwiatów

Jeszcze w 2014 roku kilka birmańskich organizacji, wśród nich m.in. MIDO i akcelerator technologiczny Phandeeyar z siedzibą w Rangunie połączyło siły przy starannie opracowanym projekcie przeciwko mowie nienawiści o nazwie Panzagar (mowa kwiatów). Kampania, która miała być prowadzona osobiście, za pośrednictwem materiałów drukowanych oraz w internecie, zachęcała zwykłych obywateli Mjanmy do przeciwstawiania się mowie nienawiści w Mjanmie.

Nieco później w tym samym roku Meta, o której współudziale mówiono w kontekście niedawnych aktów śmiertelnej przemocy społecznej w Mandalaju, połączyła siły z birmańskimi organizacjami w celu przekonwertowania ich obrazków na cyfrowe naklejki na Facebooku, które użytkownicy mogli umieszczać pod wpisami wzywającymi na przykład do unicestwienia ludu Rohingjów. Naklejki przedstawiały urocze postacie z kreskówek, wśród których kilka zawiera ostrzeżenia, takie jak: „Nie bądź źródłem ognia”, „Pomyśl, zanim udostępnisz”, „Nie siej nienawiści” i „Ziomek, odpuść sobie!”.

Kampania została szeroko i przychylnie odebrana przez zachodnie organizacje i media, a Meta zebrała wiele pochwał za swoje zaangażowanie.

Jednakże według członków birmańskiej koalicji społeczeństwa obywatelskiego odpowiedzialnej za kampanię okazało się, że naklejki Panzagar na Facebooku – które zostały wyraźnie zaprojektowane jako środek zaradczy – „miały znaczną wagę dla algorytmów dystrybucji”, przez co każda osoba, która używała ich do przeciwdziałania nienawiści i przemocy w wiadomościach nieumyślnie pomagała im uzyskać szerszą dystrybucję^[14].

Wspominam o incydencie z Panzagar nie tylko dlatego, że jest to uderzający przykład, gdy Meta preferuje kosmetyczne, dobrze wyglądające PR-owo poprawki zamiast znaczących aktów zadośćuczynienia. Ani nawet nie dlatego, że ujawnia zwykłą niekompetencję w obliczu już i tak poważnej przemocy. Przede wszystkim dlatego, że przybliżamy się do czegoś, co uważam za fundamentalny problem z obecnością Mety w Mjanmie.

Nawet gdy firma była w końcu (wielokrotnie) zmuszana do reakcji na zagrożenia, do których się przyczyniała, działania, które mogły faktycznie coś zmienić — takie jak wdrażanie nowych programów dopiero po lokalnych konsultacjach i adaptacji; rozszerzanie kompetentnych językowo i kulturowo zespołów moderacyjnych w miarę wzrostu zainteresowania; a może przede wszystkim przeprojektowanie produktu, aby zaprzestać wzmacniania najbardziej zapalnych treści – pozostawały nie tylko niewykonane, ale wręcz były nie do pomyślenia, ponieważ wykraczały poza zrozumienie przez firmę tego, co powinno się brać pod uwagę przy projektowaniu produktu.

Ten opór w dostrzeganiu związków między sposobem działania produktu a narastającymi problemami bezpieczeństwa na świecie oznacza, że próby prewencji i naprawy sprowadzają się do kosmetycznych poprawek – nierzadko też przynoszą w istocie efekt przeciwny do zamierzonego. Tak było w przypadku naklejek Panzagar, które pochłonęły energię i wysiłek lokalnych grup społeczeństwa obywatelskiego w Mjanmie, a i tak stały się czymś, co pogorszyło sytuację.

W wywiadzie dla Frontline z 2018 r. na temat problemów z Facebookiem były dyrektor ds. bezpieczeństwa firmy Meta, Alex Stamos, raz po raz powraca do poglądu, że prace nad bezpieczeństwem powinny się odbywać już na etapie projektowania produktu. Pod koniec wywiadu mówi bardzo wyraźnie:

Stamos: Myślę, że wystąpił tutaj problem strukturalny polegający na tym, że ludzie, którzy zajmowali się problemami, pracowali razem w jednym kącie. Więc mieliśmy zespoły ds. bezpieczeństwa i ochrony, zwarte zespoły, które zajmowały się wszystkimi negatywnymi efektami i tak naprawdę nie mieliśmy relacji z ludźmi, którzy faktycznie projektują produkt.

Rozmówca: Nie mieliście relacji?

Stamos: Na pewno nie takich, jakie powinniśmy mieć, nie? Stało się jasne – jedną z rzeczy, która stała się bardzo oczywista po wyborach, było to, że problemy, o których wiedzieliśmy wcześniej i z którymi sobie radziliśmy, nie znalazły odzwierciedlenia w sposobie projektowania i wdrażania tych produktów^[15].

Moderacja treści przez Metę okazała się katastrofalna w Mjanmie – a także na całym świecie – nie tylko dlatego, że zostało potraktowana i obsadzona bez pomyślunku, ale także dlatego, że konkurowała z główną maszynerią Facebooka.

I tak jak kasyno zawsze wygrywa, tak też główna maszyneria masowego produktu zbudowanego w celu zwiększania zaangażowania zawsze wygrywa z retroaktywnymi i marginalnymi próbami jej naprawy.

Okazało się to prawdą w szczególności wtedy, gdy podmioty komercyjne i działające na rzecz państw nauczyły się przejmować tę maszynerię za pomocą wielkoskalowych fałszywych sieci stron wspieranych przez fałszywe interakcje, co prowadzi nas do rzadziej omawianego odkrycia: do połowy lat 2010. Facebook w zasadzie stał się odpowiednikiem botnetu w rękach dowolnej grupy, rządowej lub komercyjnej, która dysponowała wolą i zasobami, aby zrobić z niego użytek.

I wiele osób tak czyniło. W tym, jak można się było spodziewać, niektórzy z najgorszych ludzi na świecie.

Sieci zombie Mety

Ophiocordyceps formicarum zaobserwowany w Centrum Badań nad Grzybami w Chiang Mai w Tajlandii; Steve Axford (CC BY-SA 3.0)

Ostrzeżenie dotyczące treści: artykuł NYT, do którego odsyłam poniżej, jest ważny, ale zawiera zdjęcia ciał, w tym dzieci. Jeśli nie chcesz ich oglądać, opcja „tryb czytania” lub jej odpowiednik w Twojej przeglądarce może pomóc usunąć te obrazy. (Artykuł Sarah Sentilles z 2018 r. o tym, czyje zwłoki są prezentowane przez amerykańskie gazety może również być wart uwagi).

W 2018 r. „New York Times” opublikował na głównej stronie relację z tego, co naprawdę wydarzyło się na Facebooku w Mjanmie, czyli że od około 2013 r. birmańska armia Tatmadaw rozwijała specjalną, ultratajną farmę nienawiści skierowaną przeciwko Rohingjom. Prowadzono ją z zacisza licznych baz wojskowych, w których nawet 700 pracowników pracowało na zmiany, aby stworzyć pozory zdecydowanego poparcia dla ludobójstwa dokonanego wkrótce później przez to samo wojsko^[16].

W trakcie dochodzenia prowadzonego przez NYT w 2018 r., wszystkie te fałszywe strony nadal istniały.

Oto jak to działało: najpierw wojsko utworzyło rozległą sieć fałszywych kont i stron na Facebooku. Owe fałszywe konta i strony poświęcone były niepozornym tematom, takim jak uroda, rozrywka czy humor. Strony te nosiły tytuły takie jak „Piękno i klasyka”, „Gotowi na wszystko”, „Wy, nauczycielki”, „Kochamy Mjanmę” i „Pośmiejmy Się Trochę”. Następnie pracownicy wojskowi, niektórzy po przeszkoleniu u rosyjskich specjalistów od propagandy, spędzali lata na opiece nad stronami i stopniowym powiększaniu bazy obserwujących^[17].

Następnie, korzystając z tej kolekcji długo pielęgnowanych fałszywych stron, grup oraz kont, propagandyści Tatmadaw wykorzystali wszystko, czego dowiedzieli się o algorytmach Facebooka do publikowania i wzmacniania wiralowych wiadomości, które przedstawiały ludność Rohingja jako część globalnego zagrożenia islamskiego, a także jako sprawców niekończącego się strumienia okrucieństw. „The Times” donosi:

Konta trolli prowadzone przez wojsko pomogły w rozpowszechnianiu treści, wyciszaniu krytyki i podsycaniu kłótni między komentującymi aby wprowadzać ludzi w złość. Często publikowali fałszywe zdjęcia zwłok, które ich zdaniem stanowiły dowód masakr popełnianych przez Rohingjów.^[18]

To, że Tatmadaw był zdolny do tak wyrafinowanej operacji, nie powinno nikogo zaskakiwać. Wieloletnia badaczka praw cyfrowych i technologii w Mjanmie, Victoire Rio, zauważa, że od 2001 r.Tatmadaw otwarcie wysyłał swoich funkcjonariuszy na studia do Rosji. Był też „jednym z pierwszych użytkowników platformy Facebook w Mjanmie” i uruchomił „specjalny program nauczania w ramach szkolenia w zakresie Wojny Informacyjnej w Akademii Służby Obronnej”^[19].

Co te wiadomości spowodowały

Nie posiadam dostępów potrzebnych do rozróżnienia, które konkretnie wiadomości pochodzą od ekstremistycznych sieci religijnych, a które zostały wyprodukowane w wyniku operacji wojskowych, ale w dokumentach ONZ i raportach dotyczących praw człowieka widziałam liczne wpisy i komentarze, które stanowiły punkt kluczowy dla wielu kampanii toczących się równolegle.

Treści te spełniają bardzo konkretne role:

• Dehumanizują Rohingjów: Wiadomości na Facebooku mówią o Rohingjach jako gatunku inwazyjnym, rozmnażającym się liczniej niż Buddyści i prawdziwe grupy etniczne w Mjanmie. Dołączane są liczne zdjęcia ukazujące bestialstwo.
• Przedstawiają Rohingjów jako nieludzkich, seksualnych drapieżników i bezpośrednie zagrożenie: dostępnych jest wiele drastycznych zdjęć zniekształconych ciał z całego świata, większość z nich przedstawione jako buddyjskie ofiary muzułmańskich zabójców – zwykle Rohingjów. Istnieje wiele wpisów na temat mężczyzn Rohingja, którzy gwałcą, zmuszają do małżeństwa, biją i mordują buddyjskie kobiety. Jeden z wielokrotnie udostępnianych wpisów zawiera drastyczne zdjęcie kobiety torturowanej i zamordowanej przez meksykański kartel, która jest przedstawiana jako buddyjka w Mjanmie zabita przez Rohingjów.
• Łączą Rohingjów z „globalnym zagrożeniem islamskim”: bardzo często Rohingjowie są utożsamiani z terrorystami ISIS i przypisuje się im zbiorową odpowiedzialność za prawdziwe ataki i okrucieństwa popełniane przez obce im islamskie organizacje terrorystyczne.

Ostatecznie wszystkie te posunięcia prowadzą do nawoływań do przemocy. Wiadomości nieustannie i obrazowo nawołują do masowych mordów, pobić i przymusowych deportacji. Nie wzywają do ukarania, lecz do unicestwienia.

Jest to dosłownie podręcznikowe przygotowanie do ludobójstwa i chcę poświęcić chwilę, aby przeanalizować, jak to działa.

Helen Fein jest autorką kilku specjalistycznych książek na temat ludobójstwa, współzałożycielką i pierwszą prezeską Międzynarodowego Stowarzyszenia Badaczy Ludobójstwa oraz założycielką Instytutu Studiów nad Ludobójstwem. Myślę, że jej opis sposobów, w jakie ludobójcy legitymizują swoje ataki, pozostaje wyjątkowo trafny pomimo faktu, że od jego publikacji minęło 30 lat. Poniżej Fein klasyfikuje specyficzny rodzaj retoryki jako jedną z cech charakterystycznych ludobójstwu:

Czy istnieją dowody na istnienie ideologii, mitu lub wyartykułowanego celu społecznego, który nakazuje lub usprawiedliwia zniszczenie ofiary? Oprócz powyższego należy zwrócić uwagę, czy istnieją religijne tradycje pogardy i zbiorowego zniesławiania; stereotypy i uwłaczające metafory sugerujące, że ofiara jest gorsza, podludzka (zwierzęta, owady, zarazki, wirusy) lub nadludzka (szatańska, wszechmocna); lub inne oznaki, że ofiara została wcześniej zdefiniowana jako obcy znajdujący się poza uniwersum obowiązków sprawcy, podczłowiek lub odczłowieczony, czy też wróg – czyli ofiara musi zostać wyeliminowana, abyśmy mogli żyć (Oni lub My)^[20].

Ludobójcy powinni także głosić – często w oparciu o sfabrykowane dowody – że grupa na celowniku sama w sobie stanowi prawdziwe zagrożenie. Odbywa się to często poprzez rzutowanie ludobójczych zamiarów na grupę, która ma zostać zaatakowana.

Adam Jones, autor popularnego podręcznika na temat ludobójstwa, ujmuje to w ten sposób:

Usprawiedliwia się projekty ludobójcze, przypisując je rzekomym oponentom. Tutsi/Chorwaci/Żydzi/bolszewicy muszą zostać zabici, ponieważ mają zamiar nas zabić, i zrobią to, jeśli nie zostaną powstrzymani/ubiegnięci/unicestwieni. Zanim zostają zabici, są brutalizowani, poniżani i odczłowieczani – zamieniając ich w coś zbliżonego do „podludzi” lub „zwierząt” i – zgodnie z logiką okrężną – usprawiedliwiając ich eksterminację^[21].

Tak więc przed zagładą grupa docelowa jest przedstawiana jako wyrzutki, podludzie, robactwo, ale także przypisuje jej się skłonności do ludobójstwa, czyli śmiertelnego zagrożenia. Wkrótce później niezwykłe okrucieństwo charakterystyczne dla ludobójstwa utwierdza tych, którzy się go dopuszczają, że ich ofiarami tak naprawdę nie są ludzie.

Tatmadaw dopuścił się okrucieństw w Mjanmie. Wspomniałam o nich w części II i nie będę ich tutaj szczegółowo opisywać. Ale nie da się oddzielić odczłowieczającej retoryki, którą opisałam w części pierwszej i drugiej, od nieludzkich rzeczy, które Tatmadaw uczynił ludziom – okaleczając, traumatyzując i mordując ich. Zwłaszcza teraz, gdy nie wątpliwości, że za znaczącą częścią retoryki i brutalnych działań usprawiedliwianych przez tę retorykę stało wojsko.

W niektórych przypadkach metody zazębiają się. Prowadzona przez wojsko kampania intensywnej i systematycznej przemocy seksualnej oraz okaleczania kobiet i dziewcząt, w połączeniu z jednoczesnym masowym mordowaniem dzieci i niemowląt, wydaje się nierozerwalnie powiązana z retoryką, która przedstawiała Rohingjów jako zagrożenie seksualne i reprodukcyjne stanowiące niebezpieczeństwo dla buddyjskich kobiet, rozmnażające się szybciej niż grupy etniczne należące do Mjanmy.

Ludobójcza komunikacja jest nierozerwalną częścią systemu, który zamienia „napięcia etniczne” w masową śmierć. Gdy już wiemy, że Tatmadaw był w istocie operatorem ukrytych sieci propagandy nienawiści i dehumanizacji na Facebooku, myślę, że najbardziej racjonalnym sposobem zrozumienia tych sieci jest postrzeganie ich jako integralnej części ludobójczej kampanii.

Po opublikowaniu artykułu w New York Times Meta dokonała dwóch dużych usunięć. Prawie cztery miliony osób śledziło fałszywe strony zidentyfikowane przez NYT lub Metę w toku dalszych dochodzeń (Meta usunęła wcześniej oficjalne strony i konta Tatmadaw oraz 46 stron z „wiadomościami i opiniami”, które, jak się okazało, były potajemnie obsługiwane przez wojsko. Strony te śledziło prawie 12 milionów osób).

Biorąc pod uwagę te rewelacje i ujawnione informacje, chciałabym zapytać: czy celowe, wrogie wykorzystanie Facebooka przez wojsko Mjanmy jako platformy dezinformacji i propagandy zwalnia Metę z odpowiedzialności w jakimkolwiek stopniu? W końcu wojsko suwerennego kraju to nie byle jaki przeciwnik.

Tylko że Alex Stamos, dyrektor ds. bezpieczeństwa Facebooka, od 2016 r. próbował nakłonić kierownictwo i kadrę kierowniczą Mety do uznania i poważnego zajęcia się faktem, że Facebook był wykorzystywany jako platforma zarówno komercyjnych, jak i sponsorowanych przez państwa tajnych operacji wywierania wpływu na całym świecie. Włączając w to jedyne miejsce, w którym firma mogła wpakować się w naprawdę poważne kłopoty: Stany Zjednoczone.

„O kurwa”

16 grudnia 2016 r. nowy dyrektor ds. bezpieczeństwa Facebooka, Alex Stamos – który obecnie kieruje projektem Internet Observatory na Uniwersytecie Stanforda – podniósł najpoważniejszy alarm w Mecie poprzez zwołanie nadzwyczajnego spotkania z Markiem Zuckerbergiem i innymi menedżerami najwyższego szczebla.

​Podczas tego spotkania, udokumentowanego przez Sheerę Frenkel i Cecilię Kang w książce „An Ugly Truth”, Stamos przedstawił podsumowanie przedstawiające rosyjskie zdolności. Czytamy w nim:

Oceniamy z umiarkowaną lub dużą pewnością, że podmioty sponsorowane przez państwo rosyjskie wykorzystują Facebooka do wpływania na szerszy dyskurs polityczny poprzez celowe udostępnianie wątpliwych artykułów prasowych, rozpowszechnianie informacji o naruszeniach bezpieczeństwa danych mających na celu dyskredytację, a także aktywne nawiązywanie kontaktów z dziennikarzami w celu rozpowszechniania skradzionych informacji^[22].

– O kurwa, jak mogliśmy to przegapić? – odpowiedział Zuckerberg.

Zespół Stamosa ujawnił również „ogromną sieć fałszywych serwisów informacyjnych na Facebooku”, zamieszczających i promujących między sobą sensacjonalistyczne bzdury, w większości dezinformację polityczną, wraz z przykładami rządowych działań propagandowych z Indonezji, Turcji i innych podmiotów działających na zlecenie państw. Zespół miał gotowe zalecenia, co z tym zrobić.

Frenkel i Kang tak parafrazują wiadomość Stamosa do Zuckerberga (podkreślenie moje):

Facebook musiał przejść do ofensywy. Nie powinien już ograniczać się do monitorowania i analizowania operacji cybernetycznych; firma musiała przygotować się do bitwy. Do tego jednak potrzebna była radykalna zmiany kultury i struktury. Rosyjskie działania zostały przeoczone, ponieważ departamenty Facebooka nie komunikowały się ze sobą i nikt nie zadał sobie trudu, żeby pomyśleć jak Władimir Putin^[23].

Do wspomnianych zmian w kulturze i strukturze nie doszło. Stamos zaczął zdawać sobie sprawę, że dla kadry kierowniczej Mety jego praca przy odkrywaniu sieci zagranicznych wpływów i decyzja o zwróceniu na nie uwagi kadry kierowniczej były zarówno niepożądane, jak i głęboko niewygodne.

Przez całą wiosnę i lato 2017 r., zamiast przestawiać się na walkę z masową międzynarodową kategorią nadużyć, którą odkrył Stamos i jego współpracownicy, informacje o operacjach już przeprowadzanych przez Rosję były przerzucane wewnątrz Facebooka niczym gorący kartofel.

21 września 2017 r., gdy ludobójcze „operacje oczyszczenia” Tatmadaw dobiegały końca, Mark Zuckerberg w końcu po raz pierwszy publicznie wypowiedział się na temat rosyjskich kampanii wpływów^[24].

W tym samym czasie potężne tajne siatki wpływów działające w Mjanmie rozprzestrzeniały się niepostrzeżenie.

Dzięki Sophie Zhang – analityczce danych, która spędziła dwa lata w Facebooku walcząc o usunięcie sieci takich jak Tatmadaw – wiemy całkiem sporo, dlaczego tak było.

Co znalazła Sophie Zhang

W 2018 roku Facebook zatrudnił analityczkę danych Sophie Zhang i przydzielił ją do nowego zespołu zajmującego się fałszywymi interakcjami, w szczególności „fałszywą aktywnością wspomaganą skryptami” czyli fałszywymi polubieniami i udostępnieniami zostawianymi przez boty.

W ciągu pierwszego roku pracy w zespole Zhang zaczęła znajdować przykłady zaangażowania generowanego przez boty przy treściach politycznych w Brazylii i Indiach przed wyborami w tych krajach. Potem znalazła coś, co zaniepokoiło ją znacznie bardziej. Karen Hao z MIT Technology Review pisze:

Administrator strony prezydenta Hondurasu na Facebooku, Juana Orlando Hernándeza, utworzył setki stron z fałszywymi nazwiskami i zdjęciami profilowymi, które miały wyglądać jak użytkownicy, i wykorzystywał je do zalewania wpisów prezydenta lajkami, komentarzami i udostępnieniami. (Facebook zabrania użytkownikom tworzenia wielu profili, ale nie nakłada tego samego ograniczenia na strony, które zwykle przeznaczone są dla firm i osób publicznych).

Działanie nie było zaliczane do aktywności z użyciem skryptów, ale efekt był taki sam. Mogło to nie tylko wprowadzać przypadkowego obserwatora w błędne przekonanie, że Hernández jest bardziej lubiany i popularny niż w rzeczywistości, ale także spowodowało, że jego wpisy znajdowały się wyżej na tablicach użytkowników. Jak na polityka, którego zwycięstwo w reelekcji w 2017 r. powszechnie uznawano za sfałszowane, bezczelność – a także konsekwencje – były niepokojące^[25].

Kiedy Zhang przekazała swoje odkrycia zespołom pracującym nad Integralnością Stron i Tablicy na Facebooku, oba zespoły odmówiły podjęcia działań – czy to powstrzymania tworzenia fałszywych stron, czy też osłabienia sygnałów zaangażowania generowanych przez fałszywe strony, aby wpisy nie stawały się wiralami.

Ale Zhang nie poddała się i po roku Meta w końcu usunęła sieć z Hondurasu. Już następnego dnia Zhang zgłosiła istnienie sieci fałszywych stron w Albanii. Julia Carrie Wong z „The Guardian” wyjaśnia, co było dalej:

W sierpniu odkryła i wysłała eskalacje wobec podejrzanych sieci w Azerbejdżanie, Meksyku, Argentynie i we Włoszech. Jesienią i zimą dorzuciła do tego sieci na Filipinach, w Afganistanie, Korei Południowej, Boliwii, Ekwadorze, Iraku, Tunezji, Turcji, Tajwanie, Paragwaju, Salwadorze, Indiach, Republice Dominikany, Indonezji, Ukrainie, Polsce i Mongolii^[26].

Jak twierdzi Zhang, Meta ostatecznie wprowadziła politykę przeciwko „nieautentycznym zachowaniom”, ale jej nie egzekwowała. Firma odrzuciła także propozycję Zhang, aby karać wielokrotnych twórców fałszywych stron blokadami ich kont, co uzasadniono „dyskomfortem pracowników ds. polityki związanym z podejmowaniem działań przeciwko osobom powiązanym z ważnymi kontami”^[27].

Zhang odkryła, że nawet gdy podejmowała inicjatywę w celu namierzenia ukrytych kampanii wywierania wpływu, zespoły, które mogły podjąć działania w celu ich usunięcia, nie robiły tego – a już na pewno nie bez ciągłego „lobbingu”. Więc Zhang starała się bardziej. Poniżej raz jeszcze Karen Hao:

Wielokrotnie wzywano ją do pomocy w sytuacjach kryzysowych i chwalono ją za pracę, która, jak jej mówiono, była ceniona i ważna.

Jednak pomimo jej wielokrotnych nalegań o zwiększenie zasobów, kierownictwo miało inne priorytety. Odrzucono także jej sugestie bardziej trwałych rozwiązań, takie jak zawieszanie lub inne formy karania polityków, którzy okazywali się wielokrotnymi recydywistami. Zhang została sama w obliczu niekończącego się strumienia: sieci manipulacyjne, które likwidowała, szybko wracały, często zaledwie kilka godzin lub dni później. „Coraz częściej czułam się, jakbym próbowała opróżnić ocean durszlakiem” – mówi^[28].

Artykuł Julii Carrie Wong w Guardianie ujawnia ciekawą rzecz na temat drogi służbowej Zhang. Mianowicie to, że wiceprezes Mety ds. Integralności, Guy Rosen, był jedną z osób, które stały w największej opozycji do niej.

Pamiętacie projekt Internet.org, znany również jako Free Basics, czyli działania Mety na rzecz zdominowania internetu we wszystkich tych krajach, którym następnie „obniżono priorytet” i ogólnie zignorowano?

Guy Rosen, wówczas świeżo upieczony wiceprezes Mety ds. Integralności, to ten sam gość, który wcześniej stał na czele Internet.org. Zaczął kierować działem Integralności bezpośrednio po przejściu ze stanowiska wiceprezesa ds. Wzrostu. Przed zatrudnieniem przez Metę Rosen był współzałożycielem firmy, którą The Information opisuje jako „startup, który analizował, co ludzie robią na swoich smartfonach”^[29].

Meta kupiła ten startup w 2013 roku, potencjalnie dlatego, że mógłby być przydatny w ramach Internet.org. W bardzo pomysłowy sposób rozwijane przez firmę Rosena oprogramowanie VPN rzekomo chroniące prywatność umożliwiło Mecie zebranie ogromnych ilości danych — tak ogromnych, że Apple usunęło tę aplikację ze swojego sklepu.

Oto cały wiceprezes Facebooka ds. Integralności.

„Nam po prostu nie zależało, aby ich powstrzymać”

Na łamach Guardiana Julia Carrie Wong donosi, że jesienią 2019 roku Zhang odkryła, iż sieć w Hondurasie wróciła do życia, zaś Zhang nie była w stanie nawiązać kontaktu z zespołem analizy zagrożeń w Mecie, aby się tym zajął. W grudniu tego samego roku zamieściła na ten temat wewnętrzną notatkę. Rosen odpowiedział:

Rosen napisał, że Facebook w sprawie Hondurasu „działał wolniej, niż byśmy chcieli ze względu na ustalone priorytety”. „To wielka szkoda, że problem wrócił i jestem podekscytowany, że mogę wyciągnąć z tego wnioski i lepiej zrozumieć, co musimy robić systematycznie” – dodał. Ale również skarcił ją za złożenie publicznej (publicznej wewnątrz siedziby Facebooka – EK) skargi słowami: „Obawiam się, że takie wątki mogą podkopywać autorytet ludzi, którzy wstają rano i robią wszystko, co w ich mocy, aby jak najlepiej spożytkować ograniczony czas i energię, którą wszyscy dysponujemy i wkładają w to swoje serce i duszę”^[30].

Podczas kolejnej prywatnej rozmowy (jeszcze w grudniu 2019 r.) Zhang powiadomiła Rosena, że powiedziano jej, że zespół ds. analizy zagrożeń Facebooka będzie traktował priorytetowo wyłącznie fałszywe sieci wpływające na „Stany Zjednoczone/Europę Zachodnią oraz zagranicznych przeciwników, takich jak Rosja, Iran itp.”

Rosen powiedział jej, że zgadza się z tymi priorytetami. Zhang zaprotestowała (moje podkreślenie):

Rozumiem, że Stany Zjednoczone, Europa Zachodnia itp. są ważne, ale nie rozumiem, dlaczego w firmie z praktycznie nieograniczonymi zasobami nie da się tego umieścić na niczyjej roadmapie (…) Menedżer ds. reagowania strategicznego powiedział mi, że świat poza USA / Europą był w zasadzie jak dziki zachód, a ja w wolnym czasie pełniłam funkcję dyktatora na pół etatu. Uznał to za pozytywną zmianę, ponieważ według jego wiedzy nikt się tym nie zajmował, zanim dowiedział się o mojej pracy.

Rosen odpowiedział: „Chciałbym, żeby zasoby były nieograniczone”^[31].

Zacytuję kolejny akapit Wong w całości: „W tamtym czasie firma miała zaraportować roczny zysk operacyjny w wysokości 23,9 mld dolarów przy przychodach wynoszących 70,7 mld dolarów”. Miała do dyspozycji 54,86 mld dolarów w gotówce.

Na początku 2020 roku przełożeni Zhang powiedzieli jej, że wystarczy już ujawniania sieci wpływów – nadszedł czas, aby wróciła do namierzania i usuwania „fałszywych lajków” zostawianych przez boty.

Zhang stwierdziła jednak, że jeśli ona przestanie to robić, nikt inny nie będzie ścigał dużych, potencjalnie istotnych, tajnych sieci wpływów. Dlatego nadal poświęcała temu część swojego czasu, włączając w to nawoływania do zajęcia się fałszywą siecią azerbejdżańską, która wyglądała na powiązaną z partią rządzącą krajem. Na wewnętrznej grupie napisała: „Niestety, Facebook przez swoją bierność stał się współwinnym tego autorytarnego tłumienia”.

Mimo że na początku lutego definitywnie powiązaliśmy tę sieć z instytucjami rządu i zebraliśmy obszerne dowody na jej naruszający zasady charakter, ostatecznie podjęto decyzję, aby nie traktować jej priorytetowo. W zasadzie przymykano na to oko^[30:1].

Po tych wiadomościach zespół ds. Analizy Zagrożeń zdecydował się jednak podjąć działania w sprawie wspomnianej sieci.

Wkrótce potem Meta zwolniła Zhang za słabe wyniki.

Tuż przed opuszczeniem firmy Zhang opublikowała długą notatkę pożegnalną – zawierającą 7800 słów – w której opisała to, co zobaczyła. Meta usunęła tę notatkę, więc Zhang umieściła wersję zabezpieczoną hasłem na swojej stronie internetowej, aby jej współpracownicy mogli ją odczytać. W związku z tym Meta spowodowała usunięcie całej witryny Zhang i dezaktywację jej domeny. W końcu na skutek presji pracowniczej Meta umieściła zmodyfikowaną wersję notatki w swoim wewnętrznym serwisie^[32].

Wkrótce potem ktoś przesłał tę notatkę do Buzzfeed News.

W notatce Zhang pisała:

Napotkałam mnóstwo rażących prób nadużywania naszej platformy przez rządy innych krajów na ogromną skalę w celu wprowadzania w błąd własnych obywateli, co wielokrotnie generowało nagłówki w prasie światowej. Osobiście podejmowałam bez nadzoru decyzje, które miały wpływ na prezydentów państw, i podejmowałam działania mające na celu egzekwowanie prawa wobec tak wielu prominentnych polityków na całym świecie, że straciłam rachubę^[33].

Oraz: „Prawda jest taka, że nam po prostu nie zależało, aby ich powstrzymać”.

Ostatniego dnia pracy w Mecie Zhang zostawiła swoim kolegom notatki, w których zebrała podejrzane konta związane z politycznymi kampaniami wpływu, które należało zbadać:

Odnotowała, że w Boliwii istniało 200 podejrzanych kont wspierających tamtejszego polityka; 100 w Ekwadorze, 500 w Brazylii, 700 na Ukrainie, 1700 w Iraku, 4000 w Indiach i ponad 10000 w Meksyku^[34].

„Z całym szacunkiem”

Praca Zhang w Facebooku miała miejsce już po sporach dotyczących rosyjskich operacji wywierania wpływu odkrytych przez zespół Alexa Stamosa. Oraz już po ludobójstwie w Mjanmie. A także już po tym, jak Mark Zuckerberg odbył tournée prasowo-rządowe, podczas którego opowiadał o tym, jak bardzo Meta się starała i jak bardzo zamierzają się poprawić po Mjanmie^[35].

Minął cały kalendarzowy rok od chwili, gdy „New York Times” znalazł podsycającą ludobójstwo fałszywą farmę nienawiści Tatmadaw, gdy Guy Rosen, wiceprezes Facebooka ds. Integralności, powiedział Sophie Zhang, że jedynymi skoordynowanymi fałszywymi sieciami, które Facebook usunie, są te, które wpływają na USA, Europę Zachodnią i „zagranicznych wrogów”^[36].

W odpowiedzi na informacje ujawnione przez Zhang Rosen pobiegł wkrótce poźniej na Twittera, aby przedstawić swoją własną ocenę sieci, które Zhang znalazła i nie mógła doprosić się usunięcia:

Z całym szacunkiem, ale to co ona opisała, to fałszywe lajki, które rutynowo usuwamy za pomocą automatycznej detekcji. Jak każdy zespół w branży lub rządzie, priorytetowo traktujemy powstrzymywanie najpilniejszych i szkodliwych zagrożeń na całym świecie. Fałszywe lajki do nich nie należą.

Jedna z informacji ujawnionych przez Frances Haugen zawiera wewnętrzną notatkę, która podsumowuje faktyczną, zupełnie poważną świadomość Mety na temat sposobów, w jaki Facebook był wdrażany do rutynowego użytku w ramach tajnych kampanii wywierania wpływu:

Często obserwujemy wysoce skoordynowaną, celową aktywność w FOAS [Rodzinie aplikacji i usług] ze strony podmiotów stwarzających problemy, w tym państw, podmiotów zagranicznych oraz aktorów mających historię zachowań przestępczych, brutalnych lub nienawistnych, mających na celu promowanie przemocy społecznej, promowanie nienawiści, pogłębianie podziałów etnicznych i innych podziałów społecznych i/lub delegitymizowanie instytucji społecznych poprzez dezinformację. Jest to szczególnie powszechne – i problematyczne – w Krajach i Kontekstach Zagrożonych^[37].

No, czyli jednak wiedzieli.

Z informacji ujawnionych przez Haugen wiemy również, że w 2020 r. w kategorii „Usuwanie, ograniczanie, informowanie/mierzenie dezinformacji w aplikacjach FB, w tym weryfikacja społeczności i dopasowywanie” – czyli jest to moderacja ukierunkowana konkretnie na dezinformację – tylko 13% całego budżetu trafiło do krajów innych niż Stany Zjednoczone, w których to z kolei zamieszkiwało ponad 90% użytkowników Facebooka i wśród których są wszystkie kraje zagrożone. Pozostałe 87% budżetu zarezerwowano dla 10% użytkowników Facebooka mieszkających w Stanach Zjednoczonych^[38].

Jeżeli którekolwiek z powyższych stwierdzeń nie wygląda, jakby miało związek z głównym wątkiem wydarzeń w Mjanmie, oto co mieszkająca niegdyś w Mjanmie badaczka Victoire Rio miała do powiedzenia na temat ukrytych skoordynowanych sieci wpływu w swoim znakomitym studium przypadku z 2020 r. na temat roli mediów społecznościowych w przemocy w Mjanmie:

Wrogie podmioty poświęcają miesiące, jeśli nie lata, na budowanie sieci zasobów online, w tym kont, stron i grup, które umożliwiają im manipulowanie dyskusjami. Te fałszywe byty wciąż stanowią ogromne zagrożenie w miejscach takich jak Mjanma i są odpowiedzialne za zdecydowaną większość problematycznych treści^[39].

Należy zauważyć, że Rio twierdzi, że te nieautentyczne sieci – dokładnie te, za którymi ganiała Sophie Zhang zanim jej za to nie zwolniono – wciąż stanowiły poważne ryzyko w 2020 r.

Czas przeskoczyć do przyszłości.

Wybierzmy się do Mjanmy w 2021 roku, cztery lata po apogeum ludobójstwa. Po wszystkim, z czym do tej pory miałam do czynienia w całej tej boleśnie długiej serii, rozsądnym wydaje się założenie, że priorytetem dla Mety powinno być naprawienie sytuacji w Mjanmie. Zwłaszcza po zamachu stanu.

Meta w Mjanmie, ponownie (2021)

W 2021 r. Tatmadaw obalił demokratycznie wybrany rząd Mjanmy i przekazał przywództwo w kraju naczelnemu dowódcy armii. Od tego czasu wojsko skierowało machinę inwigilacji, represji administracyjnych, tortur i morderstw, którą wcześniej udoskonaliło na Rohingjach i innych mniejszościach etnicznych, przeciwko Bamarom – buddyjskiej większości etnicznej w Mjanmie.

Również w 2021 r. dyrektor ds. polityki Facebooka w Krajach Wschodzących APAC, Rafael Frankel, powiedział Associated Press, że Facebook „zbudował teraz dedykowany zespół składający się z ponad 100 osób mówiących po birmańsku”.

Ten „dedykowany zespół” to prawdopodobnie grupa kontraktorów zatrudnionych przez Accenture w ramach projektu „Honey Badger” w Malezji^[40] (że co, Jezu Chryste) [zdaniem Autorki fakt, że Meta posłużyła się tu firmą stanowiącą wyrazisty symbol amerykańskiej hegemonii korporacyjnej, zaś nazwa projektu nawiązuje w komiczny sposób do małego drapieżnego zwierzęcia to wyjątkowo niesmaczna kombinacja wykraczająca poza granice parodii – przyp. tłum.].

W październiku 2021 r. agencja Associated Press sprawdziła, jak im szło na Facebooku w Mjanmie. Niemal natychmiast znaleziono wpisy zawierające groźby i przemoc:

Jeden 2,5-minutowy film opublikowany 24 października i przedstawiający zwolennika wojska wzywającego do przemocy wobec grup opozycyjnych, obejrzało ponad 56 tys. osób.

„Więc od teraz jesteśmy bogiem śmierci dla wszystkich (z nich)” – mówi mężczyzna po birmańsku, patrząc w kamerę. „Przyjdźcie jutro i przekonamy się, czy jesteście prawdziwymi mężczyznami czy gejami”.

Jedno z kont publikuje adres domowy dezertera wojskowego i zdjęcie jego żony. Inny wpis z 29 października zawiera zdjęcie żołnierzy prowadzących po gruntowej ścieżce grupę związanych mężczyzn z zasłoniętymi oczami. Podpis po birmańsku brzmi: „Nie łapcie ich żywcem”^[41].

Tak właśnie wyglądała moderacja treści w 2021 r. A co z algorytmiczną stroną tematu? Czy Facebook nadal wzmacnia niebezpieczne wiadomości w Mjanmie?

Wiosną 2021 roku analitycy Global Witness założyli czyste konto na Facebooku bez historii i wyszukali hasło တပ်မ​တော် – „Tatmadaw”. Otworzyli pierwszą stronę wyników, fanpage wojskowy, i nie znaleźli żadnych wpisów łamiących nowe, bardziej rygorystyczne zasady Facebooka. Następnie kliknęli przycisk „Lubię to”, co spowodowało wyświetlenie wyskakującego okienka z „powiązanymi stronami”. Następnie zespół otworzył pierwsze pięć polecanych stron.

Oto, co znaleźli:

Trzy z pięciu najważniejszych rekomendacji stron sugerowanych przez algorytm Facebooka zawierały treści opublikowane po zamachu stanu, które naruszały zasady Facebooka. Jedna z pozostałych stron zawierała treści naruszające standardy społeczności Facebooka, ale zostały opublikowane przed zamachem stanu i dlatego nie zostały uwzględnione w tym artykule.

W szczególności znaleźli wiadomości, które zawierały:

• Nawoływanie do przemocy
• Treści gloryfikujące cierpienie lub upokorzenie innych
• Dezinformację, która może prowadzić do krzywd fizycznych^[42]

A także kilka rodzajów wpisów, które naruszały nowe i bardziej szczegółowe zasady Facebooka dotyczące Mjanmy.

Zatem wpisy zawierające brutalność i nawoływania do przemocy nadal pojawiały się w Mjanmie cztery lata później po okrucieństwach w stanie Rakhine – i po tym, jak Tatmadaw skierował całą machinę przemocy na członków opozycji należącej do buddyjskiej większości etnicznej w Mjanmie. Dodatkowo natomiast Facebook nadal kierował użytkowników bezpośrednio na te wpisy nawet po najmniejszej interakcji z treściami promilitarnymi.

Dzieje się to w 2021 r., kiedy Meta przeznacza na ten problem znacznie więcej środków niż kiedykolwiek w okresie poprzedzającym i w trakcie ludobójstwa Rohingjów. Algorytmy dostarczają aktywnych rekomendacji na Facebooku, dokładnie tak, jak jest to opisane w notatkach Mety dostarczonych przez Haugen.

Pod absolutnie każdym względem uważam to za porażkę.

Meta nie odpowiedziała na prośby o komentarz od Global Witness, ale kiedy Guardian i AP podjęły tę historię, Meta odpowiedziała im… tym:

Nasze zespoły w dalszym ciągu uważnie monitorują sytuację w Mjanmie w czasie rzeczywistym i podejmują działania w przypadku wszelkich wpisów, stron lub grup, które łamią nasze zasady. Aktywnie wykrywamy 99 procent mowy nienawiści usuwanej z Facebooka w Mjanmie, a nasz ban nałożony na Tatmadaw oraz wielokrotne zakłócanie skoordynowanych nieautentycznych zachowań utrudniło ludziom nadużywanie naszych usług w celu szerzenia krzywd^[43].

Jeszcze raz: to stwierdzenie nie mówi nic o tym, ile mowy nienawiści jest usuwane. To czyste wprowadzanie w błąd.

Wewnętrzne notatki Mety wymieniają sposoby takiego ustawiania algorytmicznej maszynerii Facebooka, aby ograniczać rozprzestrzenianie się tak zwanej „dezinformacji o wysokim poziomie szkodliwości”. W przypadku potencjalnie szkodliwych tematów należy „mocno zdegradować” (inaczej „zepchnąć w dół” lub „nie pokazywać”) te z udostępnianych wpisów, które zostały pierwotnie opublikowane przez osobę nie mającą znajomych ani nie obserwowaną przez odbiorcę tych treści (Frances Haugen nazywa to w wywiadach „przecięciem łańcucha udostępnień”).

I ta metoda działa. W Mjanmie „degradacja głębokości udostępniania” zmniejszyła „częstość występowania ognisk wiralowych” o 25% i prawie o połowę zmniejszyła „dezinformację obrazkową”.

Myślę, że w rozsądnym świecie Meta zdecydowałaby się na szersze zastosowanie tej metody i prace nad jej udoskonaleniem, aby była jeszcze bardziej skuteczna. Oni jednak podjęli decyzję o wycofaniu jej z Mjanmy, gdy tylko nadchodzące wybory miały się zakończyć^[44].

W tej samej informacji ujawnionej SEC, którą właśnie zacytowałam, zauważono również, że „klasyfikator” sztucznej inteligencji Facebooka dla birmańskiej mowy nienawiści nie wygląda na utrzymywany ani wykorzystywany – oraz że rekomendacje algorytmiczne w dalszym ciągu kierują ludzi w stronę brutalnych i pełnych nienawiści wiadomości, które naruszają Standardy Społeczności Facebooka.

A więc tak działały algorytmy. A co z tajną kampanią wywierania wpływu przez wojsko?

Reuters podał pod koniec 2021 r., że:

Podczas gdy wojsko Mjanmy próbuje stłumić protesty na ulicach, w mediach społecznościowych toczy się równoległa bitwa, w której junta używa fałszywych kont, aby potępiać przeciwników i wciskać komunikat, że przejęła władzę, aby uratować naród przed oszustwami wyborczymi…

Dziennikarze Reutersa wyjaśniają, że wojsko przydzieliło tysiące żołnierzy do prowadzenia „walki informacyjnej” w ramach czegoś, co wygląda na rozbudowaną, rozproszoną wersję ich wcześniejszych tajnych operacji propagandowych:

„Żołnierze dostają polecenie utworzenia kilku fałszywych kont i otrzymują segmenty treści oraz tematy do dyskusji, które muszą opublikować” – powiedział kapitan Nyi Thuta, który pod koniec lutego zdezerterował z armii, aby dołączyć do sił rebeliantów. „Monitorują także aktywność w internecie i przyłączają się do grup (przeciwnych zamachowi stanu), aby je śledzić”^[45].

(Wiemy o tym, ponieważ dziennikarze Reutersa uzyskali dostęp do wysoko postawionego dezertera ze skrzydła propagandowego Tatmadaw.)

Poproszony o komentarz regionalny Dyrektor ds. Polityki Publicznej Facebooka powiedział agencji Reuters, że Meta „‘proaktywnie’ wykryła prawie 98 procent mowy nienawiści usuniętej ze swojej platformy w Mjanmie”.

„Marnujemy życie pod brezentem”

Rohingjowie zmuszeni do ucieczki z Mjanmy rozproszyli się po całym regionie, ale przeważająca większość tych, którzy uciekli w 2017 r., trafiła do regionu Cox’s Bazar w Bangladeszu.

Obozy są wybitnie przeludnione, zaś ich mieszkańcy są narażeni na sezonowe powodzie w regionie, pogarszający się wpływ klimatu i fale chorób. W roku 2023 pomoc żywnościowa dla uchodźców została zmniejszona z miesięcznej równowartości 12 dolarów do 8 dolarów, ponieważ uwaga społeczności międzynarodowej skupiona jest gdzie indziej^[46].

Złożona sytuacja geopolityczna wokół Mjanmy po zamachu stanu – w której wiele krajów zachodnich i azjatyckich potępia sytuację w Mjanmie, ale nie podejmuje żadnych działań, aby nie popchnąć junty Mjanmy dalej w kierunku Chin – wydaje się gwarantować długi, krwawy konflikt bez szans na jakąkolwiek ulgę dla Rohingjów^[47].

ONZ szacuje, że obecnie w obozach dla uchodźców w Bangladeszu żyje ponad 960 tys. uchodźców Rohingja. Ponad połowa to dzieci, z których zaledwie garstka uczestniczyła w jakiejkolwiek formie edukacji od czasu przybycia do obozów sześć lat temu. ONZ szacuje, że w 2022 r. uchodźcy potrzebowali około 70,5 mln dolarów na edukację, z czego faktycznie sfinansowano 1,6%^[48].

Amnesty International rozmawiała z Mohamedem Junaidem, 23-letnim rohingjańskim nauczycielem-wolontariuszem matematyki i chemii, który również jest uchodźcą. Oto co powiedział Amnesty International:

Chociaż w Mjanmie obowiązywało wiele ograniczeń, mogliśmy się uczyć przynajmniej do momentu ukończenia szkoły średniej. Ale w obozach nasze dzieci nie mogą robić nic. Marnujemy życie pod brezentem^[49].

W swoim raporcie „The Social Atrocity” Amnesty International napisała, że w 2020 roku siedem organizacji młodzieżowych Rohingja mających siedziby w obozach dla uchodźców złożyło formalny wniosek na ręce Dyrektora ds. Praw Człowieka w Mecie. Zażądali, aby z uwagi na rolę w kryzysach, które doprowadziły do ich wydalenia z Mjanmy, Meta przekazała zaledwie jeden milion dolarów na wsparcie inicjatywy szkoleniowej dla nauczycieli w obozach – co miało zapewnić dzieciom uchodźców szanse na edukację, która pewnego dnia mogłaby im się przydać w świecie zewnętrznym.

Oto co Meta odpowiedziała organizacjom młodzieżowym Rohingja w 2021 r. – roku, w którym firma wykazała zysk w wysokości 39,3 mld dolarów:

Niestety, przedyskutowaliśmy temat z naszymi zespołami i nie jesteśmy w stanie poprzeć tej propozycji. Jak już wcześniej wspominaliśmy, Facebook nie angażuje się bezpośrednio w działalność filantropijną.

W 2022 r. organizacja Global Witness postanowiła przyjrzeć się jeszcze działalności Mety w Mjanmie, tym razem przynosząc osiem przykładów prawdziwej mowy nienawiści skierowanej do Rohingjów – faktycznych wpisów z okresu ludobójstwa, z których wszystkie zaczerpnięte były z ustaleń Rady Praw Człowieka ONZ, do których często linkowałam w tej serii. Wykorzystali te autentyczne przykłady mowy nienawiści w birmańskojęzycznych reklamach na Facebooku.

Meta zaakceptowała wszystkie osiem reklam^[50].

Dziękuję za lekturę. Przejdź do części IV.

Data publikacji oryginalnego artykułu: 13 października 2023 r.

Treść tłumaczenia całej serii została udostępniona na licencji Creative Commons BY-NC-ND 4.0.

Przypisy