Do roku 2030 pytanie nie będzie brzmiało „Czy masz pieniądze?". Będzie brzmiało „Czy jesteś zatwierdzony przez AI?"

Przez lata obserwowałem, jak ludzie radzą sobie z pieniędzmi. Naprawdę wstrząsnęło mną to, że cicha maszyneria decyduje teraz o tym, kto może uczestniczyć w życiu gospodarczym.

Kilka miesięcy temu mój kolega – ktoś, kogo znam od ponad dziesięciu lat, osoba ze stabilnym dochodem, bez długów i z nawykiem oszczędzania, który sprawiłby, że większość doradców finansowych byłaby z niego dumna – otrzymał odmowę przyznania linii kredytowej. Nie podano żadnego wyjaśnienia. Nie wysłano żadnego pisma. Tylko ekran z informacją, że wniosek nie może być w tej chwili rozpatrzony.

Zadzwonił do pożyczkodawcy. Powiedzieli mu, że decyzję podjęła maszyna. Zapytał, co ją wywołało. Odpowiedzieli, że nie mogą ujawnić tych informacji. Zapytał, czy może porozmawiać z kimś, kto mógłby ręcznie sprawdzić sprawę – nastąpiła chwila ciszy, a potem wyuczone przeprosiny.

Ta rozmowa utkwiła mi w pamięci. Nie dlatego, że wynik był straszny. On sobie radzi. Nie potrzebował kredytu pilnie. Ale dlatego, co ujawniła o świecie, w którym już żyjemy. Maszyna spojrzała na niego. Coś zdecydowała i nie było już w tym łańcuchu żadnego człowieka, który mógłby mu powiedzieć, co zobaczyła.

Często myślę o tej rozmowie, gdy zastanawiam się, jak będzie wyglądał rok 2030. Uważam, że pytanie, które większość ludzi zadaje zbyt cicho, brzmi: kiedy AI staje się strażnikiem dostępu do finansów, co dokładnie oddajemy w jej ręce?

System, który zastąpił pracownika kredytowego

Dorastałem, obserwując, jak mój ojciec negocjuje z dyrektorem banku. To nie był żaden proces. Dyrektor zadawał pytania, wyciągał założenia, a całość trąciła uprzedzeniami, o których nikt nie mówił wprost. System był wadliwy i nie tęsknię za nim.

Miał jedną rzecz, którą obecna trajektoria po cichu eliminuje: człowieka, którego można było zapytać, który ponosił odpowiedzialność i który przebywał w tym samym pokoju co konsekwencje swojej decyzji.

Przez większą część historii zdolność kredytowa była oceniana na podstawie niewielkiego zestawu kryteriów, takich jak dochód, zatrudnienie, istniejące zadłużenie i historia spłat. Biura kredytowe zamieniały te rzeczy w oceny punktowe. Oceny były prymitywne i często niesprawiedliwe. Były przynajmniej zrozumiałe. Można było zrozumieć, w pewnym sensie, co mierzą. Można było zakwestionować błąd. Można było z czasem zmienić tę liczbę.

To, co obserwowałem przez ostatnich kilka lat, to fundamentalne odejście od tej prostoty. Modele uczenia maszynowego przetwarzają teraz tysiące sygnałów jednocześnie, aby ocenić ryzyko finansowe. Nie tylko historię płatności. Sposób, w jaki piszesz na formularzu. Jak długo kursor zatrzymuje się przed wysłaniem. Jakie aplikacje są zainstalowane na telefonie. Czy rytm twojego życia pasuje do rytmu kogoś, któremu model nauczył się ufać.

Te sygnały brzmią niemal absurdalnie, gdy wymienia się je pojedynczo. Łącznie jednak generują decyzje, które kształtują to, czy ktoś może pożyczyć pieniądze, wynająć mieszkanie, ubezpieczyć się lub dostać pracę. Osoby, których te decyzje dotyczą, często nie mają pojęcia, jaką wagę miał każdy pojedynczy sygnał.

Tożsamość, o której budowaniu nie wiedziałeś

Oto część, z którą naprawdę trudno mi się pogodzić: tożsamość finansowa odczytywana przez te systemy nie jest tą, którą świadomie zbudowałeś. To ta, którą przez lata ujawniałeś poprzez swoje zachowanie w sieci.

Nie zdecydowałeś, że aplikacje na Twoim telefonie będą coś mówić o Twojej zdolności kredytowej. Nie wiedziałeś, że pora dnia, o której zwykle wypełniasz formularze, była rejestrowana i korelowana ze wzorcami spłat. Nie podpisałeś umowy, że sieć społeczna łącząca Cię z Twoimi kontaktami zostanie wykorzystana do oceny Twojego profilu ryzyka.

Taka właśnie architektura jest składana, kawałek po kawałku, w firmach fintech, biurach kredytowych i platformach ubezpieczeniowych na całym świecie. Tożsamość, którą system o Tobie wywnioskuje, jest budowana z portretu, do którego pozowałeś, nie zdając sobie z tego sprawy.

Tworzy to lukę, o której często myślę. Jest człowiek, którym wiesz, że jesteś: ktoś, kto ostrożnie gospodaruje pieniędzmi, kto ma kontekst dla nietypowych rzeczy w swojej historii finansowej, kto ma powody dla wyborów, które mogą wyglądać anomalnie dla algorytmu. A potem jest statystyczny cień Ciebie, który widzi model AI. Te dwie rzeczy to nie ta sama osoba. Coraz częściej to cień, a nie człowiek, decyduje o dostępie.

Rozmawiałem z ludźmi, którym odmówiono pożyczek po przeprowadzce do miasta – nie dlatego, że zmieniło się ich zachowanie finansowe, ale dlatego, że ich nowy adres korelował w danych treningowych z wyższymi wskaźnikami niewywiązywania się ze zobowiązań. Rozmawiałem z freelancerami, którzy byli karani – nie za to, jak zarządzali pieniędzmi, ale za to, że zmienne wzorce dochodów wyglądają dla modelu wytrenowanego na pracownikach etatowych jak niestabilność. Rozmawiałem z dorosłymi, którzy byli oznaczani – nie za cokolwiek, co zrobili, ale za szczupłość ich cyfrowego śladu w świecie, który coraz częściej odczytuje tę szczupłość jako podejrzaną.

Co powstaje, gdy efektywność staje się celem

Chcę być tutaj sprawiedliwy, ponieważ uważam, że dyskusja wokół AI i dostępu do finansów często zjeżdża w kierunku pewnego rodzaju strachu przed technologią, który nikomu nie służy. Ekspansja oceny kredytowej opartej na AI przyniosła realne korzyści prawdziwym ludziom. Pożyczkodawcy fintech korzystający z danych behawioralnych rozszerzyli kredyt na miliony osób, które nie miały formalnej historii finansowej i były całkowicie niewidoczne dla tradycyjnych systemów bankowych. To ma znaczenie. To są życia, które się zmieniły, ponieważ system mógł zobaczyć coś, czego oddział bankowy nie był w stanie.

Oto napięcie, do którego wciąż wracam: bycie efektywnym i bycie sprawiedliwym to nie ten sam cel, a nieustanna optymalizacja pod kątem jednego nie produkuje automatycznie drugiego.

Model może być niezwykle dokładny w przewidywaniu niewywiązywania się ze zobowiązań w całej populacji, będąc jednocześnie strukturalnie niesprawiedliwym wobec jednostek w podgrupach, których dane treningowe nie reprezentowały w odpowiedni sposób. System może otwierać drzwi dla jednych populacji, po cichu zamykając je dla innych. To nie są sprzeczności, które rozwiązują się same przez inżynierię. Są wynikiem wyborów – często domyślnych – dotyczących tego, pod co model jest optymalizowany i czyje doświadczenie odzwierciedlają dane treningowe.

Osoby, o które martwię się najbardziej w tej transformacji, to te, które są najtrudniejsze do odczytania przez te systemy. Niedawni imigranci z historią cyfrową. Starsi dorośli, którzy budowali swoje życie, zanim ślad danych był wszystkim. Ludzie w regionach geograficznych lub społecznościach niedostatecznie reprezentowanych w zbiorach danych, które trenowały modele. Osoby, które z uzasadnionych powodów mają wzorce behawioralne wyglądające anomalnie dla systemu zbudowanego na innych populacjach.

Dla tych ludzi decyzje o dostępie sterowane przez AI ryzykują funkcjonowaniem bardziej jak mur niż drzwi. Nie dlatego, że stanowią ryzyko w jakimkolwiek ludzkim sensie. Ale dlatego, że system nie może ich pewnie sklasyfikować, a systemy, które nie mogą pewnie sklasyfikować, mają tendencję do domyślnego wykluczania.

Dekada, w której naprawdę jesteśmy

To, co uważam za niedoceniane w tym momencie, to szybkość, z jaką te systemy stają się fundamentalne. To nie jest technologia testowana w programach pilotażowych. Jest już wbudowana w pożyczki, ubezpieczenia, weryfikację najemców i ocenę zatrudnienia w wielu częściach świata. Przepisy, które ją regulują, są w wielu miejscach daleko w tyle za rzeczywistością tego, jak działa.

Europa podjęła kroki. Tamtejsze przepisy nakładają wymogi dotyczące przejrzystości i wyjaśnialności na automatyczne podejmowanie decyzji. Te wymogi nie są doskonałe. Ustanawiają jednak zasadę: że człowiek ma prawo zrozumieć – w sposób, z którym może faktycznie się zmierzyć – dlaczego zautomatyzowany system podjął decyzję, która wpłynęła na jego życie.

Ta zasada nie istnieje konsekwentnie gdzie indziej. Na wielu rynkach AI, która decyduje o Twojej zdolności kredytowej, działa bez jakiegokolwiek obowiązku tłumaczenia się przed Tobą. Możesz otrzymać odmowę – bez odwołania, bez wyjaśnienia i bez możliwości zrozumienia, co system zobaczył, co doprowadziło go do takiego wniosku.

Wierzę, że stanie się to jednym z definiujących napięć nadchodzącej dekady. Nie dramatyczne scenariusze dominujące w rozmowach o AI, jak broń czy destrukcja na skalę science-fiction. Cichsze, bezpośrednie napięcie dotyczące tego, kto może uczestniczyć w życiu gospodarczym i na jakich warunkach, gdy systemy regulujące to uczestnictwo stają się szybsze, bardziej nieprzejrzyste i bardziej brzemienne w skutki.

Czego naprawdę wymaga zaufanie

Spędziłem trochę czasu w miejscach, gdzie podejmuje się decyzje finansowe. Rzecz, do której wciąż wracam, obserwując tę transformację, to to, że zaufanie nie jest oceną punktową. To coś skomplikowanego i bardziej ludzkiego.

Zaufanie obejmuje kontekst. Obejmuje zdolność wysłuchania historii i zrozumienia, dlaczego jakaś liczba wygląda tak, jak wygląda. Obejmuje osąd wykraczający poza dopasowywanie wzorców. Wyrafinowane systemy AI dostępne dzisiaj są naprawdę imponujące w kwestii dopasowywania wzorców. Nie są zdolne do reszty.

Ryzyko, które widzę w świecie, który budujemy, nie polega na tym, że maszyny będą podejmować decyzje. Instytucje zawsze używały narzędzi do zarządzania skalą swoich decyzji. Ryzyko polega na tym, że zaczniemy mylić pewność maszyny z pełnią osądu. Że przestaniemy zadawać pytania, ponieważ model zwrócił liczbę, a ta liczba wydaje się ostateczna.

To, czy zostaniesz zatwierdzony przez AI, będzie miało coraz większe znaczenie w nadchodzących latach. Pytanie, które powinno mieć równie duże znaczenie i o którym myślę za każdym razem, gdy przypominam sobie tę rozmowę z moim kolegą, brzmi: czy AI zasługuje na zaufanie, które w niej pokładamy.

To nie jest pytanie, na które AI może odpowiedzieć. To pytanie, które musimy stale zadawać – z wystarczającą wytrwałością, aby upewnić się, że ludzie budujący i wdrażający te systemy słuchają.

Jeśli ten artykuł wyraził coś, co czułeś, ale nie potrafiłeś tego wytłumaczyć, cieszę się, że miało to dla Ciebie sens. Obserwuj tę publikację, aby czytać historię o technologii, finansach i tym, jak wpływają na ludzi. Jeśli spodobała Ci się ta historia, daj znać innym, żeby mogli ją znaleźć. Możesz to zrobić, klaszcząc. Zostaw komentarz. Powiedz nam, co myślisz, nawet jeśli się nie zgadzasz z historią lub jeśli widzisz ją inaczej. Ta publikacja jest tworzona przez ludzi, którzy piszą o rzeczach, które są dla nich ważne. Wnoszą swoje myśli i doświadczenia do opowieści. Jeśli masz historię do opowiedzenia, skontaktuj się z nami. Możemy nad nią razem popracować. *

By 2030 the Question Won't Be 'Do You Have Money?'. It Will Be 'Are You Approved by the AI?' zostało pierwotnie opublikowane w Coinmonks na Medium, gdzie rozmowa jest kontynuowana poprzez wyróżnianie i komentowanie tej historii.