Chat GPT pisze esej: czy dostałby się na studia?

W dobie prężnie rozwijających się narzędzi sztucznej inteligencji istnieje pokusa sprawdzenia, jak Chat GPT radzi sobie w czynnościach od lat wykonywanych przez ludzi. Dziennikarze The Washington Post postanowili przetestować możliwości AI w zakresie stworzenia eseju akademickiego, który następnie został poddany dogłębnej analizie przez doświadczonego doradcę do spraw rekrutacji na uczelnie z grupy Ivy League (m.in. Harvard czy Princeton). Redakcja serwisu Kobieta.rp.pl, idąc za tym przykładem, stworzyła przy użyciu podstawowego chatbota esej pt. „Jak literatura wpływa na nasze życie?" Rezultat został skonsultowany z dr. Rolandem Zarzyckim z Collegium Civitas. Do jakich wniosków doszli naukowcy i czy Chat GPT byłby w stanie zdać egzamin akademicki?

Stworzone za pomocą sztucznej inteligencji teksty mają zdaniem recenzentów kilka cech wspólnych, a wśród nich przewidywalność, schematyczność, liczne powtórzenia czy, co ciekawe, brak błędów. – Twórcy sztucznej inteligencji są zapewne z tego dumni, ponieważ o to im chodziło – zauważa dr Roland Zarzycki – natomiast człowiek bezbłędny nie jest. Maszyny oczywiście mogą się także i tego nauczyć, kiedy zostaną wytrenowane tak, aby od czasu do czasu jakiś błąd popełnić, czyniąc przy tym tekst bardziej ludzkim. To znajduje się w zasięgu technologii, natomiast wyzwaniem jest to, żeby narzędzia popełniały błędy w naturalny, zbliżony do człowieka, sposób – doprecyzowuje ekspert.

Ciekawy początek

Esej na temat zadany przez dziennikarzy The Washington Post miał, zdaniem recenzenta Adama Nguyen’a, całkiem interesujący wstęp. Pierwsze zdanie przykuwało uwagę, sprawiając, że czytelnik z zaciekawieniem kontynuował lekturę. Wynika to według eksperta z faktu, że narzędzia AI potrafią do pewnego stopnia symulować styl pisania człowieka. Analiza kolejnych fragmentów tekstu nie prowadziła jednak do tak optymistycznych spostrzeżeń. Recenzent zauważył, że przedłożony materiał zawiera liczne powtórzenia oraz szereg banalnych, pozbawionych głębszej analizy, sformułowań. Co więcej, odnotował sporo przypadkowo zamieszczonych w tekście fragmentów, które nie miały logicznego powiązania z następującymi przed i po nich zdaniami. Wśród uwag w odniesieniu do eseju znalazła się i taka, że chatbot przeskakuje z jednego ważnego tematu do innego, nie pogłębiając analizy. W użytym przez maszynę stylu brakuje oryginalnych sformułowań. Kolokacje są powtarzalne, utarte i przez to nie wnoszą w prezentowany materiał żadnej nowej wartości.

Na szereg powtórzeń w stworzonym przez redakcję serwisu Kobieta.rp.pl tekście zwraca też uwagę dr Zarzycki – Nawet gołym okiem dostrzeżemy w tym materiale co najmniej kilka elementów, które powinny wzbudzić nasze podejrzenia co do pochodzenia tekstu. Przede wszystkim powtórzenia, w szczególności te, w których w tekście mowa o „pomaganiu w zrozumieniu rzeczywistości” oraz „radzeniu sobie z trudnymi emocjami” – zauważa ekspert – narzędzia AI co do zasady odtwarzają umiejętnie dobrane, statystycznie najczęstsze konstelacje słów. Mają jednocześnie trudność w tworzeniu sformułowań nietypowych, a jednocześnie niebrzmiących błędnie. Przeciwnie, człowiek ma tendencję do odbiegania od utartego schematu, nawet nieintencjonalnie – dodaje.

Poprawność polityczna

Recenzenci są też zgodni co do tego, że stworzone przy pomocy AI teksty cechuje schematyczność i poprawność polityczna – Z perspektywy dyskursywnej teksty tworzone przez inteligentne generatory charakteryzują się bezkrytycznością, polityczną poprawnością, ale i banalnością obserwacji i konstatacji, które wpisują się w normę w sposób... zbyt dobry – zauważa dr Zarzycki – Jak mówi znana ilustracja prawd statystycznych, to, że pies i jego pan mają średnio trzy nogi, nie oznacza ani, że pan ma trzy nogi, ani że ma je pies. Podobnie, w przypadku tekstów, które są uśrednieniem tego, co inteligentny generator wyczytał z lektury ludzkich tekstów – ich nietypowość i „nieludzkość” polega na ich niespotykanej w ludzkiej codzienności typowości – doprecyzowuje ekspert – Te teksty są jałowe i miałkie. Oczywiście istnieją triki, pozwalające to obejść. Można uruchomić taki tryb, w którym narzędzia zrzucają trochę okowy poprawności politycznej i zaczynają się komunikować bardziej swobodnie, ale to i tak, przynajmniej na razie, nie jest ludzki poziom komunikacji i zawsze możemy złapać je na tym, że są zbyt poprawne politycznie i zbyt miałkie czy ostrożne w swoich poglądach – dodaje dr Zarzycki.

Zasilane ogólnodostępną bazą danych w Internecie oraz uczące się statystycznie na podstawie fragmentów na bieżąco wprowadzanych do tej bazy, generatory tekstów AI nie oferują niczego odkrywczego. Wręcz przeciwnie: bezkrytycznie powielają dostępne schematy, nie argumentując ich w logiczny sposób – Zwykle te maszyny nie produkują niczego nowego – potwierdza dr Zarzycki – Oczywiście, im nowszej generacji algorytm, tym lepiej wychodzi mu takie zaburzanie wzorca statystycznego, które pozwala uzyskiwać ciekawe, płodne myśli. AI bez trudu zapewni poprawność językową i gramatyczną tekstu, z drugiej zaś strony może „losować” zaburzenia prowadzące do pojawiania się kontrowersyjnych i nieoczywistych stwierdzeń, po to, by uzyskać efekt świeżości – dodaje – Ponieważ ostatecznie nie robi tego jednak w sposób świadomy, to część wypowiedzi może wydać się dziwna, niekiedy dziwna „po ludzku”. Ale od czasu do czasu takiej inteligentnej maszynie uda się utrafić w coś naprawdę intrygującego, inspirującego. Wciąż jest to jednak czysta statystyka – doprecyzowuje ekspert.

Stereotypy i brak krytycznego myślenia

Kolejną powtarzalną cechą tworzonych przez AI tekstów jest operowanie stereotypami. Powstałe na bazie dostępnych w Internecie materiałów, łączą treści w sposób przypadkowy, fragmentaryczny i pozbawiony krytycznych uwag – Treści tworzone przez narzędzia sztucznej inteligencji są pozbawione konkretnych argumentów na poparcie prezentowanych tez – zauważa Adam Nguyen – eseje generowane w ten sposób są przewidywalne i brak w nich jakichkolwiek elementów zaskoczenia. Jeśli powstają na tematy kontrowersyjne, to operują stereotypami, nie odwołując się do żadnych specyficznych przykładów – dodaje.

Podobną obserwacją dzieli się dr Zarzycki, podkreślając, że jest to kwestia presupozycji, czyli często nieuświadomionych założeń – To coś, z tym maszyny nie radzą sobie najlepiej – zauważa – nic dziwnego, skoro operują szeregiem stereotypów, nie mając świadomości, że są to stereotypy. Danego człowieka można zapytać, dlaczego na przykład uważa, że osoba starsza jest mądrzejsza niż młodsza i na jakiej podstawie przyjmuje to jako coś pewnego. Niektórzy mają do własnych przekonań dystans, inni nie. Natomiast dystans wymaga świadomości, a nawet inteligentne algorytmy świadome wciąż nie są, przynajmniej w naszym rozumieniu „świadomości” – efektem ich działania są losowe teksty – wyjaśnia ekspert.

Krytyczne myślenie to, zdaniem dr. Zarzyckiego, kolejna kolosalna przewaga człowieka nad maszyną – jak przekonuję studentów, w moim odczuciu ostatnim bastionem człowieczeństwa jest właśnie krytyczne myślenie – podkreśla ekspert – maszyny są wprawdzie fantastyczne w rozpoznawaniu schematów i jeśli jakiekolwiek nasze zachowanie schematowi podlega, to maszyna zidentyfikuje go znacznie szybciej niż człowiek. Tym, z czym ma jednak ewidentny problem, jest „sensowne”, niemechaniczne łamanie schematu. Jeśli chcemy rozpoznać strukturalnie, co w wypowiedziach maszyn jest powtarzającego się, to jest to nieumiejętność złamania schematu, czyli nieumiejętność zrobienia czegoś w sposób unikalny i jednostkowy, rzecz bowiem w tym, że wszystko, co inteligentne algorytmy robią, jest podporządkowane statystycznie temu, że właśnie pojawiło się w przeszłości już dostateczną ilość razy. – doprecyzowuje dr Zarzycki.

Zapytany o finalną ocenę eseju Adam Nguyen przyznaje, że przebrnięcie przez obszerny materiał wygenerowany przez narzędzie sztucznej inteligencji nie było procesem łatwym. Przeskakiwanie z tematu na temat, napotykanie przypadkowych, niepowiązanych z całością fragmentów i całe akapity pozbawione głębszej treści, doprowadziły do konkluzji, że taki materiał z pewnością nie pomógłby nikomu w dostaniu się na studia. O ile jednak esej rządzi się swoimi prawami i czytający oczekuje od autora ciekawych przemyśleń i nowatorskich wniosków, o tyle testy wielokrotnego wyboru nie wymagają od kandydata rozbudowanej analizy ani użycia ciekawych środków stylistycznych – Naturalną pokusą każdego wykładowcy akademickiego jest sprawdzenie, jak na jego zajęciach wypadłby Chat GPT – przyznaje dr Zarzycki – W ramach jednych z zajęć, które prowadzę, okazało się, że chatbot zdał końcowy egzamin mający formę testu wielokrotnego wyboru. Dostał wprawdzie trójkę, ale ocena była pozytywna – podsumowuje.

Dr Roland Zarzycki

Prorektor ds. dydaktycznych w Collegium Civitas, doktor nauk matematycznych oraz doktor nauk humanistycznych.

Specjalizuje się w badaniach nad znaczeniem fantazji i ideologii w życiu codziennym.

Nauczyciel akademicki, badacz, autor publikacji naukowych, referent na międzynarodowych konferencjach, koordynator projektów naukowo-badawczych oraz społecznych. Członek wrocławskiej Akademii Młodych Uczonych i Artystów. Członek Krajowej Rady Rozwoju Ekonomii Społecznej (I kadencja) przy Ministrze Rodziny, Pracy i Polityki Społecznej. Członek Rady Sektorowej ds. Kompetencji Sektora Komunikacji Marketingowej.

Źródło dodatkowe:

https://www.washingtonpost.com/technology

Treść eseju wygenerowanego przez sztuczną inteligencję i recenzowanego przez Eksperta:

Jak literatura wpływa na nasze życie?

Literatura to jedno z najważniejszych źródeł wiedzy i rozrywki, które wpływa na nasze życie w różnorodny sposób. Wpływ literatury na nasze życie jest ogromny, ponieważ pozwala nam na rozwijanie wyobraźni, kształtowanie naszych wartości, a także na zrozumienie innych perspektyw. Literatura może pomóc nam w zrozumieniu naszych emocji i uczuć, a także w radzeniu sobie z trudnymi sytuacjami życiowymi.

Jednym z najważniejszych sposobów, w jaki literatura wpływa na nasze życie, jest poprzez kształtowanie naszych wartości. Czytanie książek pozwala nam na zrozumienie różnych punktów widzenia i nauczenie się, jak podejmować dobre decyzje. Literatura może pomóc nam w zrozumieniu, co jest ważne w życiu, a także nauczyć nas, jak postępować w trudnych sytuacjach.

Literatura może również pomóc nam w rozwijaniu wyobraźni. Czytanie książek pozwala nam na odkrywanie nowych światów i nauczenie się, jak myśleć kreatywnie. Dzięki literaturze możemy zacząć myśleć poza schematami i nauczyć się, jak patrzeć na świat w inny sposób.

Oprócz tego, literatura może pomóc nam w zrozumieniu naszych emocji i uczuć. Czytanie książek pozwala nam na zobaczenie, jak inni ludzie radzą sobie z trudnymi sytuacjami życiowymi, co może pomóc nam w radzeniu sobie z własnymi problemami. Literatura może pomóc nam w zrozumieniu, jakie są nasze wartości i przekonania, a także nauczyć nas, jak radzić sobie z trudnymi emocjami.