Biohazard & AI Corruption

Antromorfizam u Vestackoj Inteligenciji Istraživanja veštačke inteligencije brzo rastu i otvaraju različita etička pitanja vezana za bezbednost, rizike i druge efekte o kojima se u literaturi naširoko raspravlja.Smatramo da je za adekvatno rešavanje ovih pitanja i uključivanje u produktivnu normativnu diskusiju neophodno ispitati ključne koncepte i kategorije. Jedna takva kategorija je antropomorfizam.Dobro je poznata činjenica da su funkcionalnosti i inovacije AI često antropomorfizovane (tj. opisane i zamišljene kao okarakterisane ljudskim osobinama). O antropomorfnim stavovima opšte javnosti i nekim njihovim etičkim posledicama (posebno u kontekstu društvenih robota i njihove interakcije sa ljudima) se naširoko raspravlja u literaturi. Međutim, manje pažnje je posvećeno tome kako antropomorfizam prožima samo istraživanje AI (tj. na samom jeziku kompjuterskih naučnika, dizajnera i programera), i kakve bi epistemološke i etičke posledice ovoga mogle biti. U ovom radu istražujemo ovo pitanje. Prvo smo postavili metodološku/teorijsku fazu, praveći razliku između normativnog i konceptualnog pristupa pitanjima. Zatim, nakon kratke analize antropomorfizma i njegovih manifestacija u javnosti, istražujemo njegovo prisustvo u istraživanju AI sa posebnim fokusom na AI inspirisanu mozgom. Konačno, na osnovu naše analize, identifikujemo neke potencijalne epistemološke i etičke posledice upotrebe antropomorfnog jezika i diskursa unutar istraživačke zajednice AI, čime se pojačava potreba za dopunom praktičnog konceptualnom analizom. UVOD Antropomorfizam se generalno definiše kao pripisivanje izrazito ljudskih osećanja, mentalnih stanja i karakteristika ponašanja neživim objektima, životinjama i uopšte prirodnim pojavama i natprirodnim entitetima (Airenti 2015; Eplei et al. 2007). Važno je imati na umu razliku između doživljavanja društvenih emocija u datoj situaciji, na primer „Sada se povezujem sa svojom mačkom“, i njihovih tumačenja, kao što je verovanje da „moja mačka doživljava vezu isto kao i ja“ . Moguće je doživeti zajednički trenutak sa neljudima, a da stoga ne verujete da oni koji dele taj trenutak moraju imati isto emocionalno iskustvo. Deljenje može da pretpostavlja minimum sličnosti u smislu uzajamnosti (i životinje, ljudi i mačke, veza), ali ne mora da bude samoprojektivno. Drugim rečima, čak i ako čovek i ne-čovek imaju zajednički trenutak povezivanja, njihova iskustva u tom trenutku mogu biti prilično različita. Shodno tome, doživljavanje društvene emocionalne blizine sa neljudima ne mora biti antropomorfno. Ovo je delimično važno za zaštitu pripisivanja osećaja, inteligencije, svesti itd. neljudima od optužbi da su samim tim antropomorfni. Naš fokus ovde je na tendenciji antropomorfizacije tehnologije, posebno veštačke inteligencije čije unutrašnje delovanje, iako stvoreno od strane ljudi, ostaje neprozirno za laike. Zanimljiva je činjenica da iako generalno postoji tendencija da se tehnološkim artefaktima pripisuju ljudske osobine i motivacije, AI-antropomorfizam dolazi u mnogim verzijama. Tendencija u popularnoj kulturi da se AI zamišlja kao nalik ljudima (i emocionalno, kognitivno i moralno) značajno je pod uticajem izmišljenih narativa (književna naučna fantastika, filmovi i TV emisije), kao i medijskog pokrivanja AI i robota (Bartneck 2013). Takođe odražava ograničeno razumevanje stanja veštačke inteligencije i njenih mogućnosti. Iako se ne može reći da je ova antropomorfna tendencija namenjena naučnoj zajednici, ona je u velikoj meri proizvod pogrešne naučne komunikacije koja često rezultira lažnim očekivanjima o tome šta je tehnologija i šta može da uradi, i može izazvati prenaglašene strahove i neopravdana očekivanja. Intelektualizovaniji tip antropomorfizma nalazi se kod korisnika računarskih programa ili virtuelnih asistenata u okviru softverskih programa koji su dizajnirani sa antropomorfnim karakteristikama u nadi da će to olakšati razumevanje relevantne tehnologije, promovisati njeno prihvatanje, povećati njenu efikasnost (Darling 2012, 2017). Zloovski et al., 2015), i očigledne kompetencije korisnika u interakciji sa njima (Epley et al. 2007). Ono što je zajedničko ovim emocionalnim i intelektualizovanim manifestacijama antropomorfnog mišljenja je da su ih posebno namenili dizajneri veštačke inteligencije: ukoliko se antropomorfizam smatra instrumentalno vrednim, njegovi osnovni mehanizmi su istraženi tako da mogu biti na odgovarajući način pokrenuti interaktivnim AI na različite načine u relevantnim kontekstima. Antropomorfni jezik se s vremena na vreme čini intrinzičnim za samo polje istraživanja veštačke inteligencije. Zaista, od Tjuringovih opisa njegovih mašina (Proudfoot 1999, 2011) do nedavnih izveštaja o AlphaZero-ovim intelektualnim podvizima (Strogatz 2018) nije neuobičajeno pronaći istraživače koji koriste termine koji se obično koriste za opisivanje ljudskih veština i kapaciteta kada se pominju AI i fokusiranje na navodne sličnosti između ljudi i mašina. Stoga nije iznenađujuće da se već 1976. godine McDermott slavno žalio na to da istraživači i programeri veštačke inteligencije koriste „mnemotehniku“ (na primer, termini kao što su „razumeti“ ili „naučiti“ odnosili su se na AI za koje je smatrao da dovode u zabludu kako za istraživače tako i za javnost (McDermott 1976), mogli bismo reći da je takav antropomorfizam posledica potrebe da se iskusi kompetencija, odnosno da se razume i kontroliše AI. Kao polaznu tačku možemo uzeti ključnu knjigu Stuart Russella i Peter Norviga o veštačkoj inteligenciji. Oni sugerišu da su, istorijski gledano, preovladavale dve kategorije definicija veštačke inteligencije: čovekocentrična i racionalistička. Shvatanja usredsređena na čoveka oslanjaju se na poređenje AI sa ljudima, odnosno na stepen do kojeg može da misli ili deluje kao ljudi.Racionalistička shvatanja zamišljaju veštačku inteligenciju u smislu suštinske racionalnosti ili ponašanja usmerenog ka cilju, tj. racionalnog razmišljanja ili delovanja (Rasel i Norvig 2010). Kao što se i očekivalo, pristupi usredsređeni na čoveka su posebno osetljivi na antropomorfne interpretacije: u okviru ovog pristupa, veštačka inteligencija je opisana kao napor da se kompjuteri nateraju da razmišljaju i da im se da um (Haugeland 1985), ili kao automatizacija aktivnosti tipično povezane sa ljudima, kao što su donošenje odluka, rešavanje problema i učenje (Bellman 1978). AI se stoga često opisuje kao sistemi koji se ponašaju kao ljudi, odnosno mašine koje obavljaju funkcije koje zahtevaju inteligenciju ako ih obavljaju ljudi (Kurzveil 1990), a razvoj AI se shvata kao pokušaj da se kompjuteri nateraju da rade stvari mnogo bolje nego sto ljudi mogu. (Rich and Knight 1991). Antropomorfna interpretacija unutar istraživačke zajednice AI može imati različite oblike. Veoma široko, to može biti namerno pripisivanje tipičnih ljudskih osobina (npr. kognitivni atributi, namernost, slobodna volja, emocije, itd.) AI uređajima, može biti suptilnije pripisivanje ekspresivnog ponašanja (npr. osmeh, traženje informacija, itd.) nesvesno antropomorfizovanje AI (Proudfoot 2011) ili može biti razmišljanje da AI sledi način rada sličan čoveku, i da su njegove operacije shodno tome potpuno predvidive i razumljive. U slučaju poslednjeg, čini se da je osnovna

Oštećenje genomskih baza podataka Sa anomalnom sekvencom Oxford University Press,1992:Opisujemo dokaze da su DNK sekvence iz vektora korišćenih za kloniranje i sekvenciranje slučajno ugrađene u eukariotske unose u bazi podataka GenBank. Ove inkorporacije nisu bile ograničene na jedan tip vektora ili na jedan mehanizam.Mnogi manji slučajevi su možda bili rezultat jednostavnog uređivanja greške, ali neki unosi su sadržali velike blokove vektorske sekvence koji su bili ugrađeni kontaminacijom ili drugim nesrećama tokom kloniranja. Neki slučajevi su uključivali neobična preuređivanja i oblasti vektora udaljene od normalnih mesta umetanja. Iako je mogućnost inkorporacije anomalnih sekvenci prepoznata od početka GenBank-a i trebalo bi je lako izbeći, nedavni dokazi sugerišu da se ovaj problem povećava brže od same baze podataka. Prisustvo anomalnog niza može imati ozbiljne posledice po interpretaciju i korišćenje unosa baze podataka, i imaće uticaj na pitanja upravljanja bazom podataka. Ovde opisani inkorporirani vektorski fragmenti takođe mogu biti korisni za grubu procenu vernosti informacija o sekvenci u bazi podataka. Očekivali smo da inkorporacija vektora nestaje kako je kompjuterizovana kompilacija sekvenci postajala sve sofisticiranija. Prisustvo vektorskih fragmenata koji nastaju usled grešaka u uređivanju u bazi podataka je široko pretpostavljeno, a anegdotski izveštaji (52,53) skrenuli su dalju pažnju na ovo pitanje. Međutim, kada smo izvršili preliminarnu pretragu u delovima GenBank izdanja 67 sa punom sekvencom M13 (podaci nisu prikazani), u pokušaju da pronađemo podudaranja sa oblastima vektora koje nismo koristili u našoj prvobitnoj pretrazi, identifikovali smo 50 novih dodataka bazi podataka sa značajnom sličnošću sa našom originalnom sondom M13. Dodavanje svih ovih sekvenci bi više nego udvostručilo veličinu tabele 1; nasuprot tome, delovi baze podataka koje smo koristili su u zbiru porasli za približno 50% između izdanja 63 i 67. Cilj naše analize podudaranja u Tabeli 1 bio je da razotkrije potencijalne mehanizme pomoću kojih je vektor ugrađen; očigledna heterogenost ovih mehanizama ukazuje na to da sveobuhvatna identifikacija anomalnog niza u bazi podataka može biti teška.Naši dokazi sugerišu da bi sekvenca mogla biti ugrađena iz vektora koji se inače ne koriste za sekvenciranje i iz oblasti udaljenih od uobičajenih mesta kloniranja. Druga DNK koja je prisutna tokom manipulacija kloniranjem može biti ugrađena. Bakterijska DNK se može uvesti u različite reagense, uključujući restrikcione enzime, ili rekombinacijom u transformisanu ćeliju domaćina.Podudaranja u četvrtoj kategoriji tabele 1 ukazuju na to da bi reagenti mogli da prate inkorporaciju i da bi druge eukariotske sekvence, uključujući one iz postojećih klonova koji bi mogli kontaminirati reagense koji se koriste za kloniranje, mogli da se integrišu. Isti heterogeni mehanizmi koji su ugradili velike blokove i šifrovane fragmente prepoznatljive vektorske sekvence u bazi podataka lako su mogli da stvore slične anomalije sa drugim sekvencama koje se ne mogu lako identifikovati. Zajedno sa preliminarnim dokazima da se pogrešno identifikovana vektorska sekvenca akumulira u novijim izdanjima, ovo sugeriše da je učestalost inkorporacije anomalne sekvence koju smo primetili u starijoj verziji GenBank značajno potcenjivanje obima problema u trenutnoj bazi podataka. Ako podudaranja u Tabeli 1 predstavljaju artefakte zasnovane na vektorima, onda su sredstva na koja su nastala morala biti heterogena – sve sekvence podudaranja nisu mogle biti generisane jednim mehanizmom. Poklapanja u Tabeli 1 su kategorisana po mehanizmu koji bi najbolje mogao da objasni inkorporaciju u svakom slučaju.Mehanizam u prvoj kategoriji je jednostavno proširenje čitanja sekvence izvan mesta kloniranja u vektor. Jedno poravnanje u ovoj grupi je prikazano na slici 1. U nekoliko slučajeva sekvenca podudaranja može biti ostatak greške u uređivanju u kojoj su baze pročitane izvan tačke umetanja nenamerno ostavljene u prijavljenoj sekvenci. U drugim slučajevima (uključujući unos ONGMSPA) restrikciono mesto koje se koristi za kloniranje možda je bilo preuređeno i stoga nije prepoznato kao granica između vektora i inserta. Druga kategorija se sastoji od poklapanja sa vektorima koji nisu korišćeni za sekvenciranje, ali su bili prisutni u ranijim koracima kloniranja – sekvenca podudaranja je možda nastala kada je deo intermedijarnog vektora nenamerno inkorporiran sa nameravanim umetkom u podklon koji se koristi za sekvenciranje. . Treća kategorija uključuje opsežnije slučajeve subkloniranja u kojima su višestruke vektorske sekvence ugrađene ili pogrešno prepoznate, ili u kojima je bočni fragment vektora zamenjen za nameravani umetak u subklonu. Četvrta kategorija u Tabeli 1 uključuje sekvence koje pokazuju dokaze velike inkorporacije vektora koja uključuje značajan deo ukupne prijavljene sekvence, ili preuređenje u ranim fazama kloniranja. Odgovarajuća sekvenca u unosu M24665 (47) bila je skoro identična sa 200 baznih parova (bp) bočne strane tačke umetanja u Xgt lO, ali u orijentaciji suprotnoj od one koja se očekivala od jednostavne greške u prepoznavanju mesta umetanja. Ovaj vektorski fragment je mogao biti prisutan tokom početnog kloniranja i vezan za cDNK pre dodavanja vektorskih krakova.. Poravnanja za HUMAMIAI, na slici 3A, i preostali unosi u ovoj kategoriji odstupali su u ključnoj osobini od ostalih podudaranja u Tabeli 1 i uključivali su oblasti vektora daleko od očekivanih mesta kloniranja. Neka podudaranja u ovoj kategoriji su bila ograničena restriktivnim mestima, ali ona koja se obično ne koriste za kloniranje u vektoru podudaranja. DNK vektor može imati kontaminirane reagense koji se koriste u subkloniranju ovih sekvenci; različiti fragmenti vektora su zatim dodani tupim ili kompatibilnim ligiranjem na predviđene umetke u subklonovima. Takođe je moguće da novi klon može da inkorporira kontaminirajući vektorski fragment sa pričvršćenim delom već postojećeg umetka. Ovo je jedno od objašnjenja za poravnanje na slici 3B. RATADHCY1 je jedna himerna cDNK koja sadrži sekvence sa više od 90% identičnosti sa delovima transkripata dva normalno odvojena mitohondrijska gena.Ovi regioni u RATADHCY1 su spojeni sekvencom od 230 bp koja je opisana da ne predstavlja homologiju sa bilo kojim poznatim genima (48). Ova sekvenca za premošćivanje je u stvari imala 95% identiteta (u 241bp) sa M13. Područje uključenog M13 nije bilo bliže od 40bp virusnom polilinkeru i nije bilo ograničeno restrikcijskim mestima koja se obično koriste za kloniranje, što sugeriše da je ovaj konstrukt generisan nekim komplikovanim preuređivanjem ili ligacijom više fragmenata. Peta kategorija u tabeli 1 sastoji se od tri sekvence koje su izmenjene nakon što su ušle u bazu podataka. Očekivali smo da će obim nekih podudarnih sekvenci koje smo primetili u izdanju 63 GenBank-a neizbežno dovesti do njihove identifikacije u narednim izdanjima.

Analitika (Big data) velikih podataka uključuje velike količine podataka koje obrađuju napredni računarski sistemi. U početku su podaci o obuci označeni, za razliku od neobeleženih i nestrukturiranih podataka koji su od male koristi u izgradnji modela obuke. Jednom obučeni, programi Deep Learning (duboko ucenje) mogu napredovati korišćenjem modela obuke koji se sastoje od označenih podataka. Danas su primarni primer arhitekture dubokog učenja (DL) transformatori, vrsta neuronske mreže, koja menja (input) ulaznu sekvencu u (output) izlaznu sekvencu. Ovo uključuje pretvaranje teksta u numeričke reprezentacije koje se nazivaju tokeni, koji se zatim pretvaraju u vektor. Svaki token je kontekstualizovan u okviru kontekstnog prozora. Počevši od 2017. godine, transformatorski modeli (transformatori) doveli su do razvoja modernih modela velikih jezika (Large Language Models- LLM) kao što su ChatGTP, Bard, Bing, itd. I dalje unutar šire kategorije generativne AI, ovi LLM-ovi su u stanju da obrađuju zvuk, slike, itd. kao multimodalni unos za razliku od jednostavnog teksta .Kompanija OpenAI je 2022. godine prvi put objavila Chat GPT-3 (GPT =Generative Pre-trained Transformer) sa unosima samo za tekst. Trenutno, najnovija verzija, GPT-4 je sposoban da obrađuje ove multimodalne ulaze, dok uključuje preko 175 milijardi parametara (promenljivih).Transformator se sastoji od višestrukih transformatorskih blokova, koji se nazivaju slojevima, uključujući slojeve normalizacije, slojeve za napredovanje i slojeve samopažnje. Oni funkcionišu unisono za dekodiranje ulaza kako bi se predvideo (zaključujući) izlaz. Slojevi se zatim slažu, što rezultira dubljim transformatorima i sposobnijim jezičkim modelima. Generativni AI modeli velikih jezika (LLM) se obučavaju na setovima podataka, a program zaključuje (Inference) odnose između reči i slika. LLM je tada u stanju da proizvede novi sadržaj na osnovu ovih skupova podataka. Zaključak o novom sadržaju zasniva se na kvalitetu i kvantitetu (preko jedne milijarde) parametara (varijabli) uključenih u LLM. Large Language Models predstavljaju temeljne modele, termin koji je prvi put upotrebio Stenfordski institut za veštačku inteligenciju usmerenu na čoveka 2021. Oni služe kao osnova za napredne optimizacije i specijalizovane aplikacije. Prethodnik ovih velikih jezičkih modela (LLM) bio je rani program za obradu prirodnog jezika (NLP) koji je njegov programer Džozef Vajzenbaum 1964. na MIT-u dao ime ELIZA. Program je simulirao razgovor sa čovekom primenom metodologije podudaranja i zamene šablona. Međutim, sistem se oslanjao na ljudsko uređivanje svoje aktivne skripte da bi promenio način na koji će program raditi. Današnji LLM-i su obučeni za stotine milijardi parametara koji su indeksirani i izvučeni iz skupova podataka na Internetu, što rezultira generisanjem sadržaja nalik ljudima. Ova obuka predstavlja učenje bez nadzora, u kojem su modeli u stanju da otkriju nepoznate obrasce u podacima koristeći neobeležene skupove podataka, čime se eliminiše potreba za označavanjem ljudskih podataka. Ovo rezultira LLM-ovima koji se zatim mogu koristiti u različitim aplikacijama i stoga se nazivaju osnovnim modelima. Ovi osnovni modeli LLM su obučeni na petabajtima podataka, koji se pominju kao korpus i zahtevaju više koraka. Oni počinju učenjem bez nadzora korišćenjem nestrukturiranih i neoznačenih podataka, što rezultira modelom koji određuje kontekst reči i koncepte.Large Language Models se fino podešavaju kroz samokontrolisano učenje, stičući razumevanje reči i koncepata zasnovano na mašinama. Računar to radi tako što koristi mehanizam samopažnje, sistem bodovanja koji se sastoji od dodele težine datom tokenu.LLM temeljni model zatim obrađuje identifikaciju odnosa unutar obrazaca podataka. Opasnosti od neispravnih podataka u veštačkoj inteligenciji i biologiji Kada je LLM obučen do željenog nivoa, može se ispitivati korišćenjem upitnika koje generiše čovek (tekstualni ili glasovni) korišćenjem aplikacija za obradu prirodnog jezika (NLP- Natural Language Processing). Izvlačeći zaključke iz prethodnih podataka o obuci, LLM onda daje odgovor.Ovi odgovori su zasnovani na predviđanjima koja se sastoje od malog broja unosa ili upita. Ovi unapred obučeni LLM-ovi se zatim mogu koristiti kao generativna AI za izlaz sadržaja iz inputa na osnovu obrade prirodnog jezika (NLP). Kako se osnovni modeli modela velikog jezika povećavaju u količini i karakteristikama, tako se povećava i oštećenje podataka.Pozivan kao Model Collapse, opseg oštećenja podataka odgovara ubrzanoj stopi kojom se LLM obučavaju na korpusu (petabajta) podataka. Početni modeli obuke za LLM su napravljeni korišćenjem podataka koje generiše čovek. Naknadni modeli zatim uključuju sintetičke podatke generisane od strane drugih LLM-ova koji mogu izazvati promenu distribucije koja rezultira kolapsom modela. Da bi se sprečio takav događaj, modeli obuke treba da imaju pristup originalnim bazama podataka, uključujući podatke koje nisu proizveli drugi LLM. Veliki jezički modeli (LLM) su primarni primer arhitekture dubokog učenja (DL) koja uključuje obuku veštačke neuronske mreže (ANN). Sa više slojeva zasnovanih na velikim skupovima podataka obeleženih podataka, ANN je primenjen na analizu genetskih podataka izvedenih iz biobanke (tj. GenBank, itd.) DNK i RNK.Zbog količine i složenosti bioloških podataka, prediktivni modeli bioloških sistema su morali da se konstruišu u okviru arhitektura dubokog učenja. AI dubokog učenja (DL) je izgrađen od osnovnog mašinskog učenja (ML) algoritma, i nadgledani i nenadgledani, od kojih je svaki specifičan za zadatak. Modeli obuke su izgrađeni od primera koji se sastoje od ulaznih podataka i izlaznih oznaka. Izlazni podaci se zasnivaju na prepoznavanju obrazaca unutar ulaznih podataka, koji se zatim označavaju od strane Deep Learning AI sistema. Iz ovih obrazaca, računar daje predviđanje, koje u slučaju genomike može biti sledeći nukleotid baznog para u nizu, ili lokacija specifičnog gena unutar celokupne genomske sekvence. Ovaj proces prepoznavanja obrazaca zavisi od integriteta sekvenci gena i nukleotida baznih parova koji se nalaze u genomskim bazama podataka. Nedostatak integriteta dovodi do pojave korupcije podataka i srodne proizvodnje terapeutika zasnovanih na genima. Svaka korupcija u genetskim podacima ima smrtonosne posledice za ljudsku populaciju.

Biohazard & AI Corruption “Entangled Magazine” Aprilautor: Kathleen&Anthony Patch (1.deo) Naslovnica ovomesečnog izdanja Entangled Magazina je tamne boje, zlokobno u svom predznaku zla, predstavlja sadašnje stanje tame koja se nadvija nad skraćenom budućnošću čovečanstva i krajnjim postojanjem. Lobanja i kosti, simbol smrti, zajedno sa međunarodnim crvenim simbolom BIOHAZARD, upozoravaju na egzistencijalnu pretnju koju predstavljaju korumpirani “podaci” (data). Kao izvor života sveprisutnog globalnog računarstva, baze podataka doživljavaju povećanu kontaminaciju iz spoljnih izvora. Trenutno postoji direktna korelacija između baza podataka i biologije s obzirom da su obe podložne kontaminaciji i korupciji. Danas su biološki sistemi i njihove operacije predstavljeni u obliku digitalnih podataka. Dakle, integritet takvih podataka odgovara stanju bioloških sistema. Kontaminacija podataka negativno utiče na integritet genomskih baza podataka i derivatne terapije zasnovane na genima, što dovodi do smrtonosnih posledica po ljudsku populaciju.Počevši od uvoda u veštačku inteligenciju i baze podataka koje se koriste kao modeli obuke za ove sisteme, demonstriramo kako na računare negativno utiče gubitak integriteta baze podataka. Zatim ispitujemo kontaminaciju koja se nalazi u bazama podataka GeneBank i posledice koje proizilaze po današnje zdravstvene sisteme na koje sve više utiče i usmerava veštačka inteligencija. Generativna AI (Generative AI) je široka kategorija za tip veštačke inteligencije koja može da generiše nove podatke, kao što su audio, fotografije, video i tekst.Funkcija generisanja teksta Generativne AI je izgrađena na osnovnim AI modelima, kao što su modeli velikih jezika – Large Language Models (LLM).Ovi LLM su konstruisani korišćenjem milijardi parametara (varijabli koje model uči tokom obuke) posebno za proizvodnju teksta.Veliki jezički modeli (LLM) koriste velike skupove podataka i tehnike dubokog učenja- Deep Learning (DL) za generisanje i predviđanje novog sadržaja zasnovanog na tekstu. Deep Learning je vrsta Machine Learning – mašinskog učenja i veštačke inteligencije koja imitira način na koji ljudi uče.Modeli Deep Learning obučavaju AI za obavljanje zadataka klasifikacije i prepoznavanje obrazaca u audio, nepokretnim slikama, video i tekstualnim podacima. Ovi modeli obuke se oslanjaju na velike skupove podataka označenih ljudi (Human-labeled data) raspoređenih u arhitekturi neuronskih mreža. Sastoje se od više slojeva softverskih čvorova, veštačke neuronske mreže – Artificial Neural Networks (ANNs) imitiraju milione međusobno povezanih neurona unutar ljudskog mozga. Ovi čvorovi olakšavaju obuku modela dubokog učenja koji tada rade kao DL programi. Ovi višestruki slojevi obrade međusobno povezanih čvorova prečišćavaju i optimizuju klasifikacije i predviđanja. Deep referenca u Deep Learning odražava količinu slojeva obrade kroz koje prolaze podaci unutar arhitekture veštačke neuronske mreže. Veliki jezički modeli dubokog učenja (DL) sprovode nelinearne transformacije svojih ulaznih podataka, što rezultira izlazom novog statističkog modela. Linearnost se odnosi na svojstvo sistema ili modela gde je izlaz direktno proporcionalan ulazu, dok nelinearnost implicira da je odnos između ulaza i izlaza složeniji i ne može se izraziti kao jednostavna linearna funkcija. Large Language Models (Veliki jezički modeli) u velikoj meri predstavljaju klasu arhitekture dubokog učenja koje se nazivaju Transformer Networks (transformatorske mreže). Model transformatora je neuronska mreža koja uči kontekst i značenje praćenjem odnosa u sekvencijalnim podacima, kao što su reči u ovoj rečenici. Transformator se sastoji od više blokova transformatora, poznatih i kao slojevi (layers). Na primer, transformator ima slojeve samopažnje, napredne slojeve i normalizovane slojeve, koji svi zajedno rade na dešifrovanju ulaza za predviđanje tokova izlaza pri zaključivanju. Slojevi se mogu slagati kako bi se napravili dublji transformatori i moćni jezički modeli. Proces izdavanja novog statističkog modela, koji se naziva iteracija (ponavljanje koraka), traje sve dok izlazni model ne postigne unapred određen nivo tačnosti. Podaci o obuci se dostavljaju programu za duboko učenje (DL) za proizvodnju skupa funkcija kao što je statična slika. Kroz iteracije ovih podataka za obuku, DL program će konstruisati prediktivni model nepokretne slike na osnovu obrazaca piksela u podacima. Tačnost statističkog modela se povećava sa svakom uzastopnom iteracijom podataka u obuci. Tačnost statističkog modela zavisi od kvaliteta i kvantiteta podataka u obuci (training data) i pristupa dovoljnoj računarskoj moći. Ovi podaci o obuci uključuju velike količine neoznačenih, nestrukturiranih i sintetičkih podataka. Synthetic data (sintetički podaci) su informacije koje su veštački generisane, a ne proizvedene događajima u stvarnom svetu.Obično kreirani pomoću algoritama, sintetički podaci se mogu primeniti za validaciju matematičkih modela i za obuku modela mašinskog učenja.Podaci generisani kompjuterskom simulacijom mogu se posmatrati kao sintetički podaci. Istorijski gledano, proces mašinskog učenja je bio nadziran od programera. Ovo je uključivalo davanje specifičnih instrukcija računaru za identifikaciju karakteristika (koji se nazivaju ekstrakcija karakteristika) jedinstvenih za objekat ili sliku. Danas ljudi više nisu potrebni. Programi dubokog učenja bez nadzora (Unsupervised Deep Learning) su sposobni da raspoređuju funkcije (training data) u skupove. Unutar ovih skupova, računar traži i identifikuje obrasce piksela. S druge strane, obrasci se koriste kao modeli obuke, što rezultira statistički prediktivnim modelima. Sa pojavom big data i cloud-a, programi dubokog učenja proizvode prediktivne modele obuke direktno iz iterativnog izlaza programa i sastoje se od velikih količina neoznačenih i nestrukturiranih podataka. Jedan od naprednijih programa za duboko učenje naziva se veštačka neuronska mreža. Mreža se sastoji od ulaznih, skrivenih slojeva, izlaznih slojeva i čvorova. Čvorovi funkcionišu kao slojevi čuvara mesta za ulazne podatke, dok izlazne mreže zavise od broja čvorova i slojeva. Skriveni slojevi su više slojeva koji obrađuju podatke koji se šalju dodatnim slojevima unutar Artificial Neural Network (ANN). Pored tipa ANN, postoje rekurentne – Recurrent (RNN), konvolucione – Convolutional (CNN) i napredne neuronske mreže- Forward Neural Networks (FNN).