Kunskapskanalen: Ai-robotens verklighet

Det är är självklart att mönsterigenkänning är en viktig del av människans funktion. Jag ser inte vad det har med saken att göra dock.

Men en stor majoritet av det man ser på internet när folk påstår den klarar "IQ tester" och allt möjligt är att de använder kända problem som det finns kända lösningar på som naturligtvis funnits i träningsdatan för modellen.

Sedan finns det också exempel där som den inte kan lösa som lurar "mönsterigenkänningen", tex det kända Monty Hall problemet finns i mängder av varianter med små modifikationer som totalt förändrar utkomsten av problemet, GPT-4 identifierar problemet och repeterar exakt samma lösning som Marilyn vos Savant skrev i sin kolumn, vilket enbart är korrekt i original utförandet av problemet.

Men det jag försöker peta runt och hitta bevis på är inte hur vida GPT-4 är intelligent eller medvetet eller dyl, det har framgått sedan länge att den snabbt trasslar in sig i resonemang och har svårt att lösa originella problem man hittar på för den, dvs om den aldrig stött på problemet förut så är det enormt osannolikt att den framgångsrikt löser det.

Utan i stället är mitt mål att försöka hitta otvedtydliga tecken på att uppbyggnaden inte är som man tror, jag menar med de exempel jag demonstrerade ovan att jag har svårt att se hur GPT-4 kan producera sådant utan att ha någon form av lookahead buffer (alternativt att flera parallella modeller genererar tokensekvenser, snarlikt hur Google Bard gör), jag köper inte påståendet om statistisk konvergens eftersom modellens vikter är fixerade och det man ber om skiftar sannolikheten för en viss token sekvens (inte ens enskild token) markant och som jag redan argumenterat redan innan den genererat token sekvensen, det är bara inte rimligt och GPT-3 kan som sagt inte göra det som bygger på exakt samma arkitektur, jag tror inte ett skit på att en sådan mycket djupare kontext förståelse för ord som "ersätt" skulle framträda bara man matar den med mer irrelevant data, GPT-3 borde ha sett ordet i samma sammanhang minst lika mycket, arkitekturen ska vara samma (men det är ju just det som är problemet att OpenAI är allt annat än transparenta angående detta och varför är dom inte det? Vad skulle det spelar för roll om de berättade att modellen har 100 miljarder parametrar och är en modell, ingen skulle få ut någon som helst information om detta och företag som Meta osv som redan håller på att tugga på med sina egna modeller kör vidare på samma spår. Så vad är då anledningen? Jag tror den är så enkel att GPT-4 är ett fuskbygge som kombinerar flera tekniker och man gjort detta för att man inte kan skala tekniken ytterligare- att nämna detta publikt skulle få finansierer att dra öronen åt sig oavsett hur bra produkten fungerar, alla sitter ju och väntar på GPT-4.5 och GPT-5 osv nu som ska revolutionera världen och flera av talespersonerna har i stort sett lovat att det bara handlar om att skala upp modellerna så inträder magi).

Så nej jag har inte blivit religös och börjat se GPT-4 som en livsform eller något sådant.

Ytterligare synpunkter är också och det är det som är märkligast i detta, varför är OpenAIs GPT-4 den enda modellen i världen som har så bra överlag prestanda och dom är som sagt knäpptysta om det.

De är långt från de enda i världen som forskar och forskat på språkmodeller.

Nvidia hade sin Megatron modell som var flera resor större än vad GPT-3 var när OpenAI lanserade, det har inte förekommit ett enda rykte om att den skulle uppvisa några exceptionellt intelligenta beteenden.
Utöver det har de varit väldigt transparenta, de har slagit i taket för hur stor modell de kan göra- men OpenAI har tydligen inget sådant problem (eller just ja det vet vi ju inte eftersom de inte släppt några detaljer, det är ju mest journalister som suttit och gissat storlekar osv på hundratals miljarder parametrar och samtidigt skriver tillverkaren av hårdvaran som används att det är svårt att skala modellerna)

Training such models, however, is challenging for two main reasons:

It is no longer possible to fit the parameters of these models in the memory of even the largest GPU.
The large number of compute operations required can result in unrealistically long training times, if special attention is not paid to optimizing the algorithms, software, and hardware stack all together.



https://developer.nvidia.com/blog/us...anguage-model/

Men det har OpenAI löst tydligen, "tekniken som skalar i oändlighet helt exponentiellt". Eller har de det tro? Kanske är det så att jag har väldigt rätt i att det ligger både en och två hundar begravna här?

Sen har du andra sidan av industrin- Meta som är väldigt transparenta men sitter och trälar med förhållandevis små modeller som nätt och jämt börjar komma i fatt GPT-3.5 i prestanda, de är långt ifrån att ta sig an GPT-4 (annat än i vissa specifika syntetiska tester som de kan vara nära men praktiskt är det dag och natt skillnad på dom...).

Och språkmodeller i helhet sitter folk och puttrar på överallt i världen, skulle tro var och varanat universitet sitter och gör sina egna... Problemet är främst att det krävs sjujävlars hårdvara att skala upp och köra dessa...

I Sverige är förmodligen den mest kända modellen GPT-SW3 som tränas och körs på den starkaste superdator vi har för AI i Sverige ( https://www.nsc.liu.se/systems/berzelius/ )

Om man lyckas fejka en guldtacka på den nivån att man inte kan motbevisa att det är en guldtacka, då är det rimligast att säga att den är äkta. Har en AI samma egenskaper som en människa så skulle man lika gärna kunna kalla den för människa.

I varje fall konstigt det han säger. För att man "tror" så har han väl inte avslöjat livets innersta väsen? Har väl inget med tro att göra. Antingen har han avslöjat livets innersta väsen eller inte.

Och en illusion betyder väl att det INTE är. Alltså en ILLUSION av liv är ju då INTE ett liv. Är det inte en illusion när man tror att det är ett liv, ja, då är det ett liv.

Flummigt.

Jag gillar dock uttrycker AI-robot eftersom det är vanligt att man kallar botar för AIs vilket är förvirrande. AI handlar ju om att härma neuronala nätverk med någon typ av algoritm, det skiljer sig mycket från robotar. Robotar är ju gjorda för att göra något effektivt automatiserat, t.ex. en målsökande missil är en slags robot. Låt säga att man hatade hundar, då skulle man behöva en AI-robot för att roboten ska kunna skilja mellan katt och hund.

Om man skulle vilja prata om robotens AI skulle man behöva särskilja roboten från AI:n och vice versa, det kan man ju inte göra så enkelt om man kallar båda för AI.

Att kalla det för AI-robot visar att man i alla fall förstår robotens och AI:ns "inre väsen". Hur människor tänker, däremot, kommer fortsättningsvis vara ett olöst mysterium.