Vydání #32:
Návrat Sama Altmana do čela OpenAI
Nové modely od Anthropicu, Inflection, Stability, Intelu
3 izraelské AI investice
Úvod do LLMs od Karpathyho a záznamy z konference Converge
Kurzy genAI od Amazonu
🏆 Zprávy týdne
Sam Altman bude opět CEO OpenAI
Minulý newsletter končil tím, že Altman a Brockman nastoupili do Microsoftu.
Jen pár minut poté však přišly o zprávy o dopisu zaměstnanců OAI, který vyhrožoval jejich rezignací – pokud se Altman a Brockman nevrátí (v jednu chvíli >745 ze 770 lidí). Na 12. místě byl podepsaný Ilya Sutskever, který hrál klíčovou roli v Altmanově odejití.
V tuto chvíli víme, že Altman a Brockman se vrací a změní se složení dozorčí rady. Zůstat by měl D’Angelo, kterého doplní Larry Summers (bývalý US ministr financí) a Bret Taylor (ex-Salesforce) jako předsedající. Mluví se taky o tom zda jedno z míst připadne Microsoftu.
Emily Changová z Bloombergu uvedla, že Sam Altman chtěl být členem rady a chtěl, aby Adam D'Angelo odstoupil. Altman však prozatím zůstává mimo radu a D'Angelo zůstává.
Velké ohlasy vyvolaly výstupy Reuters a The Information o Q*, AI pokroku, který měl vyvolat obavy výzkumníků a přispět ke konci Altmana. V principu by mělo jít o další milník, kdy by AI měla dokázat spolehlivě řešit matematické úlohy na úrovni základní školy, a pokročit v plánování. Opět by se tak hranice posunuly k AGI. Jak uvádí LeCun, zřejmě se jedná o nezasloužený hype.
Další zajímavosti z této ságy:
Post OpenAI CEO před Emmetem Shearem měli nabídnout i Alexandru Wangovi (CEO Scale AI) nebo Natu Friedmanovu (ex-CEO GitHub) – oba odmítli.
Rada měla v jednu chvíli údajně oslovit Anthropic s nabídkou na fúzi – Anthropic měl odmítnout.
V průběhu celé věci se konkurenti snažili přilákat odcházející zaměstnance OpenAI (velmi otevřeně např. Elon Musk a generální ředitel Salesforce Marc Benioff).
Objevil se velmi ostrý dopis od bývalých zaměstnanců OpenAI, který lze kvůli anonymitě jednoduše shodit ze stolu. Na druhou stranu, naznačuje, že sluníčková (či srdíčková?) nátura OAI může mít i další odstíny.
Poučení z dalšího zvláštního týdne: Čtení The Information a hodiny sjíždění X mohou vytvořit iluzi porozumění celé kauze. A taky jasné závěry, jak šlo o převrat efektivních altruistů a v principu šlo jen o ideologii. Spolehlivé důkazy však nemáme, žádné poctivé vyšetřování neproběhlo => pořádně nevíme nic.
Anthropic vydal Claude 2.1.
kontextové okno 200k tokenů, v současnosti největší na trhu (na DevDay představilo OpenAI 128k) – pro platící zákazníky.
až 2x méně halucinací a přesnější výsledky.
zajímavé je zhodnocení výkonu většího kontextového okna - ukazuje se např., že skutečně záleží na tom, co je na začátku a konci dokumentu.
Inflection vydalo Inflection-2
Inflection, startup Reida Hoffmana a Mustafy Suleymana, vydal svůj nový LLM Inflection-2. Tvrdí, že je to po GPT-4 druhý nejlepší LLM na světě.
Nezveřejnili žádné podrobnosti o velikosti modelu, pouze několik selektivních srovnání s modely. Tvrzení o druhém nejlepším LLM je tedy poněkud na vodě. Výkon v benchmarcích je však stále působivý a řadí jej mezi 3-4 nejlepší LLM vedle GPT-4 a Claude 2.
Inflection-2 bude brzy pohánět produkt PI (zkratka pro personal intelligence). Inflection-2 byl trénován na GPUs H100 (namísto A100), což vedlo k nižším nákladům a vyšší rychlosti, přestože je mnohem větší než Inflection-1.
⏩ Ve zkratce
Stability AI vydalo svůj první model pro generativní video založený na obrazovém modelu Stable Diffusion. Meta nedávno představila Emu Video.
V Evropě vznikl další důležitý hráč v open-source. Kyutai se sídlem v Paříži získal do startu €300M a podporu Erica Schmidta. Má jít o neziskový lab, jehož cílem je vědecký pokrok v oblasti AI.
Intel vydal fine-tunovaný 7B model (založený na Mistral 7B) – měl by patřit mezi nejlepší modely v kategorii.
ChatGPT s hlasem je dostupný všem uživatelům, nejen platícím.
ElevenLabs vydal převodník řeči na řeč, který vám umožní zdarma změnit hlas. Potenciální využití zahrnuje vytváření vlastních hlasů pro hry, videa a podcasty pomocí libovolného zvukového vzorku jediným kliknutím.
Německo, Francie a Itálie dosáhly rámcové dohody o budoucí regulaci AI - shodly se, že regulovat se mají aplikace AI, nikoli technologie samotná.
Bill Gates pro Fortune: v budoucnu nás díky AI čeká možná i třídenní pracovní týden.
Meta rozpustila svůj tým zodpovědné umělé inteligence. Zaměstnanci se přesunou do jiných AI týmů, zejména pro generativní AI a infrastrukturu.
CEO a spoluzakladatel společnosti Cruise odstoupil poté, co Cruise ztratila v Kalifornii povolení pro provoz jejich samořiditelných aut.
V C3.ai údajně propustili neznámý počet lidí z "výkonnostních" důvodů a kvůli snížení nákladů. Firma, jejíž akcie zažily tento rok slušnou jízdu, je nadále předmětem spíše skeptických investičních úvah.
Grok od xAI by měl dostupný všem premium předplatitelům X již tento týden.
Googlovský Bard může výborně pomáhat s pochopením YouTube videí.
📚 Co si přečíst a zhlédnout
▶️ Andrej Karpathy vytvořil hodinové intro do LLMs pro zaneprázdněné lidi.
▶️ Platforma pro investiční výzkum Tegus měla virtuální konferenci Converge. Spousta videí stojí za zhlédnutí (zejména pro buy side). O AI mluvil např. Daniel Gross.
䷉ CNBC se podívala na netradiční přístup Mety v rámci open-source.
䷉ Esej o strategii a OpenAI na blogu Not Boring.
🎓 Amazon vydal řadu kurzů o AI pro technické i netechnické publikum.
📆 Pozvánka na akci
Dorazte na další díl otevřeného AI eventu v režii GLAMI. Jak z milionů možností vyberete jen těch pár, které jsou pro daného uživatele relevantní, i když s ním máte jen minimální historii?
💰Investice
🇮🇱 A121 Labs získala $53M v rámci rozšiřujícího kola Series C při ocenění $1.4B. Šest let starý startup z Tel Avivu vyvíjí vlastní modely i produkty (jako např. Wordtune).
🇮🇱 Munch získal $7.2M v seed kole vedeném společností A Capital. Dva roky starý startup z Tel Avivu využívá AI k tvorbě krátkých klipů z delších videí.
🇮🇱 Lasso Security získala $6M dolarů v rámci seed kola vedeného společností Entrée Capital. Startup založený v tomto roce poskytuje organizacím bezpečný způsob nasazení LLM v aplikacích.
🇬🇧 Phare Health získal $3.1M v seed kole vedeném společností General Catalyst. Startup pomáhá nemocnicím při řízení zdrojů a úhradě nákladů - AI pro zdravotnický back office.
🇦🇹 blackshark.ai získal €3.8M v rámci rozšiřujícího kola Series A. Platforma pro geoprostorové informace je známá i tím, že vytváří digitální dvojče planety Země.
🇺🇸 Defog získal $2.2M v rámci seed kola. Startup Y Combinatoru buduje LLMs pro datovou analýzu.
🆇 Výběr z X
Historická analogie se nakonec naplnila.
Na první pohled relevantní myšlenka hlavně pro LLMOps, ale jak dodává Beniach v reakci pod příspěvkem, cesta do velkých firem (enterprise) vede pro AI startupy převážně přes koncové zákazníky / prosumers / startupy.
Konverzace o produktech a cenách před nákupem se bude víc a víc odehrávat v rámci LLMs. Jako jeden z prvních nabídl tyto funkce vyhledávač You.
O tom, že kopilot je strategie ideální pro zavedené hráče, psal nedávno Matt Rickard.
🤖 a 💙
Spokojenost je na místě, nejdůležitější AI lab světa je snad stabilizovaný. Radost pak mnoha zaměstnancům přinese i očekávaný prodej jejich akcií při valuaci $86B.