Llama 2 a Apple GPT
Meta opět v centru dění – i díky partnerství s Microsoftem.
Vydání #16:
Meta model Llama 2
Zvěsti o LLM od Applu
Personalizace v ChatGPT a specifické instrukce
Defensibilita a “moat” pro AI startupy
Šéf britské rozvědky o dopadu AI na jeho profesi
🏆 Zprávy týdne
Meta vydává Llama 2, svůj open-source LLM pro výzkumné i komerční užití
Jak jsme nedávno psali, největší konkurencí startupů vyvíjející open-source modely, bude Meta. Uvedení modelu Llama 2 i pro komerční užití může výrazně změnit LLM trh.
Model vychází ve třech velikostech, 7B, 13B, 70B parametrů a k tréninku byla využita veřejná online data. Fine-tunovaný Llama-2-chat využívá veřejné instruktážní datasety a >1 mil. lidských anotací.
Na rozdíl od předchozí verze Llama 1 byla dvojka trénovaná na o 40 % větším množství dat a má dvojnásobné kontextové okno.
Díky partnerství s Microsoftem bude k dispozici v rámci Azure. Tento krok velmi překvapil a ukázal, že MSFT nechce být jen exkluzivní distribucí pro OpenAI.
Spolupráce s Qualcommem pak dostane v 2024 model do telefonů a PCs. Toto otevírá velké množství příležitostí a aplikací pro AI asistenty všeho druhu.
Llama 2 bude také k dispozici v rámci AWS, Hugging Face, a dalších poskytovatelů.
Možnost vyzkoušet si chat v rámci Llama 2 nabízí např. Perplexity.
Apple údajně pracuje na vlastním LLM
O aktivitách Applu v oblasti LLM spekuloval WSJ v květnu, tehdy se mluvilo jen velmi obecně o tom, že pracuje na ChatGPT podobné technologii.
Na vlastním frameworku Ajax, jenž má využívat Google Cloud a Google Jax, má Apple stavět nástroj s podobnými funkcemi jako ChatGPT nebo Bard. Někteří zaměstnanci by k němu již měli mít přístup pro omezené firemní využívání.
Bloomberg reportuje, že Apple nemá jasnou strategii uvedení na trh, k velkému oznámení by ale mělo dojít příští rok.
Apple pokračuje v nabírání seniorního technického talentu v generativní AI, celkově ale oznámení nic nemění na tom, že ze skupiny Meta, Google, Amazon, Microsoft, zůstává na chvostu AI závodu.
⏩ Ve zkratce
Google pracuje na AI nástroji s názvem Genesis, jenž má umět psát zpravodajské články. Google již Genesis představil několika mediálním firmám (např. News Corp). Novináři se opět obávají.
Personalizace ChatGPT v rámci “Custom Instructions”. Funkce je dostupná v rámci beta přístupu pro Plus uživatele (všude mimo UK a EU). Umožňuje nastavení dvou výchozích promptů, každý o max. 1500 znacích. V rámci jednoho zadáváte informace o sobě, v druhém dáváte pokyn pro způsob odpovídání. Ukázka promptu Sama Altmana.
Microsoft oznámil Bing Chat Enterprise a zpoplatnění kopilota ve Windows. Bing Chat ve firmách řeší především ochranu firemních dat, zpoplatnění v rámci 365 ve výši $30 na jednotlivce pak znamená příslib zajímavých tržeb. Wall Street likes it.
Wix oznámil nový nástroj na generování webů na základě promptů v přirozeném jazyce. Zatímco Webflow nabídlo spíše pomocníka pro tvorbu, AI Site Generator od Wixu vytváří celé stránky.
Šéf britské rozvědky MI6 v Praze mluvil mj. i o AI a jejím vlivu na druhé nejstarší řemeslo. Tvrdí, že AI je již nyní pro zpravodajce cenným kopilotem, jejich práci ale nenahradí – naopak, získávání informací z lidských zdrojů nabyde na důležitosti.
Splunk spouští Splunk AI – set AI nástrojů pro svou bezpečnostní platformu.
Qualtrics tvrdí, že v příštích čtyřech letech utratí za AI $500M.
💰Investice
Britský jednorožec Tractable získává $65M v rámci Series E vedené Softbank. Firma využívá AI k oceňování poškození aut a majetku.
Futureverse získal $54M v rámci Series A. Vedoucím investorem byla 10T Holdings. Rok starý startup vytvořil sadu nástrojů pro generování obsahu určenou k vylepšování hudby, objektů, postav a animací v hrách metaverzu.
Americká firma Cognaize získala $18M na vytvoření lepšího LLM pro finanční sektor. Kolo vedlo Argonautic Ventures.
Společnost Unstructured, která nabízí nástroje pro přípravu podnikových dat pro LLM, získala $25M v rámci Series A. Kolo vedla Madrona s účastí Bain Capital Ventures.
Cleanlab, americký startup zaměřený na přípravu a čištění dat pro LLMs, získal $5M v rámci seed kola vedeného Bain Capital Ventures.
Tenderd, pět let stará dubajská analytická platforma s AI pro provoz vozových parků, získala nezveřejněnou částku od Saudi Aramco.
📚 Co si přečíst
䷉ Kdy kopat příkopy? A jakou defensibilitu mají AI startupy? Dobré čtení na téma strategie.
"There’s probably a rule in here somewhere: the easier it is for you to raise money, the more immediately you need moats."
䷉ Zhoršují se schopnosti GPT-4? Interpretace velmi sdílené studie říká, že ano, AI výzkumníci z Princetonu tvrdí, že se mění jen chování, nikoli schopnosti.
䷉ Sifted vydal přehled evropských hráčů nabízející modely. Tl;DR: Mistral AI, Aleph Alpha, Stability AI, Dust, Silo AI, Lighton, či Nyonic.
䷉ Emad Mostaque (Stability) reaguje na obvinění ze strany svého spoluzakladatele.
䷉ BBC vydalo přehled 30 pojmů v AI (pro netechnické lidi).
🐦 Výběr z Twitteru
Mike Speiser (Sutter Hill Ventures) patří mezi nejvýznamnější investory a stavitele firem (např. Snowflake) v Silicon Valley.
Sergey Brin je podle WSJ zpátky v Googlu a pomáhá s vývojem Gemini.
Ani Sam Altman nevynechal tento víkend příležitost k filmové kritice.
🤖 a 👬
Trendující zkratka e/acc znamená Effective Accelerationism. Jde o ideologii/hnutí s cílem maximálního zrychlení AI/tech vývoje pro dosažení univerzální prosperity.
