Code Llama a fine-tuning GPT-3.5

Velká investice do HuggingFace 20 dalších.

fdalecky

Aug 28, 2023

Vydání #20:

Meta vydává model na generování kódu Code Llama
OpenAI nově umožňuje fine-tuning GPT-3.5 Turbo
HuggingFace získává investici ve výši $235M
Elad Gil píše o vlnách vývoje v AI

🏆 Zprávy týdne

Meta vydává Code Llama

Podobně jako GitHub Copilot a Amazon CodeWhisperer, nebo OSS nástroje StarCoder, StableCode a PolyCoder, dokáže dokončit kód a ladit stávající kód v celé řadě programovacích jazyků, včetně Pythonu, C++, Javy, PHP, Typescriptu, C# a Bash.
Model je postavený na Llama 2 a je k dispozici ve třech variantách a třech velikostech (7B, 13B a 43B). Vychází jako open-source.
Může běžet i lokálně (na vlastním zařízení) bez nutnosti využívat API.
Limit kontextu 100k tokenů, ale načítání selhává po 16k tokenech, což znamená, že Code Llama zvládne spravovat ~10 000 řádků kódu.
Horší než ChatGPT-4 ve většině aspektů, ale levnější na provoz.

Fine-tuning GPT-3.5 Turbo

OpenAI nyní umožňuje vývojářům přinést vlastní data pro přizpůsobení (fine-tuning) modelu GPT-3.5 Turbo jejich konkrétním případům užití. Fine-tuning GPT-4 bude možný na podzim.
První testy ukázaly, že upravená (fine-tuned) verze GPT-3.5 Turbo může dosahovat nebo dokonce překonávat schopnosti základního modelu GPT-4 na určitých úzkých úlohách.
K čemu to může být užitečné:
- Zlepšení ovladatelnosti: fine-tuning umožňuje podnikům lépe ovládat model, například aby odpovědi byly stručnější nebo aby vždy odpovídaly v daném jazyce.
- Spolehlivé formátování výstupu: fine-tuning zlepšuje schopnost modelu konzistentně formátovat odpovědi.
- Vlastní tón: fine-tuning je skvělý způsob, jak vylepšit kvalitativní vlastnosti výstupu modelu, jako je jeho tón, aby lépe odpovídal hlasu značky podniků.
Přestože cenově vychází fine-tuning lépe než GPT-4 a v některých úlohách může být zřejmě dostatečný, pořád je násobně dražší než ChatGPT-3.5 Turbo. Více o nacenění zde.

⏩ Ve zkratce

Meta představila model "SeamlessM4T", který dokáže přeložit řeč z jednoho jazyka do 100 jiných jazyků. Model umí převod řeči na text, převod řeči na řeč, převod textu na řeč a převod textu na text.
Microsoft údajně plánuje začít prodávat novou verzi Databricks prostřednictvím Azure, což by mohlo mít negativní vliv na business OpenAI. Databricks umožňuje firemním klientům vytvořit si modely vlastní nebo využít open-source modely.
Nvidia vykázala ve druhém čtvrtletí tržby ve výši $13,51B a překonala tak i optimistické odhady analytiků. Ve třetím kvartále očekává tržby kolem $16B.
Korejský Naver oznámil spuštění HyperCLOVA X, svého velkého jazykového modelu nové generace, na němž je postaven chatbot CLOVA X.
40 % pracovníků bude muset kvůli AI v příštích třech letech změnit kvalifikaci, říká studie IBM.
Specifické instrukce v ChatGPT jsou konečně dostupné i v EU.
Figma přidává generativní AI do svého ideačního a kolaborativního nástroje FigJam.
Twilio představilo přidání nových AI produktů a funkcí.
Regulační orgány nařídily Cruise, aby po nehodě zredukovala flotilu robotaxíků o 50 %.

💰Investice

Hugging Face získává $235M Series D při valuaci $4.5B. Investuje Salesforce, Google, Nvidia, Amazon.
Genesis Therapeutics, společnost zaměřená na hledání léků pomocí AI, získala $200M.
Modular, startup vytvářející platformu pro vývoj a optimalizaci AI systémů, získal $100M v kole vedeném General Catalyst
Poolside, americký AI startup, získal seed financování ve výši $126M a přestěhoval se do Francie. Chtějí vytvořit AI, která bude vytvářet celé aplikace a generovat kód na základě přirozeného jazyka.
Bývalí výzkumníci z Mety získali $40M od Lux Capital pro AI biotechnologický startup.
Ikigai Labs získal Series A financování ve výši $25M. Startup nabízí velkým firmám platformu doručující informace pro lepší rozhodování.
ZeroEyes získal $23M. Startup poskytuje software pro detekci zbraní na bázi AI a inteligentní situační povědomí.
Ideogram se sídlem v Torontu spustil svou text to image platformu se seed financováním $16.5M. Kolo vedly firmy Andreessen Horowitz (a16z) a Index Ventures.
Clockworks Analytics, který používá AI k monitorování systémů HVAC budov, získal $16.1M.
Arkifi získal více než $9M pro AI nástroje pro finanční analytiku.
The Contract Network získala seed financování ve výši $8M. Startup využívá AI pro práci s právními kontrakty.
Sizzle AI získala seed financování ve výši $7.5M. Edtech aplikace na problem-based learning.
Modyfi, "AI-native" editor obrázků, získal seed financování ve výši $7M.
Kombai, který pomáhá převádět návrhy UI do kódu pomocí AI, oznámil seed financování ve výši $4.5M.
Wand.app získal seed financování ve výši $4.2M. Startup vytváří AI nástroje pro umělce.
Portkey získal seed financování ve výši $3M. LLMOps nástroj na monitoring a management modelů.
Lex získal seed financování ve výši $2.75M. Jde o nástroj pro psavce.
LighthouseAI získal seed financování ve výši $2.3M. Dělají AI nástroj pro compliance ve farmaceutickém průmyslu.
Writerly získal $2M na AI nástroje pro psaní.
Dipp, který používá AI získal seed ve výši $1.5M. Pomáhá dělat spolupráci designéru a marketérů efektivnější.
Irreverent Labs, video generátor v minulosti podpořený a16z, získává investici v nezveřejněné výši od Samsung Next.

📚 Co si přečíst a zhlédnout

䷉ Elad Gil píše o vlnách v AI vývoji a říká, že ta současná je teprve na začátku.

䷉ VC z Benchmarku nabízí zajímavou perspektivu: jedna věc je pokračovat v SaaS módu a prodávat AI produkty jako software na vylepšení produktivity; druhá pak prodávat řešení, co odvede kompletní práci.

🎧 20PRODUCT podcast se Howie Liuem, zakladatelem Airtable. Nejzajímavější je část o tom, jak velké firmy nahlíží na adopci AI.

▶️ Bloomberg rozhovory Satya Nadellou a Samem Altmanem. Spíše infotainment.