Het open source GPT-gesprek heeft een nieuwe stap voorwaarts gezet met de release van het Dolly Large Language Model (DLL), ontwikkeld door Databricks, een bedrijf voor bedrijfssoftware. De nieuwe ChatGPT-kloon heet Dolly, genoemd naar het beroemde schaap met die naam, het eerste gekloonde zoogdier.
Open source-modellen voor grote talen
De Dolly LLM is de nieuwste manifestatie van de groeiende open source AI-beweging, die tot doel heeft meer toegang tot de technologie te bieden, zodat deze niet wordt gemonopoliseerd en gecontroleerd door grote bedrijven. Een van de zorgen die de open source AI-beweging aandrijven, is dat bedrijven misschien terughoudend zijn om gevoelige gegevens over te dragen aan een derde partij die de AI-technologie beheert.
Gebaseerd op open source
Dolly is ontwikkeld op basis van een open-sourcemodel dat is ontwikkeld door het EleutherAI Research Institute zonder winstoogmerk en het Alpaca-model van Stanford University, dat zelf is ontwikkeld op basis van het open-source LLaMA-model met 65 miljard parameters dat is ontwikkeld door Meta. LLaMA, wat staat voor Large Language Model Meta AI, is een taalmodel dat is gebouwd op openbaar beschikbare gegevens. Volgens het Weights & Biases-artikel kan LLaMA beter presteren dan veel van de beste taalmodellen (OpenAI GPT-3, Deep Mind’s Gopher en DeepMind’s Chinchilla), ondanks dat het kleiner is.
Bouwen aan een betere dataset
Een andere inspiratie kwam van een academisch onderzoeksartikel (SELF-INSTRUCT: Aligning Language Model with Self Generated Instructions PDF) waarin een manier werd beschreven om automatisch gegenereerde Q&A-trainingsgegevens van hoge kwaliteit te creëren die superieur zijn aan beperkte openbare gegevens.
Het onderzoeksdocument van Self-Instruct legt uit:
“… we stellen een reeks door experts geschreven instructies samen voor nieuwe taken en laten in menselijke evaluatie zien dat GPT3-foutopsporing met behulp van SELF-INSTRUCT aanzienlijk beter presteert dan bestaande openbare instructiedatasets, waardoor er slechts een absolute kloof van 5% overblijft met InstructGPT… … Met onze methode voor vanilla GPT3 demonstreren we een absolute verbetering van 33% ten opzichte van het originele SUPERNATURALINSTRUCTIONS-model, wat qua prestaties gelijk is aan InstructGPT…, dat is getraind met behulp van persoonlijke gebruikersgegevens en menselijke opmerkingen. Het belang van Dolly is dat het laat zien dat een bruikbaar model van een grote taal kan worden gebouwd met een kleinere maar hoogwaardige dataset.
Databricks-opmerkingen:
“Dolly werkt door een bestaand open source 6 miljard parametermodel van EleutherAI te nemen en het lichtjes aan te passen om begeleiding te bieden bij mogelijkheden zoals brainstormen en tekstgeneratie die niet aanwezig zijn in het originele model met behulp van Alpaca-gegevens.” …We laten zien dat iedereen een legacy open source Large Language Model (LLM) kan nemen en het magische ChatGPT-achtige instructies kan geven, en het in 30 minuten kan trainen op een enkele machine met behulp van hoogwaardige trainingsgegevens. Verrassend genoeg lijken de nieuwste of grootste modellen niet nodig te zijn om de instructies te volgen: ons model heeft slechts 6 miljard parameters, vergeleken met de 175 miljard van GPT-3.
Databricks open source AI
Dolly zou AI democratiseren. Het maakt deel uit van een kledingbeweging waartoe onlangs Mozilla is toegetreden, een non-profitorganisatie die Mozilla.ai heeft opgericht. Mozilla is de uitgever van de Firefox-browser en andere open source software.
Lees de volledige Databricks-aankondiging:
Hallo Dolly: de magie van ChatGPT democratiseren met open modellen