- Gpt-oss:20b is een open model dat iedereen op zijn computer kan installeren en uitvoeren
- We hebben een apparaat nodig met minimaal 16 GB VRAM of uniform geheugen
- We gebruiken de app Ollama, die werkt op zowel Windows als Mac en Linux
OpenAI heeft nieuwe modellen open source aangekondigd die iedereen kan downloaden en op zijn computer kan installeren: gpt-oss. Met de komst hiervan is er een geweldige mogelijkheid ontstaan om te experimenteren met AI lokaal, dat wil zeggen het op je computer te starten, dus vandaag laten we je zien hoe je ze kunt installeren en gebruiken.
Verschillen tussen de twee modellen
Ondanks de vergelijkbare naam zijn gpt-oss-120b en gpt-oss-20b niet hetzelfde en hebben ze niet dezelfde vereisten. Het eerste model, gpt-oss-120b, bereikt een prestatie die dicht in de buurt komt van OpenAI o4-mini en vereist minimaal 60 GB grafisch geheugen.
Zijn kleine broertje, gpt-oss-20b, is iets minder krachtig (volgens OpenAI vergelijkbaar met o3-mini), maar kan wel op edge-apparaten draaien. Met andere woorden, je kunt hem op je computer draaien als deze minimaal 16 GB geheugen heeft, bij voorkeur grafisch.
Samenvatting:
- gpt-oss-120b: groot model, vereist minimaal 60 GB VRAM of gecombineerd geheugen en is niet geschikt voor consumentencomputers.
- gpt-oss-20b: kleiner model, vereist 16 GB VRAM of gecombineerd geheugen en is geschikt voor consumentencomputers.
Om voor de hand liggende redenen zullen we gpt-oss-20b gebruiken.
Waar u rekening mee moet houden
Het starten van een dergelijke AI op een lokale computer is een resource-intensief proces dat kan leiden tot een aanzienlijke vertraging van uw computer. Hoewel u het kunt starten met 16 GB RAM, is het ideaal als uw computer is uitgerust met een krachtige grafische processor.
Wat gebeurt er als uw computer minder dan 16 GB VRAM heeft? De tool zal RAM gebruiken dat gelijk is aan of groter is dan 16 GB. Anders werkt het systeem niet correct. Als algemene regel geldt dat u alle beschikbare bronnen van uw computer moet vrijmaken voor het uitvoeren van het model, dus sluit alles wat niet strikt noodzakelijk is.
Installeer Ollama op uw computer
Voor deze les gebruiken we een vrij bekende applicatie: Ollama. Dit is een open platform dat de installatie, toegang en het gebruik van LLM (Large Language Models) aanzienlijk vereenvoudigt. Laten we zeggen dat het een uitvoeringsmiddel voor modellen is.
ChatGPT is een online platform waarmee we communiceren met een model zoals GPT-4o. Ollama is hetzelfde, maar dan lokaal en met modellen die op onze computer zijn geïnstalleerd. Het is gratis open source software die beschikbaar is voor Windows, Mac en Linux.
Download gpt-oss
Nadat we het programma hebben gedownload en op onze computer hebben geïnstalleerd, zien we een interface die er ongeveer zo uitziet. Als je wilt, kun je Ollama ook op de oude manier gebruiken, via de opdrachtregel, maar de grafische interface is eigenlijk veel handiger.
Als je kijkt, zie je in de rechterbenedenhoek een vervolgkeuzelijst met de naam van het model dat we gebruiken of, beter gezegd, gaan gebruiken.
Door op de vervolgkeuzelijst te klikken, krijgen we toegang tot een hele reeks modellen, zoals Deepseek R1, Gemma of Qwen. In dit geval moeten we “gpt-oss:20b” selecteren.
Nadat je “gpt-oss:20b” hebt geselecteerd, hoef je alleen maar een bericht in de chat te sturen om het downloaden van het model te starten. Even geduld, want het bestand is 12,8 GB groot en het kan even duren.
Na de installatie kunt u met de AI communiceren, net als met ChatGPT. Als uw grafische processor echter niet aan de minimale vereisten voldoet, zult u merken dat het veel langzamer werkt dan ChatGPT. U start het model immers op uw computer en niet in een macrodatacenter dat is uitgerust met de nieuwste grafische processors van NVIDIA.
Een ander alternatief: LM Studio
Ollama heeft het voordeel dat het intuïtief, eenvoudig en duidelijk is. Als u meer mogelijkheden nodig hebt, is LM Studio een veel uitgebreider programma. Het is beschikbaar voor Windows, Linux en Mac en kan, net als Ollama, meerdere modellen beheren, gpt-oss:20b inbegrepen.
Dit is een meer geavanceerde applicatie waarmee u zowel het gedrag van de computer als dat van het model beter kunt aanpassen, hoewel voor maximale efficiëntie meer geavanceerde kennis vereist is.
