GPT4All is een open-source initiatief dat de toegang tot krachtige taalmodellen op Ubuntu/Debian Linux-systemen democratiseert. Of je nu een onderzoeker, ontwikkelaar of enthousiasteling bent, vandaag voorzien we je van de kennis om effectief gebruik te maken van het GPT4All ecosysteem.
GPT4All is een open-source software-ecosysteem dat wordt beheerd door Nomic AI en is ontworpen om het trainen en inzetten van grote taalmodellen (LLM's) op conventionele hardware te vergemakkelijken. Dit initiatief ondersteunt meerdere modelarchitecturen, waaronder GPT-J, LLaMA, MPT, Replit, Falcon en StarCoder, voor verschillende gebruikssituaties en vereisten.
Voordat je begint met het installatieproces, moet je ervoor zorgen dat je systeem voldoet aan de minimale vereisten. Je hebt een CPU nodig met AVX- of AVX2-ondersteuning en ten minste 8GB RAM voor basisbewerkingen. Maar om de mogelijkheden van GPT4All volledig te benutten, is meer RAM (tot 16GB) aan te raden. In tegenstelling tot traditionele LLM's die veel resources vereisen, zijn de modellen van GPT4All geoptimaliseerd voor efficiëntie en vereisen ze aanzienlijk minder opslag- en rekenkracht.
Er zijn twee GPT4All versies beschikbaar, een terminal en een grafische desktop versie.
Volg deze stappen om de GPT4All terminalopdracht op je Linux-systeem te installeren:
dany@pindabook:~$ sudo apt install -y python3-venv python3-pip wget
[sudo] wachtwoord voor root:
Pakketlijsten worden ingelezen... Klaar
Boom van vereisten wordt opgebouwd... Klaar
De statusinformatie wordt gelezen... Klaar
wget is reeds de nieuwste versie (1.21.3-1+b2).
De volgende extra pakketten zullen geïnstalleerd worden:
binutils binutils-common binutils-x86-64-linux-gnu build-essential dpkg-dev fakeroot g++ g++-12 gcc gcc-12
libalgorithm-diff-perl libalgorithm-diff-xs-perl libalgorithm-merge-perl libasan8 libatomic1 libbinutils
libc-dev-bin libc-devtools libc6-dev libcc1-0 libcrypt-dev libctf-nobfd0 libctf0 libdpkg-perl libexpat1-dev
libfakeroot libfile-fcntllock-perl libgcc-12-dev libgprofng0 libitm1 libjs-sphinxdoc liblsan0 libnsl-dev
libpython3-dev libpython3.11-dev libstdc++-12-dev libtirpc-dev libtsan2 libubsan1 linux-libc-dev make
manpages-dev python3-dev python3-distutils python3-lib2to3 python3-pip-whl python3-setuptools
python3-setuptools-whl python3-wheel python3.11-dev python3.11-venv rpcsvc-proto zlib1g-dev
Voorgestelde pakketten:
binutils-doc debian-keyring g++-multilib g++-12-multilib gcc-12-doc gcc-multilib autoconf automake libtool flex
bison gcc-doc gcc-12-multilib gcc-12-locales glibc-doc bzr libstdc++-12-doc make-doc python-setuptools-doc
De volgende NIEUWE pakketten zullen geïnstalleerd worden:
binutils binutils-common binutils-x86-64-linux-gnu build-essential dpkg-dev fakeroot g++ g++-12 gcc gcc-12
libalgorithm-diff-perl libalgorithm-diff-xs-perl libalgorithm-merge-perl libasan8 libatomic1 libbinutils
libc-dev-bin libc-devtools libc6-dev libcc1-0 libcrypt-dev libctf-nobfd0 libctf0 libdpkg-perl libexpat1-dev
libfakeroot libfile-fcntllock-perl libgcc-12-dev libgprofng0 libitm1 libjs-sphinxdoc liblsan0 libnsl-dev
libpython3-dev libpython3.11-dev libstdc++-12-dev libtirpc-dev libtsan2 libubsan1 linux-libc-dev make
manpages-dev python3-dev python3-distutils python3-lib2to3 python3-pip python3-pip-whl python3-setuptools
python3-setuptools-whl python3-venv python3-wheel python3.11-dev python3.11-venv rpcsvc-proto zlib1g-dev
0 opgewaardeerd, 55 nieuw geïnstalleerd, 0 te verwijderen en 0 niet opgewaardeerd.
Er moeten 67,7 MB aan archieven opgehaald worden.
Na deze bewerking zal er 272 MB extra schijfruimte gebruikt worden.
Ophalen:1 http://deb.debian.org/debian bookworm/main amd64 binutils-common amd64 2.40-2 [2.487 kB]
Ophalen:2 http://deb.debian.org/debian bookworm/main amd64 libbinutils amd64 2.40-2 [572 kB]
Ophalen:3 http://deb.debian.org/debian bookworm/main amd64 libctf-nobfd0 amd64 2.40-2 [153 kB]
...
Ophalen:53 http://deb.debian.org/debian bookworm/main amd64 python3-setuptools-whl all 66.1.1-1 [1.111 kB]
Ophalen:54 http://deb.debian.org/debian bookworm/main amd64 python3.11-venv amd64 3.11.2-6+deb12u2 [5.896 B]
Ophalen:55 http://deb.debian.org/debian bookworm/main amd64 python3-venv amd64 3.11.2-1+b1 [1.200 B]
67,7 MB opgehaald in 6s (11,6 MB/s)
Extraheren van sjablonen uit pakketten: 100%
Voorheen niet geselecteerd pakket binutils-common:amd64 wordt geselecteerd.
(Database wordt ingelezen ... 173836 bestanden en mappen momenteel geïnstalleerd.)
Uitpakken van .../00-binutils-common_2.40-2_amd64.deb wordt voorbereid...
Bezig met uitpakken van binutils-common:amd64 (2.40-2) ...
...
Voorheen niet geselecteerd pakket python3-venv wordt geselecteerd.
Uitpakken van .../54-python3-venv_3.11.2-1+b1_amd64.deb wordt voorbereid...
Bezig met uitpakken van python3-venv (3.11.2-1+b1) ...
Instellen van manpages-dev (6.03-2) ...
Instellen van python3-setuptools-whl (66.1.1-1) ...
Instellen van libfile-fcntllock-perl (0.22-4+b1) ...
...
Instellen van libpython3-dev:amd64 (3.11.2-1+b1) ...
Instellen van python3.11-dev (3.11.2-6+deb12u2) ...
Instellen van python3-dev (3.11.2-1+b1) ...
Bezig met afhandelen van triggers voor man-db (2.11.2-2) ...
Bezig met afhandelen van triggers voor libc-bin (2.36-9+deb12u7) ...
Deze stap zorgt ervoor dat je de nodige hulpmiddelen hebt om een virtuele omgeving te creëren en Python-pakketten te beheren.dany@pindabook:~$ python3 -m venv gpt4all-cli
Deze opdracht maakt een nieuwe map aan met de naam gpt4all-cli, die de virtuele omgeving zal bevatten.dany@pindabook:~$ . gpt4all-cli/bin/activate; cd gpt4all-cli/
Deze stap verandert de map van je terminal naar de virtuele omgeving en activeert deze.(gpt4all-cli) dany@pindabook:~/gpt4all-cli$ python3 -m pip install --upgrade gpt4all typer
Collecting gpt4all
Downloading gpt4all-2.7.0-py3-none-manylinux1_x86_64.whl (29.8 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 29.8/29.8 MB 9.0 MB/s eta 0:00:00
Collecting typer
Downloading typer-0.12.3-py3-none-any.whl (47 kB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 47.2/47.2 kB 1.7 MB/s eta 0:00:00
Collecting requests
Downloading requests-2.32.3-py3-none-any.whl (64 kB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 64.9/64.9 kB 3.0 MB/s eta 0:00:00
Collecting tqdm
Downloading tqdm-4.66.4-py3-none-any.whl (78 kB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 78.3/78.3 kB 3.7 MB/s eta 0:00:00
Collecting click>=8.0.0
Downloading click-8.1.7-py3-none-any.whl (97 kB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 97.9/97.9 kB 6.7 MB/s eta 0:00:00
Collecting typing-extensions>=3.7.4.3
Downloading typing_extensions-4.12.2-py3-none-any.whl (37 kB)
Collecting shellingham>=1.3.0
Downloading shellingham-1.5.4-py2.py3-none-any.whl (9.8 kB)
Collecting rich>=10.11.0
Downloading rich-13.7.1-py3-none-any.whl (240 kB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 240.7/240.7 kB 7.8 MB/s eta 0:00:00
Collecting markdown-it-py>=2.2.0
Downloading markdown_it_py-3.0.0-py3-none-any.whl (87 kB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 87.5/87.5 kB 5.9 MB/s eta 0:00:00
Collecting pygments<3.0.0,>=2.13.0
Downloading pygments-2.18.0-py3-none-any.whl (1.2 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 1.2/1.2 MB 10.2 MB/s eta 0:00:00
Collecting charset-normalizer<4,>=2
Downloading charset_normalizer-3.3.2-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (140 kB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 140.3/140.3 kB 5.8 MB/s eta 0:00:00
Collecting idna<4,>=2.5
Downloading idna-3.7-py3-none-any.whl (66 kB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 66.8/66.8 kB 4.4 MB/s eta 0:00:00
Collecting urllib3<3,>=1.21.1
Downloading urllib3-2.2.2-py3-none-any.whl (121 kB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 121.4/121.4 kB 4.1 MB/s eta 0:00:00
Collecting certifi>=2017.4.17
Downloading certifi-2024.7.4-py3-none-any.whl (162 kB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 163.0/163.0 kB 7.7 MB/s eta 0:00:00
Collecting mdurl~=0.1
Downloading mdurl-0.1.2-py3-none-any.whl (10.0 kB)
Installing collected packages: urllib3, typing-extensions, tqdm, shellingham, pygments, mdurl, idna, click, charset-normalizer, certifi, requests, markdown-it-py, rich, gpt4all, typer
Successfully installed certifi-2024.7.4 charset-normalizer-3.3.2 click-8.1.7 gpt4all-2.7.0 idna-3.7 markdown-it-py-3.0.0 mdurl-0.1.2 pygments-2.18.0 requests-2.32.3 rich-13.7.1 shellingham-1.5.4 tqdm-4.66.4 typer-0.12.3 typing-extensions-4.12.2 urllib3-2.2.2
Deze opdracht downloadt en installeert GPT4All en Typer, en bereidt je systeem voor op het uitvoeren van GPT4All terminal opdrachten.(gpt4all-cli) dany@pindabook:~/gpt4all-cli$ wget https://raw.githubusercontent.com/nomic-ai/gpt4all/main/gpt4all-bindings/cli/app.py
--2024-07-07 15:32:50-- https://raw.githubusercontent.com/nomic-ai/gpt4all/main/gpt4all-bindings/cli/app.py
Herleiden van raw.githubusercontent.com (raw.githubusercontent.com)... 2606:50c0:8002::154, 2606:50c0:8003::154, 2606:50c0:8000::154, ...
Verbinding maken met raw.githubusercontent.com (raw.githubusercontent.com)|2606:50c0:8002::154|:443... verbonden.
HTTP-verzoek is verzonden; wachten op antwoord... 200 OK
Lengte: 6235 (6,1K) [text/plain]
Wordt opgeslagen als: ‘app.py’
app.py 100%[==============================================>] 6,09K --.-KB/s in 0s
2024-07-07 15:32:50 (58,8 MB/s) - '‘app.py’' opgeslagen [6235/6235]
Dit script is een kant-en-klare Python-toepassing voor directe interactie met de functies van GPT4All.(gpt4all-cli) dany@pindabook:~/gpt4all-cli$ python3 app.py repl
Downloading: 100%|████████████████████████████████████████████████████████████| 4.11G/4.11G [06:00<00:00, 11.4MiB/s]
Verifying: 100%|███████████████████████████████████████████████████████████████| 4.11G/4.11G [00:12<00:00, 340MiB/s]
Failed to load libllamamodel-mainline-cuda-avxonly.so: dlopen: libcudart.so.12: cannot open shared object file: No such file or directory
Failed to load libllamamodel-mainline-cuda.so: dlopen: libcudart.so.12: cannot open shared object file: No such file or directory
MESA-INTEL: warning: Haswell Vulkan support is incomplete
Using 4 threads
██████ ██████ ████████ ██ ██ █████ ██ ██
██ ██ ██ ██ ██ ██ ██ ██ ██ ██
██ ███ ██████ ██ ███████ ███████ ██ ██
██ ██ ██ ██ ██ ██ ██ ██ ██
██████ ██ ██ ██ ██ ██ ███████ ███████
Welcome to the GPT4All CLI! Version 1.0.2
Type /help for special commands.
⇢ Wat is Linux Linux is a free and open-source operating system based on the Unix architecture. It is widely used in servers, supercomputers, mobile devices, and other embedded systems due to its stability, flexibility, and security. Linux is developed and maintained by a community of developers from around the world who contribute their time and expertise to improve and enhance the operating system. The source code for Linux is freely available under the GNU Public License (GPL), which allows anyone to view, modify, and distribute it. This has led to a vast ecosystem of software applications and tools that are compatible with Linux and can be easily installed and used on it. Some popular distributions of Linux include Ubuntu, Debian, Red Hat Enterprise Linux, Fedora, and OpenSUSE, among others. Each distribution has its own set of packages, repositories, and user interface, but they all share the core Linux kernel and are based on the Unix architecture. ⇢ Vertaal dit naar het Nederlands Linux is een vrij en open-source besturingssysteem dat gebaseerd is op de architectuur van Unix. Het wordt veel gebruikt in servers, supercomputers, mobiele apparaten en andere geïnsteerde systemen vanwege zijn stabiliteit, flexibiliteit en beveiligheid. Linux wordt ontwikkeld en onderhouden door een wereldwijd community van ontwikkelaars die hun tijd en expertise aan het verbeteren en verbeteren van het besturingssysteem bijdragen. De bronkode voor Linux is vrijelijk beschikbaar under de GNU Public License (GPL), wat iedereen toestaat om het te bekijken, wijzigen en verspreiden. Dit heeft geleid tot een grote ecosystem van softwaretoepassingen en hulpmiddelen die compatibel zijn met
⇢ /help Special commands: /reset, /exit, /help and /clearWaaruit blijkt hoe je GPT4All kunt afsluiten.
⇢ /exit
(gpt4all-cli) dany@pindabook:~/gpt4all-cli$deactivate
dany@pindabook:~$cd
Voor degenen die de voorkeur geven aan een grafische interface, biedt GPT4All ook een desktop-toepassing. Volg deze stappen om het te installeren:
dany@pindabook:~$ wget https://gpt4all.io/installers/gpt4all-installer-linux.run
--2024-07-07 15:52:14-- https://gpt4all.io/installers/gpt4all-installer-linux.run
Herleiden van gpt4all.io (gpt4all.io)... 2606:4700:20::681a:19f, 2606:4700:20::ac43:47a9, 2606:4700:20::681a:9f, ...
Verbinding maken met gpt4all.io (gpt4all.io)|2606:4700:20::681a:19f|:443... verbonden.
HTTP-verzoek is verzonden; wachten op antwoord... 200 OK
Lengte: 36690409 (35M) [application/x-elf]
Wordt opgeslagen als: ‘gpt4all-installer-linux.run’
gpt4all-installer-linux.run 100%[==============================================>] 34,99M 11,1MB/s in 3,1s
2024-07-07 15:52:18 (11,1 MB/s) - '‘gpt4all-installer-linux.run’' opgeslagen [36690409/36690409]
Deze opdracht downloadt het installatiescript naar je lokale systeem.dany@pindabook:~$ chmod +x gpt4all-installer-linux.run
dany@pindabook:~$ ./gpt4all-installer-linux.run
Deze opdracht bereidt de installatie-assistent voor de GPT4All desktop-toepassing voor en start deze.Het installatieprogramma leidt je door het installatieproces, inclusief het selecteren van het installatiepad (standaard ~/gpt4all in je thuismap) en het downloaden van de benodigde onderdelen.
dany@pindabook:~$ gpt4all/bin/chat
Bekijk de beschikbare modellen en kies er één om te downloaden. Let op de modelbeschrijvingen, want sommige modellen vereisen een OpenAI sleutel voor bepaalde functionaliteiten.
Hoewel er bij het taalmodel Llama 3 Instruct een rode opmerking staat over het beschikbare geheugen op mijn computer, klik ik toch op de knop . Mijn computersysteem beschikt echter over extra swapgeheugen op de schijf (traag), wat dus voldoende moet zijn.(gpt4all-cli) dany@pindabook:~/gpt4all-cli$deactivate
dany@pindabook:~$cd
dany@pindabook:~$ rm -r gpt4all-cli/
dany@pindabook:~$ sudo apt purge python3-venv python3-pip
[sudo] wachtwoord voor root:
Pakketlijsten worden ingelezen... Klaar
Boom van vereisten wordt opgebouwd... Klaar
De statusinformatie wordt gelezen... Klaar
De volgende pakketten zijn automatisch geïnstalleerd en zijn niet langer nodig:
libexpat1-dev libjs-sphinxdoc libpython3-dev libpython3.11-dev python3-dev python3-wheel python3.11-dev
zlib1g-dev
Gebruik 'sudo apt autoremove' om ze te verwijderen.
De volgende pakketten zullen VERWIJDERD worden:
python3-pip* python3-venv*
0 opgewaardeerd, 0 nieuw geïnstalleerd, 2 te verwijderen en 0 niet opgewaardeerd.
Na deze bewerking zal er 6.844 kB schijfruimte vrijkomen.
Wilt u doorgaan? [J/n]
(Database wordt ingelezen ... 181734 bestanden en mappen momenteel geïnstalleerd.)
python3-pip (23.0.1+dfsg-1) wordt verwijderd ...
python3-venv (3.11.2-1+b1) wordt verwijderd ...
Bezig met afhandelen van triggers voor man-db (2.11.2-2) ...
dany@pindabook:~$ sudo apt autoremove
Pakketlijsten worden ingelezen... Klaar
Boom van vereisten wordt opgebouwd... Klaar
De statusinformatie wordt gelezen... Klaar
De volgende pakketten zullen VERWIJDERD worden:
libexpat1-dev libjs-sphinxdoc libpython3-dev libpython3.11-dev python3-dev python3-wheel python3.11-dev
zlib1g-dev
0 opgewaardeerd, 0 nieuw geïnstalleerd, 8 te verwijderen en 0 niet opgewaardeerd.
Na deze bewerking zal er 29,7 MB schijfruimte vrijkomen.
Wilt u doorgaan? [J/n]
(Database wordt ingelezen ... 181060 bestanden en mappen momenteel geïnstalleerd.)
python3-dev (3.11.2-1+b1) wordt verwijderd ...
python3.11-dev (3.11.2-6+deb12u2) wordt verwijderd ...
libpython3-dev:amd64 (3.11.2-1+b1) wordt verwijderd ...
libpython3.11-dev:amd64 (3.11.2-6+deb12u2) wordt verwijderd ...
libexpat1-dev:amd64 (2.5.0-1) wordt verwijderd ...
libjs-sphinxdoc (5.3.0-4) wordt verwijderd ...
python3-wheel (0.38.4-2) wordt verwijderd ...
zlib1g-dev:amd64 (1:1.2.13.dfsg-1) wordt verwijderd ...
Bezig met afhandelen van triggers voor man-db (2.11.2-2) ...
dany@pindabook:~$ rm -r ./.cache/gpt4all
dany@pindabook:~$ rm -r gpt4all/
dany@pindabook:~$ rm Bureaublad/GPT4All.desktop Desktop/GPT4All.desktop
rm: kan 'Desktop/GPT4All.desktop' niet verwijderen: Bestand of map bestaat niet
Indien je met een niet Engelstalig Debian KDE systeem werkt en je dus bij het installeren de Desktop foutmelding (zie installatie Desktop versie) mag je ook de Desktop map verwijderen:
dany@pindabook:~$ rm -r Desktop/
dany@pindabook:~$ rm -r .cache/nomic.ai/GPT4All .local/share/nomic.ai/GPT4All .config/nomic.ai models.json
dany@pindabook:~$ rm -r gpt4all-installer-linux.run .cache/qt-installer-framework/9c11e018-d3aa-3c3a-9118-829c9ab85b1c/4fb18354cd413fe5afd3efeb70d1d296f8fb1c64/gpt4all/