Come ottenere nozione

Ming

Seguire

--

Ascoltare

Condividere

Notion AI è interessante, ma io uso Obsidian . Inoltre, preferisco mantenere i miei appunti offline . Come posso imitare l'esperienza di scrittura per teQuanto più vicino possibile?

In questo post presento la mia configurazione per abilitare la funzionalità di completamento automatico basata su LLMnell'ossidiana.

La ricetta di oggi prevede solo 3 ingredienti:

Sono necessarie solo 3 righe per avviare un server LocalAI:

Questo è solo il server API; i modelli stessi sono troppo grandi (~13 GiB) per essere serviti da GitHub. HuggingFace è il posto giusto per trovare file di modelli di grandi dimensioni.

Avvertenza: dietro le quinte, LocalAI utilizza llama.cpp per servire modelli in stile LLaMA. llama.cpp ha subito alcune modifiche importanti di recente, rendendo inutilizzabili i vecchi file di modello. Al momento in cui scrivo, se cerchi modelli in stile LLaMA su HuggingFace, i download più popolari sarebbero nel vecchio formato. Oggi llama.cpp richiede modelli preparati nel formato GGML V3, riconoscibile dal nome del file che segue il modello *ggmlv3*.bin.

Prendiamo l'Alpaca. Scarica alpaca.13b.ggmlv3.q8_0.bin in ./models/ del repository clonato. Rinominalo in gpt-3.5-turbo (nessuna estensione). Questo perché il plugin di generazione testo ha un elenco codificato di nomi di modelli, quindi dobbiamo fingere di averne uno dall'elenco.

Nelle impostazioni di questo plugin, punta l'endpoint su http://localhost:8080. Ora dovresti essere pronto per partire. L'attivatore predefinito è il doppio spazio bianco, quindi tocca.

Non essere troppo entusiasta della performance, però. Sul mio MacBook Pro (Mac14,5), ci sono voluti 20 secondi per darmi questo:

A quanto pare, Alpaca non era un fan di Portal.