AI
Indlejringer
Hvordan AI oversætter mening til matematik
Overblik
En indlejring er en tæt, fast-størrelse vektor af flydende komma-tal, der repræsenterer en datadel — et ord, en sætning, et billede eller en bruger — i et kontinuerligt matematisk rum. Den centrale indsigt er, at semantisk lighed bliver geometrisk nærhed: ord eller begreber med beslægtede betydninger havner tæt på hinanden i indlejringsrummet. Indlejringer er rygraden i RAG-systemer, anbefalingsmotorer og semantisk søgning.
Nøglekoncepter
- Ordindlejringer (Word2Vec, GloVe): afbilder individuelle ord til vektorer; "king − man + woman ≈ queen"
- Sætnings-/dokumentindlejringer: koder hele passager som enkelt vektorer til semantisk lighedssøgning
- Billedindlejringer: CNN'er eller Vision Transformers koder visuelt indhold i samme vektorrum som tekst (CLIP)
- Søgning: cosinuslighed eller prikprodukt mellem forespørgsels- og dokumentvektorer rangerer relevans
- Dimensionsnedskæring (t-SNE, UMAP): projicerer høj-dimensionelle indlejringer til 2D til visualisering
Fakta
- Word2Vec (Mikolov et al., Google, 2013) viste, at ordaritmetik fungerer i vektorrum
- OpenAIs text-embedding-3-large producerer 3.072-dimensionelle vektorer
- Vektordatabaser (Pinecone, Weaviate, pgvector) er specialbyggede til at gemme og forespørge milliarder af indlejringer ved lav latens
- CLIP (OpenAI, 2021) justerede billed- og tekstindlejringer, så man kan søge i billeder med naturlige sprogforespørgsler
- Dimensionsforbandelsen betyder, at nærmeste-nabo-søgning i millioner af vektorer kræver approksimative algoritmer (HNSW, IVF)