Fork me on GitHub

Ordlista för Representation learning for natural language

Detta är en ordlista för de som saknar teknisk bakgrund för att underlätta läsandet av avhandlingen Representation learning for natural language, eller för att hänga med lite bättre på disputationen.

Ordlistan är inte i alfabetisk ordning, utan försöker istället sig på att förklara saker från enkla till mer komplexa.

Ordlistan listar först den engelska termen, och därefter ett försök till en svensk översättning.

  • Natural language processingg (NLP) - datorlingvistik/computational linguistics - studien av hur naturligt språk (skrivet eller talat av människor) kan bearbetas av datorer. På senare tid så har maskininlärning blivit ett allt viktigare verktyg inom NLP. Bägge är viktiga delar av artificiell intelligens.

  • Machine learning - maskininlärning - ett datorprogram som utför en uppgift och som använder data för att bli bättre på uppgiften. Genom att jämföra det som kommer ut från programmet med det man ser i datan med hjälp av en felfunktion, och att försöka minimera dess värde, kan programmet bli bättre. En maskininlärningsalgoritm kan tränas vid ett tillfälle för att sedan användas, eller så kan den fortsätta att förbättras när den får se ny data.

  • Training data - träningsdata - datan som en maskininlärningsmodell använder för att lära sig en uppgift. Exempelvis för en bildklassificerare, så består datan av bilder tillsammans med deras korrekta klassificeringar. Uppgiften blir för modellen att lära sig att beräkna den korrekta klassen utan att titta på klassificeringen från datan.

  • Vector - vektor - en sekvens av tal. Om vektorns längd är två eller tre, så kan dessa tolkas som tvådimensionella eller tredimensionella koordinater. Är längden större, så kan de också tolkas som koordinater, fast i ett högdimensionellt vektorrum. För att kunna visualisera högdimensionella vektorer, projicerar man ofta ner dessa till två dimensioner. Detta är en process som gör att man förlorar information från den ursprungliga vektorn. Vi skriver vektorer med fetstil: v. Exempelvis, en fyrdimensionell vektor: [0.3, 0.8, 0.7, 0.3]. (Notera engelska decimalpunkter. Komma separerar talen i vektorn i detta fall.) (Läs mer på Wikipedia.)

  • Matrix - matris - ett rutnät eller tabell av tal. Denna kan ses som en sekvens av vektorer (antingen dess rader eller dess kolumner). Vi benämner matriser med stor bokstav: M. Exempelvis, en 4x3-matris:
    0.3, 0.5, 0.0
    0.8, 0.2, 1.9
    0.7, 0.7, 0.0
    0.3, 0.1, 1.1
    (Notera engelska decimalpunkter. Komma separerar talen i matrisen i detta fall.)
    (Läs mer på Wikipedia.)

  • Machine learning model - maskininlärningsmodell - ett sett att strukturera bilden av en maskininlärningsalgoritm. Exempel kan vara neuronnät eller andra statistiska modeller. Generellt så tränas en modell genom att man uppdaterar dess interna parametrar, vilka ofta lagras i matriser.

  • Artificial neuron - artificiell neuron - inspirerad av biologiska neuroner. Dessa moduler (units) tar en vektor som input från föregående lager (eller från input-datan), beräknar en viktad summa genom att först multiplicera input-vektorn x med en vektor av parametrar (eller vikter) w, och adderar en bias b. a = w · x + b. Resultatet skickas sen genom en icke-linjär aktiveringsfunktion för att få det slutgiltiga resultatet från neuronen..

  • Neural network layer - lager - ett antal artificiella neuroner, som alla tar en vektor sin indata, och ger ett tal som utdata. Tillsammans, så utgör deras utdata en vektor, och varje layer transformerar alltså sin indata-vektor till en utdata-vektor.

  • Gradient descent - följa gradientens riktning - en optimeringsteknik (generellt så optimerar vi funktioner som har högdimensionella indata). Först beräknas gradienten (motsvarar derivatan i endimensionella fallet). Därefter tas ett litet steg i riktning mot brantaste sluttningen. Processen upprepas tills något avslutningskriterium uppnåtts.

  • Representation - representation - i denna avhandling så syftar representation typiskt på en vektor som beräknats för att representera ett objekt såsom ett ord, en bild, eller en mening. Neuronnät beräknar en sådan vektorrepresentation vid varje lager layer.

  • Feature - egenskap - i många tekniker för maskininlärning så krävs att man beräknar features och ger som indata till programmet. Dessa features eller egenskaper är ofta resultatet av en stor arbetsinsats, och ger en vy av datan som inte kan förändras för att få systemet att fungera bättre. I neuronnät så lär sig systemet alla features som används, i form av de inlärda representationerna.

  • Objective - felfunktion - mäter hur bra modellen fungerar. Denna används som kriterium för att optimera parametrarna i en modell (se gradient descent). Felfunktionen är ofta formulerad genom ett avståndsmått som mäter skillnaden på utdatan från modellen jämfört med den önskade utdatan som den ser ut i träningsdatan.
Olof Mogren Decisions, networks and analytics lab (DNA), RISE SICS

LinkedIn Twitter Atom/RSS Feed