Skip to main content

Dansk ConvBERT

To forskellige størrelser ConvBERT modeller prætrænet på dansk tekstdata (omtrent 17,5 GB data). Til prætræning er der anvendt ELECTRA Pretraining metoden.

ConvBERT er en videreudvikling af BERT model, hvor man har modificeret self-attention komponenten til at modellere global og lokal kontekst mere effektivt. Dette betyder mindre træningsomkostninger og færre model parametre. Det har dog ikke givet markant udslag på kvaliteten af modellen, der præsterer ligeså godt eller bedre end BERT i forskellige NLP opgaver. I denne finder du en dansk udgave af ConvBERT modellen.

Hvis du er interesseret i at læse mere om ConvBERT kan du læse forskningsartiklen ConvBERT: Improving BERT with Span-based Dynamic Convolution

Data og ressourcer

Nøgleord

Yderligere info

URI https://data.gov.dk/dataset/lang/ebdcd8fc-49ff-406a-83d8-2232aad95d0d
Destinationsside https://github.com/sarnikowski/danish_transformers
Høstes af Datavejviser
Udgivelsesdato 01-03-2021
Seneste ændringsdato
Opdateringsfrekvens
Dækningsperiode  / 
Emne(r)
  • 16.05.07 Sprog og retskrivning
  • Uddannelse, kultur og sport
Adgangsrettigheder offentlig
Overholder
Proveniensudsagn
Dokumentation