<
p>
Denna datamängd samlar den svenska testdatan för SemEval 2020 Task 1: Unsupervised Lexical Semantic Change Detection:
- Ett svenskt korpuspar (`corpus1/`, `corpus2/`)
- 31 lemmas som har blivit annoterad med lexikosemantisk förändring mellan de två korpusarna (`targets.txt`)
Vi samplar ur Kubhist2, en samling med dagstidningar digitaliserade av KB, och tillgängliga via Språkbankens infrastruktur Korp (Borin et al., 2012). Korpusen är tillgänglig genom en CC BY (attribution licens.
Korpusen är lemmatiserad med hjälp av Korp. Varje ord har ersatts med ett lemma har ersatts om detta varit möjligt, annars har ordet behållts som det är (icke-lemmatiserat och utan att versaler har ändrade till gemener). Kubhist-texterna innehåller en stor mängd OCR fel, speciellt den tidigare delkorpusen. Mer information om Kubhist och dess kvalité finns att finna i (Adesam et al., 2019).
Lars Borin, Markus Forsberg, and Johan Roxendal. Korp-the corpus infrastructure of Språkbanken. LREC. 2012.
Yvonne Adesam, Dana Dannélls, and Nina Tahmasebi. Exploring the Quality of the Digital Historical Newspaper Archive KubHist. DHN. 2019.
__Corpus 1__
- baserad på: Kubhist2
- språk: Swedish
- tidsspann: 1790-1830
- storlek: ~71 million tokens
- format: lemmatiserat, meningslängd >= 9 (före rensning av skiljetecken), inga skiljetecken, meningsomkastad
- encoding: UTF-8
- kommentar: innehåller frekventa OCR fel
Corpus 2
<
p>
- baserad på: Kubhist2
- språk: Swedish
- tidsspann: 1895-1903
- storlek: ~111 million tokens
- format: lemmatiserat, meningslängd >= 9 (före rensning av skiljetecken), inga skiljetecken, meningsomkastad
- encoding: UTF-8
- kommentar: innehåller OCR fel
Referera till detta testset genom:
Dominik Schlechtweg, Barbara McGillivray, Simon Hengchen, Haim Dubossarsky and Nina Tahmasebi.
SemEval 2020 Task 1: Unsupervised Lexical Semantic Change Detection. In Proceedings of the 14th International Workshop on Semantic Evaluation, Barcelona, Spain, 2020. Association for Computational Linguistics.
Mer information finns att hitta på Zenodo: Swedish Test Data for SemEval 2020 Task 1: Unsupervised Lexical Semantic Change Detection samt SemEval 2020 Task 1: Unsupervised Lexical Semantic Change Detection