Hoppa till huvudinnehåll
Språkbanken Text är en avdelning inom Språkbanken.

sentence-sparv-linebreaks

Citering Information

Språkbanken Text (2021). sentence-sparv-linebreaks (uppdaterad: 2021-05-07). [Analysis]. Språkbanken Text.

Standardreferens Information

Bird, Steven, Edward Loper and Ewan Klein (2009), Natural Language Processing with Python. O’Reilly Media Inc.

Segmenterar text i meningar utifrån radbrytningar med hjälp av NLTKs RegexpTokenizer

Dokumentationen för NLTKs RegexpTokenizer finns här.

Exempel

This analysis is used with Sparv. Check out Sparv's quick start guide to get started!

To use this analysis, add the following line under export.annotations in the Sparv corpus configuration file:

- segment.sentence  # Sentence segments

In order to use this sentence segmenter you need to add the following setting to your Sparv corpus configuration file:

segment:
  sentence_segmenter: linebreaks

For more info on how to use Sparv, check out the Sparv documentation.

Example output:

<sentence>
  <token>Det</token>
  <token>här</token>
  <token>är</token>
  <token>en</token>
  <token>korpus</token>
  <token>.</token>
</sentence>
<sentence>
  <token>Den</token>
  <token>har</token>
  <token>flera</token>
  <token>meningar</token>
  <token>.</token>
</sentence>

Typ

  • Analys

Uppgift

sentence segmentation

Enhet

sentence

Verktyg

NLTK

Skapad

2010-12-15

Uppdaterad

2021-05-07

Kontakt

Språkbanken Text
sb-info@svenska.gu.se