Bird, Steven, Edward Loper and Ewan Klein (2009), Natural Language Processing with Python. O’Reilly Media Inc.
Meningssegmenteraren är baserad på NLTKs PunktWordTokenizer. Sparvs version är specialanpassad för svenska genom att använda en modell byggd på StorSUC. Det är dock möjligt att konfigurera meningssegmenteraren för andra språk.
This analysis is used with Sparv. Check out Sparv's quick start guide to get started!
To use this analysis, add the following line under export.annotations in the Sparv corpus configuration file:
- segment.sentence # Sentence segments
For more info on how to use Sparv, check out the Sparv documentation.
Example output:
<sentence>
<token>Det</token>
<token>här</token>
<token>är</token>
<token>en</token>
<token>korpus</token>
<token>.</token>
</sentence>
<sentence>
<token>Den</token>
<token>har</token>
<token>flera</token>
<token>meningar</token>
<token>.</token>
</sentence>