Сегмент лингвистического корпуса
Часть большого собрания текстов, выделенная для исследования конкретного аспекта языка. Например, в национальном корпусе русского языка можно выделить подкорпус художественной литературы XIX века или устной речи.
Близкие слова
- часть корпуса
- сегмент базы данных
Исследователи использовали подкорпус деловой документации, чтобы проанализировать частотность канцеляризмов.
Для изучения диалектизмов был создан отдельный подкорпус фольклорных текстов.
Подмножество в анализе данных
В более широком смысле, особенно в IT и статистике, так называют подвыборку или фрагмент большого набора данных (датасета), выделенный для тестирования моделей или проверки гипотез.
Близкие слова
- подвыборка
- фрагмент набора данных
Машинное обучение часто тренируется на основном корпусе, а тестируется на изолированном подкорпусе.
Аналитики выделили подкорпус отзывов пользователей за последний квартал.
Отличие от корпуса и выборки
Важно различать эти понятия. Корпус — это полное, репрезентативное собрание текстов, собранное по строгим принципам для отражения состояния языка в целом. Подкорпус же не претендует на полную репрезентативность всего языка; его цель — дать срез определённого явления. Случайная выборка из корпуса может быть подкорпусом, если она структурирована и сохранена как самостоятельный объект исследования, но чаще подкорпус формируется целенаправленно (например, только тексты о медицине), тогда как случайная выборка может содержать разнородные данные.
Критерии выделения
Подкорпуса могут быть статическими (сформированными заранее и неизменными) или динамическими (формируемыми пользователем запросом к базе данных). Статические подкорпусы удобны для сравнительных исследований во времени, так как позволяют отслеживать изменения в одном и том же фиксированном наборе текстов. Динамические позволяют быстро получать срезы по сложным фильтрам, например, «все глаголы движения в текстах о спорте 2010-х годов».