Svarna: открытый корпус греческого языка 507 млн слов — возможности и применение

Корпус современного греческого языка Svarna объединяет пять баз данных общим объемом более 507 миллионов слов и около 29 миллионов предложений. Это первый открытый веб-инструмент такого масштаба для греческого языка, доступный без регистрации и установки. Платформа охватывает институциональный, литературный, диалектный, социальные сети и исторический регистры, предоставляя исследователям и разработчикам единый интерфейс для лингвистического анализа.

Греческий язык традиционно относится к малоресурсным в сфере языковых технологий. Существующие корпусные ресурсы разрознены, часто требуют институционального доступа или вообще недоступны онлайн. Svarna решает эту проблему, предлагая бесплатный и открытый доступ к огромному массиву текстов. Это особенно важно для лингвистов, преподавателей и студентов, которые ранее были ограничены в возможностях анализа.

Инструменты и функции платформы

Svarna включает конкордансер с KWIC-разметкой, позволяющий просматривать контексты употребления слов. Частотный анализ нормализуется по регистрам, что дает корректное сравнение частотности в разных типах текстов. Извлечение коллокаций основано на взаимной информации, что помогает выявлять устойчивые словосочетания. Словарь из 93 греческих дискурсивных маркеров содержит профили распределения по регистрам. Инструменты анализа текста включают n-граммы, варианты и коллокационные сети. Сравнение регистров выполняется с помощью log-ratio, а поиск поддерживает регулярные выражения. Опциональный слой LLM добавляет прагматическую аннотацию.

Технически платформа построена на SQLite FTS5 с полнотекстовыми индексами, бэкенд на FastAPI, развертывание в Docker-контейнерах на Azure. Код опубликован под лицензией MIT на GitHub, что позволяет сообществу дорабатывать и расширять функционал.

Какие исследования можно провести с помощью Svarna?

Svarna открывает широкие возможности для корпусных исследований греческого языка. Лингвисты могут изучать частотность лексики в разных регистрах, анализировать коллокации и дискурсивные маркеры, сравнивать исторические и современные тексты. Разработчики NLP могут использовать корпус для обучения моделей, тестирования алгоритмов или создания словарей. Преподаватели — для составления учебных материалов на основе реальных данных. Платформа также полезна для специалистов по малоресурсным языкам, которые могут перенять архитектуру для своих проектов.

Кого затронет появление Svarna

В первую очередь платформа полезна лингвистам, исследующим греческий язык, включая диалектологов и историков языка. Разработчики NLP-инструментов получат доступ к большому корпусу для обучения и тестирования. Преподаватели и студенты смогут использовать Svarna в учебных целях. Специалисты по корпусной лингвистике, работающие с малоресурсными языками, найдут в проекте пример открытой инфраструктуры.

Что пока неизвестно

На данный момент не объявлены точные сроки пополнения корпуса новыми данными или интеграции с другими языками. Также неясно, будет ли LLM-слой доступен всем пользователям бесплатно или потребует оплаты. Разработчики обещают дальнейшее развитие, но детали остаются под вопросом.

Заключение

Svarna — значимый шаг в развитии языковых технологий для греческого языка. Открытый доступ, богатый функционал и большой объем корпуса делают платформу ценным инструментом для науки и образования. Ожидается, что проект стимулирует новые исследования и разработки в области греческой лингвистики.