Разработка модуля автоматизированной предобработки текстовых данных с адаптивным управлением для нейросетевых моделей

Аннотация

В статье рассматривается разработка модуля системы автоматизированной обработки данных для подготовки датасетов перед обучением нейронных сетей. Целью работы является преодоление проблем, связанных с низким качеством и неоднородностью входных данных, которые приводят к снижению производительности и переобучению моделей. В статье предложена комплексная архитектура модуля, включающая формальную декомпозицию процесса предобработки, многоуровневый контур управления для оперативного регулирования и адаптации, а также детализированную модель данных и схему базы данных на основе СУБД MariaDB. Особое внимание уделено методам обработки текстовой информации в задачах NLP. Представленное решение позволяет стандартизировать и значительно ускорить этап подготовки данных, минимизировав ручной труд и влияние человеческого фактора. Результаты работы будут полезны исследователям и разработчикам, стремящимся повысить качество, воспроизводимость и эффективность моделей машинного обучения за счет надежной автоматизации предварительной обработки данных. doi 10.54708/19926502_2026_30211241