 |
И.М. Лазарева, Б.А.М.А. Аль-Кади, Е.В. Скалабан, Е.А. Румянцева "Использование методов машинного обучения для тематического анализа научных проектов" |
 |
|
Аннотация.
В работе рассматривается использование методов машинного обучения для анализа текстовой информации с целью идентификации научных проектов, имеющих арктическую направленность. В качестве признаков для классификации использовались названия и аннотации проектов. Подход основан на обработке текста, преобразовании его в числовое представление и обучении соответствующих моделей. В результате проведенного анализа классических und современных методов представления und классификации текстов был выбран подход для решения задачи классификации. Подход сочетает TF-IDF как метод векторизации корпуса проектов в контексте специфики поставленной задачи и градиентный бустинг XGBoost. Реализация и тестирование данного подхода показали, что выбранная комбинации обеспечивает оптимальный баланс точности, интерпретируемости и вычислительной эффективности при ограниченном объёме данных.
Ключевые слова:
анализ текста, методы машинного обучения, научные проекты, Арктика.
DOI 10.14357/20718632260215
EDN RQDSXU
Стр. 156-165.
Литература
1. Васильев А.А., Горячев А.В. Применение технологии интеллектуального анализа текста для решения задач управления проектами // XXV Международная конференция по мягким вычислениям и измерениям (SCM'2022), Санкт-Петербург, 25-27 мая 2022 г. СПб: СПбГЭТУ «ЛЭТИ». Т. 1. С. 254–257. 2. Мельникова Е.В., Цветкова В.А. Анализ возможностей применения искусственного интеллекта в современной наукометрии и библиометрии // Вестник РГГУ. Серия «Информатика. Информационная безопасность. Математика». 2025. № 2. С. 19–40. https//doi.org/10.28995/2686-679X-2025-2-19-40 3. Дементьев В.Е., Киреев С.Х. Выбор алгоритмов машинного обучения для классификации текстовых документов // Техника средств связи. 2022. № 2 (158). С. 22–52. https//doi.org/10.24412/2782-2141-2022-2-22-52 4. Уитфилд, Э. М. Кластеризация стран мира на основе текстов из энциклопедии с использованием меры TF-IDF: анализ и результаты // Актуальные проблемы авиации и космонавтики: Х Междунар. научно-практическая конф., посвящённой 100-летию академика М. Ф. Решетнева и Дню космонавтики, Красноярск, 8–12 апреля 2024 г. В 3 т. Красноярск: СибГУ им. акад. М. Ф. Решетнева, 2024. Т. 1. С. 103–105. 5. Д. Н. Бегун, Е. В. Гаврилова, Н. В. Мирзаева [и др.] Использование интеллектуального анализа текста для классификации статей в систематическом обзоре по медицине // Современные проблемы здравоохранения и медицинской статистики. 2024. № 1. С. 589–607. https//doi.org/10.24412/2312-2935-2024-1-589-607 6. Мозаидзе, Е. С. Тематическое моделирование в потоке коротких сообщений на русском языке // Russian Technological Journal. 2025. Т. 13, № 1. С. 38–48. https//doi.org/10.32362/2500-316X-2025-13-1-38-48 7. Chen X., Xie H., Tao X., Xu L., Wang J., Dai H.-N., Wang F.L. A topic modeling-based bibliometric exploration of automatic summarization research // WIREs Data Mining and Knowledge Discovery. 2024. Vol. 14, № 5. e1540. https://doi.org/10.1002/widm.1540 (дата обращения: 29.07.2025) 8. Фомин В.В., Фомина И.К., Шабунин А. П. Исследование потенциала BERT-трансформера для тематической классификации новостных и научных статей // Информатизация образования и науки. 2025. № 2 (66). С. 59–69. 9. Voskergian D., Bakir-Gungor B., Yousef M. TextNetTopics Pro, a topic model-based text classification for short text by integration of semantic and document-topic distribution information // Frontiers in Genetics. 2023. Vol. 14. https://www.frontiersin.org/journals/genetics/articles/10.3389/fgene.2023. 1243874/full874 (дата обращения: 29.07.2025) 10. Chen Q., Allot A., Leaman R., [et al.]. Multi-label classification for biomedical literature: an overview of the BioCreative VII LitCovid Track for COVID-19 literature topic annotations // Database. 2022. Vol. 2022: article ID baac069. https://doi.org/10.1093/database/baac069 11. Lv X., Xie Z., Xu D., Jin X., Ma K., Tao L., [et al.]. Chinese named entity recognition in the geoscience domain based on BERT // Earth and Space Science. 2022. Vol. 9, e2021EA002166. https://doi.org/10.1029/2021EA002166 12. Домен «Наука и инновации» [Электронный ресурс]: открытые данные. URL: https://ginsauka.ru/api/egisu/open-data?year=2024&month=all_months&card_type=nioktr Дата обращения: 29.07.2025. 13. Свидетельство о государственной регистрации базы данных № 2024620198/ 21.12.2023. Российская Федерация. Гогоберидзе Г. Г., Румянцева Е. А., Ефименко Е. А. [и др.] Российские научно-исследовательские и научно-технологические проекты арктической тематики; заявитель ФГАОУ ВО «Мурманский арктический университет». – № 2023625011, опубл. 15.01.2024 14. CountVectorizer: scikit-learn. URL: https://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text. CountVectorizer.html (дата обращения: 29.07.2025). 15. TfidfVectorizer: scikit-learn. URL: https://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text. TfidfVectorizer.html#sklearn.feature_extraction.text. TfidfVectorizer (дата обращения: 29.07.2025). 16. Gensim: библиотека тематического моделирования и анализа текстов. URL: https://pythonru.com/biblioteki/gensim, свободный (дата обращения: 29.07.2025). 17. fastText: PyPI. URL: https://pypi.org/project/fasttext/ (дата обращения: 29.07.2025). 18. Hugging Face Transformers for PyTorch: PyTorch. URL: https://pytorch.org/hub/huggingface_pytorch-transformers/ (дата обращения: 29.07.2025). 19. Scikit-learn: supervised learning: scikit-learn. URL: https://scikit-learn.org/stable/supervised_learning.html (дата обращения: 29.07.2025). 20. XGBoost documentation: The Apache Software Foundation. URL: https://xgboost.readthedocs.io/en/stable/ (дата обращения: 29.07.2025). 21. Домен «Наука и инновации»: открытые данные. URL: https://ginsauka.ru/api/egisu/open-data?year=2025&month=05&card_type=nioktr (дата обращения: 29.07.2025).
|
