ДИНАМИЧЕСКИЕ АСПЕКТЫ МУЛЬТИМОДАЛЬНОЙ РЕПРЕЗЕНТАЦИИ ВИРТУАЛЬНОГО ПРОСТРАНСТВА
Ключевые слова:
виртуальная реальность; VR-пространство; мультимодальная репрезентация; когнитивные модели; динамические последовательности; ментальные карты.Аннотация
Работа посвящена анализу динамических аспектов мультимодальной репрезентации виртуального пространства, основанной на интеграции вербальных и визуальных данных для выявления когнитивных моделей пространственной репрезентации. В основе работы лежит комплексный эксперимент с участием 20 информантов, который включал фиксацию устного пересказа виртуального пространства и создание его визуальных ментальных карт. Полученные данные моделировались с использованием инструментов мультимодальной визуальной аналитики (Semograph, Creative Maps Studio, SciVi, Python), что обеспечило их формализацию и сопоставимость. Анализ моделированных данных позволил выделить текстовые и иллюстративные модели репрезентации виртуального пространства, для которых были выявлены сходные структурные закономерности. Текстовые модели отражают семантико-функциональную структуру пространства, визуальные – его количественно-пространственные параметры. Динамические модели выявили ядро и периферию когнитивных связей и показали дифференцирующие признаки, характерные для мультимодального воспроизведения информации.Библиографические ссылки
Белоусов К.И., Баширов Р.К., Зелянская Н.Л., Лабутин И.А., Рябинин К.В., Чумаков Р.В. Профилирование концептуальных систем на основе комплекса методов психосемантики и машинного обучения // Научно-техническая информация. Информационные процессы и системы, 2023. № 7. С. 1–14.
БСЭ – Моделирование. Большая советская энциклопедия / под общ. ред. Б.В. Бирюкова. [Электронный ресурс]. URL: http://bse.slovar-online.com/ (дата обращения: 12.10.2025).
Бондарев А.Е., Галактионов В.А., Шапиро Л.З. Обработка и визуальный анализ многомерных данных // Научная визуализация. М.: Национальный исследовательский ядерный университет МИФИ, 2017. К. 4, Т. 9, № 5. С. 86–104.
Грудева Е.А. Ментальные структуры в лингвокогнитивной парадигме // Международный научно-исследовательский журнал, 2021. № 7 (109). С. 33–37.
Дворко Н.И. Режиссура мультимедиа: Генезис, специфика, эстетические принципы: дис. ... д-ра искусствоведения. СПб., 2004. 334 с.
Дружинин В.Н. Когнитивная психология: учебник для вузов. М.: ПЕР СЭ, 2002. 480 с.
Зинченко Ю.П., Меньшикова Г.Я., Баяковский Ю.М. Технологии виртуальной реальности: методологические аспекты, достижения и перспективы // Национальный психологический журнал, 2010. № 1 (3). С. 54–62.
Ладов В.А. BP-Философия (философские проблемы виртуальной реальности. Учебно-методи¬ческое пособие. Томск: Изд-во Том. ун-та, 2004. 62 с.
Ожерельева Т.А. Когнитивная репрезентация // ИТНОУ: информационные технологии в науке, образовании и управлении, 2019. № 3. С. 9–17.
Прохоров А.О. Ментальные репрезентации психических состояний: теоретические и экспериментальные аспекты // Познание и переживание, 2021. Т. 2. № 2. С. 28–52.
Ребеко Т.А. Ментальная репрезентация как формат хранения информации // Ментальная репрезентация: динамика и структура. М.: Институт психологии, 1998. С 25–54.
Рябинин К.В., Баранов Д.А., Белоусов К.И. Интеграция информационной системы Семограф и визуализатора SciVi для решения задач экспертного анализа языкового контента // Научная визуализация. М.: Национальный исследовательский ядерный университет МИФИ, 2017. К. 4. Т. 9. № 4. С. 67–77.
Рябинин К.В., Белоусов К.И., Чуприна С.И. Средства визуальной аналитики для комплексного исследования результатов многопараметрического описания пользователей социальных интернет-сервисов // Научная визуализация, 2018. Т. 10. № 4. С. 82–99.
Талески А. Модели дейктического и коммуникативного поведения говорящего в виртуальной реальности: монография. М.: Изд-во ФЛИНТА, 2024. 220 с.
Хайм М. Метафизика виртуальной реальности // Возможные миры и виртуальные реальности. М., 1995. 243 с.
Холодная М.А. Психология интеллекта. Парадоксы исследования. 2-е изд. СПб.: Питер, 2002. 272 с.
Хомский Н. Язык и мышление. М.: Изд-во Московского ун-та, 1972. 121 с.
Яковлев Б.С., Пустов С.И. История, особенности и перспективы технологии дополненной реальности // Известия Тульского государственного университета. Технические науки. 2013. № 3. С. 479–484.
Azuma R. A Survey of Augmented Reality // Presence: Teleoperators and Virtual Environments. 6, 1997. Pp. 355–385.
Belousov K., Erofeeva E., Leshchenko Y. «Semograph» Information System as a Framework for Network-Based Science and Education // Smart Innovation, Systems and Technologies. Smart Education and e-Learning, 2017. Pp. 263–272.
Bryant D.J. A spatial representation system in humans // Psycholoquy. 1992. 3(16): 1.
Bryson S. Virtual reality: A definition history – A personal essay. arXiv 2013, arXiv:1312.4322. [Электронный ресурс]. URL: https://arxiv.org/a-bs/1312.4322 (дата обращения: 22.10.2025).
Castronovo F., Nikolic D., Liu Y., Messner J. An Evaluation Of Immersive Virtual Reality Systems For Design Reviews // International Conference on Construction Applications of Virtual Reality, London, UK, 2013. Pp. 22–29.
Caudell T.P., Mizell D.W. Augmented reality: An application of heads-up dis-play technology to manual manufacturing processes // System Sciences, 1992. Proceedings of the Twenty-Fifth Hawaii International Conference on. Presence: Teleoperators and Virtual Environments. 2. IEEE. Pp. 659–669.
Chumakov R.V., Ryabinin K.V., Belousov K.I., Duan J. Creative Map Studio: A Platform for Visual Analytics of Mental Maps // Научная визуализация, 2021. 13.2. Pp. 79–93.
Corey S. Powell Interview with Jaron Lanier / A cyberspace Renaissance man reveals his current thoughts on the World Wide Web, virtual reality, and other silicon dreams // Scientific American. [Электронный ресурс]. URL: http://www.scienti-ficamerican.com/article/interview-with-jaron-lani/ (дата обращения: 15.09.2025).
Heyselaar E., Hagoort P., Segaert K. In dialogue with an avatar, language behavior is identical to dialogue with a human partner // Behavior Research Methods, 49 (1). 2015. Pp. 1–15.
Fauconnier G. Mental spaces. N.Y.: Cambridge University Press, 1994. 240 p.
Fauconnier G. Generalized integration networks // New Directions in Cognitive Linguistics. Amsterdam, 2009. Рp. 147–160.
Lanier G. Interview // Computer graphics world, 1992. 15 (4). Pp. 47–54.
Lansdale M.W. Modeling memory for absolute location // Psychological review, 1998. Vol. 105(2). Pp. 351–378.
Lansdale M.W., Humphries J.E., Flynn V. Cognitive operations on space and their impact on the precision of location memory // Journal of experimental psychology. Learning, memory, and cognition, 2013. Vol. 39 (5). Pp. 1501–1519.
Levinson S.C. Frames of reference and Molyneux’s question: Crosslinguistic evidence // Language and Space. Cambridge, 1996. Pp. 109–169.
Levinson S.C. Space in language and cognition. Cambridge University Press, 2003. 389 p.
Mandler J.M., Pagán Cánovas C. On defining image schemas // Language and Cognition, 2014. Vol. 6. Pp. 510–532.
Peeters D. Virtual reality: A game-changing method for the language sciences // Psychonomic Bulletin & Review, 26 (3), 2019. Pp. 894–900.
Pitt D. Mental Representation // The Stanford Encyclopedia of Philosophy (Fall 2022 Edition). [Электронный ресурс]. URL: https://plato.stanford.edu/archives/fall2022/entries/mental-represen-tation/ (дата обращения: 12.09.2025).
Stea D. Image and Environment: Cognitive Mapping and Spatial Behavior. Abingdon, UK: Routledge, 2017. 439 p.
Stevenson R.J. Mental Models, Propositions, and the Comprehension of Pronouns // Mental Models in Cognitive Science. Psychology Press, 1996. Pp. 53–74.
Sun R. The Cambridge Handbook of Computational Psychology. Cambridge, UK: Cambridge University Press, 2008. 768 p.
Zinchenko Yu.P., Kovalev A.I., Menshikova G.Ya. Postnonclassical methodology and application of virtual reality technologies in social research // Psychology in Russia: State of the Art, 8(4). 2015. Pp. 60–71.
