DYNAMIC ASPECTS OF MULTIMODAL REPRESENTATION OF VIRTUAL SPACE
Keywords:
virtual reality; VR space; multimodal representation; cognitive models; dynamic sequences; mental maps.Abstract
The study is devoted to the analysis of dynamic aspects of the multimodal representation of virtual space, based on the integration of verbal and visual data to identify cognitive models of spatial representation. The research is grounded in a comprehensive experiment involving 20 participants, which included the recording of oral narrations of virtual space and the construction of its visual mental maps. The collected data were modeled using multimodal visual analytics tools (Semograph, Creative Maps Studio, SciVi, Python), which ensured their formalization and comparability. The analysis of the modeled data made it possible to identify textual and illustrative models of virtual space representation, for which similar structural patterns were revealed. Textual models reflect the semantic-functional structure of space, whereas visual models convey its quantitative-spatial parameters. Dynamic models revealed the core and periphery of cognitive connections and demonstrated differentiating features characteristic of multimodal information reproduction.References
Белоусов К.И., Баширов Р.К., Зелянская Н.Л., Лабутин И.А., Рябинин К.В., Чумаков Р.В. Профилирование концептуальных систем на основе комплекса методов психосемантики и машинного обучения // Научно-техническая информация. Информационные процессы и системы, 2023. № 7. С. 1–14.
БСЭ – Моделирование. Большая советская энциклопедия / под общ. ред. Б.В. Бирюкова. [Электронный ресурс]. URL: http://bse.slovar-online.com/ (дата обращения: 12.10.2025).
Бондарев А.Е., Галактионов В.А., Шапиро Л.З. Обработка и визуальный анализ многомерных данных // Научная визуализация. М.: Национальный исследовательский ядерный университет МИФИ, 2017. К. 4, Т. 9, № 5. С. 86–104.
Грудева Е.А. Ментальные структуры в лингвокогнитивной парадигме // Международный научно-исследовательский журнал, 2021. № 7 (109). С. 33–37.
Дворко Н.И. Режиссура мультимедиа: Генезис, специфика, эстетические принципы: дис. ... д-ра искусствоведения. СПб., 2004. 334 с.
Дружинин В.Н. Когнитивная психология: учебник для вузов. М.: ПЕР СЭ, 2002. 480 с.
Зинченко Ю.П., Меньшикова Г.Я., Баяковский Ю.М. Технологии виртуальной реальности: методологические аспекты, достижения и перспективы // Национальный психологический журнал, 2010. № 1 (3). С. 54–62.
Ладов В.А. BP-Философия (философские проблемы виртуальной реальности. Учебно-методи¬ческое пособие. Томск: Изд-во Том. ун-та, 2004. 62 с.
Ожерельева Т.А. Когнитивная репрезентация // ИТНОУ: информационные технологии в науке, образовании и управлении, 2019. № 3. С. 9–17.
Прохоров А.О. Ментальные репрезентации психических состояний: теоретические и экспериментальные аспекты // Познание и переживание, 2021. Т. 2. № 2. С. 28–52.
Ребеко Т.А. Ментальная репрезентация как формат хранения информации // Ментальная репрезентация: динамика и структура. М.: Институт психологии, 1998. С 25–54.
Рябинин К.В., Баранов Д.А., Белоусов К.И. Интеграция информационной системы Семограф и визуализатора SciVi для решения задач экспертного анализа языкового контента // Научная визуализация. М.: Национальный исследовательский ядерный университет МИФИ, 2017. К. 4. Т. 9. № 4. С. 67–77.
Рябинин К.В., Белоусов К.И., Чуприна С.И. Средства визуальной аналитики для комплексного исследования результатов многопараметрического описания пользователей социальных интернет-сервисов // Научная визуализация, 2018. Т. 10. № 4. С. 82–99.
Талески А. Модели дейктического и коммуникативного поведения говорящего в виртуальной реальности: монография. М.: Изд-во ФЛИНТА, 2024. 220 с.
Хайм М. Метафизика виртуальной реальности // Возможные миры и виртуальные реальности. М., 1995. 243 с.
Холодная М.А. Психология интеллекта. Парадоксы исследования. 2-е изд. СПб.: Питер, 2002. 272 с.
Хомский Н. Язык и мышление. М.: Изд-во Московского ун-та, 1972. 121 с.
Яковлев Б.С., Пустов С.И. История, особенности и перспективы технологии дополненной реальности // Известия Тульского государственного университета. Технические науки. 2013. № 3. С. 479–484.
Azuma R. A Survey of Augmented Reality // Presence: Teleoperators and Virtual Environments. 6, 1997. Pp. 355–385.
Belousov K., Erofeeva E., Leshchenko Y. «Semograph» Information System as a Framework for Network-Based Science and Education // Smart Innovation, Systems and Technologies. Smart Education and e-Learning, 2017. Pp. 263–272.
Bryant D.J. A spatial representation system in humans // Psycholoquy. 1992. 3(16): 1.
Bryson S. Virtual reality: A definition history – A personal essay. arXiv 2013, arXiv:1312.4322. [Электронный ресурс]. URL: https://arxiv.org/a-bs/1312.4322 (дата обращения: 22.10.2025).
Castronovo F., Nikolic D., Liu Y., Messner J. An Evaluation Of Immersive Virtual Reality Systems For Design Reviews // International Conference on Construction Applications of Virtual Reality, London, UK, 2013. Pp. 22–29.
Caudell T.P., Mizell D.W. Augmented reality: An application of heads-up dis-play technology to manual manufacturing processes // System Sciences, 1992. Proceedings of the Twenty-Fifth Hawaii International Conference on. Presence: Teleoperators and Virtual Environments. 2. IEEE. Pp. 659–669.
Chumakov R.V., Ryabinin K.V., Belousov K.I., Duan J. Creative Map Studio: A Platform for Visual Analytics of Mental Maps // Научная визуализация, 2021. 13.2. Pp. 79–93.
Corey S. Powell Interview with Jaron Lanier / A cyberspace Renaissance man reveals his current thoughts on the World Wide Web, virtual reality, and other silicon dreams // Scientific American. [Электронный ресурс]. URL: http://www.scienti-ficamerican.com/article/interview-with-jaron-lani/ (дата обращения: 15.09.2025).
Heyselaar E., Hagoort P., Segaert K. In dialogue with an avatar, language behavior is identical to dialogue with a human partner // Behavior Research Methods, 49 (1). 2015. Pp. 1–15.
Fauconnier G. Mental spaces. N.Y.: Cambridge University Press, 1994. 240 p.
Fauconnier G. Generalized integration networks // New Directions in Cognitive Linguistics. Amsterdam, 2009. Рp. 147–160.
Lanier G. Interview // Computer graphics world, 1992. 15 (4). Pp. 47–54.
Lansdale M.W. Modeling memory for absolute location // Psychological review, 1998. Vol. 105(2). Pp. 351–378.
Lansdale M.W., Humphries J.E., Flynn V. Cognitive operations on space and their impact on the precision of location memory // Journal of experimental psychology. Learning, memory, and cognition, 2013. Vol. 39 (5). Pp. 1501–1519.
Levinson S.C. Frames of reference and Molyneux’s question: Crosslinguistic evidence // Language and Space. Cambridge, 1996. Pp. 109–169.
Levinson S.C. Space in language and cognition. Cambridge University Press, 2003. 389 p.
Mandler J.M., Pagán Cánovas C. On defining image schemas // Language and Cognition, 2014. Vol. 6. Pp. 510–532.
Peeters D. Virtual reality: A game-changing method for the language sciences // Psychonomic Bulletin & Review, 26 (3), 2019. Pp. 894–900.
Pitt D. Mental Representation // The Stanford Encyclopedia of Philosophy (Fall 2022 Edition). [Электронный ресурс]. URL: https://plato.stanford.edu/archives/fall2022/entries/mental-represen-tation/ (дата обращения: 12.09.2025).
Stea D. Image and Environment: Cognitive Mapping and Spatial Behavior. Abingdon, UK: Routledge, 2017. 439 p.
Stevenson R.J. Mental Models, Propositions, and the Comprehension of Pronouns // Mental Models in Cognitive Science. Psychology Press, 1996. Pp. 53–74.
Sun R. The Cambridge Handbook of Computational Psychology. Cambridge, UK: Cambridge University Press, 2008. 768 p.
Zinchenko Yu.P., Kovalev A.I., Menshikova G.Ya. Postnonclassical methodology and application of virtual reality technologies in social research // Psychology in Russia: State of the Art, 8(4). 2015. Pp. 60–71.
