Abstract
Dit project onderzocht coherentie in beeldverhalen, zoals strips. Coherentie is het gevoel dat een verhaal samenhangend is, en ontstaat als lezers logische verbanden kunnen leggen tussen verhaalelementen. Zulke coherentierelaties worden gesignaleerd door markeringen (expliciete aanwijzingen in het verhaal), of lezers vullen zelf deze relaties in, door middel van inferenties. Mijn doel was te beschrijven hoe onze hersenen coherentierelaties in beeldverhalen herkennen en te laten zien dat vormgeving (bijvoorbeeld kaders rondom plaatjes of kleuren) gebruikt kan worden als markering. Geïnspireerd door vorige onderzoek analyseerde ik hoe betekenis en vormgeving (alle grafische en structurele kenmerken van strips) samen coherentie ondersteunen, en of grote hoeveelheden strips dezelfde strategieën gebruiken om informatie weer te geven.
Voor een samenhangend verhaal moeten lezers weten hoe nieuwe elementen zich verhouden tot eerder getoonde elementen (genaamd, co-referentie). Onze eerste theorie beschrijft principes in ons brein die het herkennen van co-referentie begeleiden, en zo bijdragen aan coherentie. Ook moeten lezers omgaan met verteltechnieken die vragen om complexe inferenties. Eén techniek, gebruikt in 50% van stripverhalen, is het weergeven van een normaalgesproken mentale gebeurtenis (de verbeelding, droom, of herinnering van een personage). Onze experimenten tonen aan dat lezers dit goed begrijpen en dat grafische kenmerken werken als markering. Onze tweede theorie beschrijft vormgevingskenmerken die mogelijk worden ingezet als markering, en door vele stripverhalen te vergelijken, vonden we markeringen die structureel worden gebruikt.
Samenvattend is coherentie in stripverhalen een genuanceerder proces dan vaak wordt gedacht. Coherentie wordt ondersteund door co-referentie en vormgevingskenmerken. Veel stripverhalen gebruiken hiervoor dezelfde strategieën, wat suggereert dat visuele verhalen systematisch zijn. Deze bevindingen onderbouwen dat stripverhalen gedetailleerde vormen van communicatie zijn die inzicht geven in verhaalpatronen, creativiteit, en ons brein.
_
This project investigated coherence in visual storytelling, like comics. Coherence is the sense that a story fits together logically, brought about by meaningful relations between story elements. These coherence relations can be signaled through markers (explicit cues in the story), or readers fill in such relations by themselves, through inferencing. My aim was to describe how our mind establishes coherence relations for comics and to show that features of form (like panel borders or colours) can act as helpful markers. Inspired by prior research, I analyzed how both meaning and form (all graphic and structural features of comics) work together to support coherence, and I analyzed patterns of information that appear across many comics.
To make sense of comics, readers must know how new elements relate to previously shown elements (called co-reference). Our first theory describes a range of principles that readers would store in their minds, which guide how they establish co-reference relations between story elements. These co-reference relations support a sense of coherence. Readers of comics also must figure out more complicated storytelling techniques, using the process of inferencing. One technique, used in about 50% of comics, is showing a purely mental experience in the story (a character’s imagination, dream, or memory). This disrupts the story, and readers have to infer how the mental experience relates to the overall storyline to keep it coherent. Our experiments showed that readers were good at understanding this technique, and that graphic features worked as a marker. Our second theory described multiple features of form that could act as markers, and by comparing across many comics, we found several markers used consistently across the globe.
In all, coherence in comics is a more nuanced process than often assumed. Coherence is supported by co-reference relations and by features of form. Many comics use the same patterns, suggesting that visual storytelling has some systematicity. These findings show that comics are well-rounded expressions that inform about patterns of storytelling, creativity, and cognition.
Voor een samenhangend verhaal moeten lezers weten hoe nieuwe elementen zich verhouden tot eerder getoonde elementen (genaamd, co-referentie). Onze eerste theorie beschrijft principes in ons brein die het herkennen van co-referentie begeleiden, en zo bijdragen aan coherentie. Ook moeten lezers omgaan met verteltechnieken die vragen om complexe inferenties. Eén techniek, gebruikt in 50% van stripverhalen, is het weergeven van een normaalgesproken mentale gebeurtenis (de verbeelding, droom, of herinnering van een personage). Onze experimenten tonen aan dat lezers dit goed begrijpen en dat grafische kenmerken werken als markering. Onze tweede theorie beschrijft vormgevingskenmerken die mogelijk worden ingezet als markering, en door vele stripverhalen te vergelijken, vonden we markeringen die structureel worden gebruikt.
Samenvattend is coherentie in stripverhalen een genuanceerder proces dan vaak wordt gedacht. Coherentie wordt ondersteund door co-referentie en vormgevingskenmerken. Veel stripverhalen gebruiken hiervoor dezelfde strategieën, wat suggereert dat visuele verhalen systematisch zijn. Deze bevindingen onderbouwen dat stripverhalen gedetailleerde vormen van communicatie zijn die inzicht geven in verhaalpatronen, creativiteit, en ons brein.
_
This project investigated coherence in visual storytelling, like comics. Coherence is the sense that a story fits together logically, brought about by meaningful relations between story elements. These coherence relations can be signaled through markers (explicit cues in the story), or readers fill in such relations by themselves, through inferencing. My aim was to describe how our mind establishes coherence relations for comics and to show that features of form (like panel borders or colours) can act as helpful markers. Inspired by prior research, I analyzed how both meaning and form (all graphic and structural features of comics) work together to support coherence, and I analyzed patterns of information that appear across many comics.
To make sense of comics, readers must know how new elements relate to previously shown elements (called co-reference). Our first theory describes a range of principles that readers would store in their minds, which guide how they establish co-reference relations between story elements. These co-reference relations support a sense of coherence. Readers of comics also must figure out more complicated storytelling techniques, using the process of inferencing. One technique, used in about 50% of comics, is showing a purely mental experience in the story (a character’s imagination, dream, or memory). This disrupts the story, and readers have to infer how the mental experience relates to the overall storyline to keep it coherent. Our experiments showed that readers were good at understanding this technique, and that graphic features worked as a marker. Our second theory described multiple features of form that could act as markers, and by comparing across many comics, we found several markers used consistently across the globe.
In all, coherence in comics is a more nuanced process than often assumed. Coherence is supported by co-reference relations and by features of form. Many comics use the same patterns, suggesting that visual storytelling has some systematicity. These findings show that comics are well-rounded expressions that inform about patterns of storytelling, creativity, and cognition.
| Original language | English |
|---|---|
| Award date | 28 Feb 2025 |
| DOIs | |
| Publication status | Published - Jan 2025 |