https://doi.org/10.25312/2391-5137.17/2022_08apm
Agnieszka Palion-Musioł https://orcid.org/0000-0003-4244-7866 Akademia Techniczno-Humanistyczna w Bielsku-Białej
e-mail: apalion@ath.bielsko.pl
Celem artykułu jest omówienie multimodalnego charakteru reklamy, która w znacznym stopniu wykorzystuje w swoim przekazie perswazyjnym połączenia dwóch systemów semiotycznych: obrazu i tekstu. Pomimo że obraz i tekst materializują się poprzez różne formy i za pomocą odmiennych znaków, to wchodząc ze sobą w interakcje, zaczynają tworzyć jedną komunikacyjną całość, dopełniając się tak w swoich formach, jak i treściach. Połączenia obrazowo-tekstowe są nie tylko atrakcyjne dla odbiorcy, ale też generują w nim nowe asocjacje i oddziałują w różnym stopniu na odbiór i rozumienie przekazywanych treści. Dlatego też ważne jest nazwanie tych relacji w celu zdefiniowania ich obszaru i potencjału percepcyjnego. Opisane w tekście relacje obrazowo-tekstowe, będące schematami przestrzenno-składniowymi, informującymi i retoryczno-
-semantycznymi, zostały przeanalizowane zgodnie z propozycją H. Stöckla (2004; 2015) i wpisują się w aparat badawczy multimodalnej lingwistyki tekstu. Ponadto w artykule przedstawiono różnice i podobieństwa występujące między obrazem i tekstem, a także zwrócono uwagę na intertekstualność i interobrazowość, które niejednokrotnie stanowią integralną część reklamy.
Słowa kluczowe: relacje obraz–tekst, reklama, multimodalność, intertekstualność, multimodalna lingwistyka tekstu
Multimodalne rozumienie znaczenia wywodzi się z koncepcji Kressa i van Leeuwena (2001), dla których sens może być wyrażony poprzez różne systemy semiotyczne. Zdaniem autorów multimodalność materializuje się w tekście poprzez odmienne formy i za pomocą innych przekaźników, to jest zdjęcia, obrazu, tekstu, piosenki, gestu itp.
Współwystępowanie tych odmiennych systemów semiotycznych otrzymało przez badaczy miano designu (Kress, van Leeuwen, 2001: 6), który stanowi jeden z poziomów komu- nikacji multimodalnej obok dyskursu, produkcji i dystrybucji. Design zdaniem Stöckla (2004: 20) pełni funkcję pośredniczącą, gdyż, jak zauważają sami autorzy, wykorzystuje on znaki reprezentujące różne modalności oraz ich połączenia, a to wszystko dzieje się na poziomie abstrakcyjnym projektowania tekstu, a zatem pomiędzy wyobrażeniem a jego materialną realizacją (Kress, van Leeuwen, 2001: 5, 21). Realizacja ta jest wynikiem możliwości technicznych danych mediów i, jak stwierdza Luginbühl (2015: 164), może determinować znaczenie tekstu, a sam design może wpływać na sytuację komunikacyjną i interakcję jego elementów.
Multimodalność w reklamie przejawia się w połączeniu różnych systemów znaków, które wchodząc we wzajemne relacje, tworzą holistyczny komunikat perswazyjny. Re- klama posługuje się najczęściej kombinacją znaków językowych (slogan reklamowy, tekst objaśniający), znaków wizualnych (obraz szeroko pojmowany, a więc fotografia, reprodukcja, projekt graficzny itd.) oraz znaków dźwiękowych (dźwięk, piosenka, aluzja muzyczna itd.). Dlatego też Stöckl stwierdza, że „tworzenie i percepcja takich tekstów wymaga interakcji różnych zasobów w syntaktyczno-semantycznej i funkcjonalnej całości” (Stöckl, 2015: 113). I właśnie ta interakcja różnych systemów znakowych jest integralną częścią reklamy, która nie oddziałuje na odbiorcę na poszczególnych płaszczy- znach wizualnej, werbalnej i dźwiękowej, ale jest spójna i rozumiana w sposób globalny. W praktyce oznacza to, że tekst reklamowy jest, posiłkując się terminologią R. Barthes’a (1977: 38–41), zakotwiczeniem dla obrazu lub obrazu i dźwięku i pozwala on na właściwe jego/ich odczytanie.
Obrazy same w sobie mają architekturę dualną – podobnie jak znak w rozumieniu de Saussure’a mogą oddziaływać na odbiorcę poprzez diegezę, czyli sumę denotatywnych znaczeń, oraz poprzez znaczenia konotatywne, zindywidualizowane i trudne do ustale- nia. Jeśli w punkcie wyjścia stwierdzamy, że reklama jest komunikatem perswazyjnym, a zatem celowym i mającym funkcję nakłaniającą do konkretnego zachowania, postawy lub działania, to również na wstępie należy ograniczyć możliwość interpretacyjną re- klamy i/lub jej komponentów, aby była odczytana zgodnie z intencją nadawcy i mogła zrealizować postawiony sobie cel. O ile w przypadku reklamy prasowej, statycznej tekst jest wspomnianym zakotwiczeniem dla obrazu, to w przypadku reklam telewizyjnych, internetowych, cyfrowych reklam zewnętrznych tekst zdaniem R. Barthes’a (1977: 38–41) przybiera postać funkcji przekaźnikowej i staje się o wiele ważniejszy od obrazu. Jednak- że niezależnie od medium należy rozpatrywać reklamę jako całościowy, multimodalny komunikat perswazyjny, którego przekaz budowany jest w oparciu o wszystkie elementy systemów znakowych, a zatem w przypadku reklamy trudno zgodzić się z Barthes’em, że jeden system znakowy ma funkcję prymarną nad innym, chociaż obserwując literaturę przedmiotu, łatwo zauważyć tendencję do badań werbocentrycznych. W podobnym duchu wypowiada się H. Stöckl (2015: 133):
W badaniach językoznawczych obraz traktuje się bardzo sceptycznie – wielu badaczy postrzega obraz jako samowyjaśniający, sekundarny i nieistotny (bo ilustrujący) ele- ment tekstu. Mimo właściwie nierozerwalnych połączeń języka z innymi systemami
znaków w komunikacji, ich historycznego rozwoju, procesów kognitywnych, języko- znawstwo, ograniczając się do opisu języka, podąża swoją bezpieczną drogą.
Interesująca nas relacja obraz–tekst stanowi dla G. Antosa i R. Opiłowskiego jedną z makromodalności charakteryzujących współczesne teksty multimodalne. Relację tę umieszczają oni „w centrum komunikacyjno-funkcjonalnej semiozy w tekstach multi- modalnych […], które na zasadzie wzajemnego sprzężenia tworzą treść i funkcjonalną relewantność każdego tekstu drukowanego” (Antos, Opiłowski, 2015: 19). Stąd też reklama jest kompleksem semiotycznym, który należy rozpatrywać jako sumę poszczególnych systemów znakowych o tożsamej funkcji, gdyż każdy z systemów współtworzy sens i ogranicza jego interpretację. Stwierdzenie to można odnieść do wniosków E. Szczęsnej, która podkreśla, że „im większy jest udział różnych systemów semiotycznych w tworzeniu przekazu, tym mniejsza jest niezależność każdego z nich” (Szczęsna, 2004: 11). Oznacza to, że systemy, wchodząc ze sobą w interakcję, zaczynają tworzyć jedną komunikacyjną całość, dopełniając się w swoich formach i treściach.
Zastosowanie w tekście reklamowym kombinatoryki różnych systemów znaków będzie zależne od użytych mediów. W reklamie prasowej występują relacje werbalno-wizualne, w przypadku telewizji są to kombinaty audio-werbalno-wizualne tak jak w przypadku in- nych nośników cyfrowych. To właśnie możliwości i ograniczenia techniczne determinują sposób wykorzystania konkretnych znaków w przekazie. Dlatego też badania i analiza reklam prasowych będzie różnić się od analizy reklam telewizyjnych czy internetowych. Na potrzeby niniejszego tekstu analizie zostaną poddane jedynie reklamy prasowe i dru- kowane, które ograniczają się do relacji słowno-wizualnych w swoim przekazie.
Skupiając się na relacji łączącej obraz i tekst w reklamie, warto wspomnieć badania
U. Schmitza (2011), który w swoim artykule wylicza miejsca styczne obu systemów, ale również wskazuje na różnice, które dzielą te dwa znaki semiotyczne. Autor upatruje po- dobieństwa w pochodzeniu, wyglądzie i funkcji obu znaków. W przypadku pochodzenia obraz i tekst wywodzą się ze słowa mówionego, które od początku dziejów towarzyszyło ludzkości. Potrzeba komunikacji doprowadziła do utworzenia malowideł w jaskiniach znanych chociażby w Lascaux czy Altamirze, a z czasem do powstania piktogramów, ikon obserwowanych między innymi w edytorze tekstu, aż do współczesnych emotikonów i emoji. Równolegle ta sama potrzeba spowodowała rozwinięcie się pisma jako trwałego środka komunikacji. Pismo i obraz są materializacją w odmiennym znaku tych samych sensów, a nawet komunikatów, czego przykładem są piktogramy. Zatem pismo jest ob- razem, graficzną reprezentacją pisma, co więcej, staje się właściwym obrazem, jak to ma miejsce w przypadku kaligrafii. Potwierdza to uwaga Schmitza (2015: 65):
Od początku pisanie było także formą sztuki, która dopuszczała własne środki wyrazu, wykraczające poza logiczno-linearny ciąg pisma. Jednak na przestrzeni wieków ta mo- notonna jednowymiarowość tradycyjnie rozumianego języka pisanego także w przy- padku zwykłych tekstów przybrała postać coraz bardziej kompleksowej „semiotyki
kształtu tekstu”; im więcej pisano, tym więcej odkrywano wpływających na tok lektury paratekstów, pomocy wizualnych i tekstów dodatkowych, istniejących poza linearnym tokiem pisma […].
Miejsce styczne obrazu i tekstu jest również upatrywane przez badacza we wspomnia- nej funkcji. Oba systemy znakowe służą do wyrażania pewnych treści, komunikatów i sensów. Oba są „zanurzone mentalnie we wspólnym źródle komunikacji symbolicznej” (Schmitz, 2015: 65). Obraz oddziałuje na odbiorcę formą, kolorem, stylem, tak jak znak pisany oddziałuje poprzez swoją formę, aktywując w odbiorcy ciąg wyobrażeń, asocjacji i narracji. Obraz i znak pisany są niejako wpisane w naszą wyobraźnię i jesteśmy w stanie transkrybować jeden znak za pomocą innego, tworząc semiozę, którą C.P. Peirce (1977) określa mianem działania, w wyniku którego znak oddziałuje w określony sposób kogni- tywny na swojego odbiorcę.
Pomimo wskazanych podobieństw między dwoma systemami znakowymi, warto zwrócić uwagę na różniące je cechy w celu lepszego zrozumienia ich natury, a przez to dokładniejszego przyjrzenia się łączącym je relacjom. Cytowany badacz, U. Schmitz, wymienia dwie główne cechy różniące obrazy i teksty – sposób percepcji obu znaków oraz ich rodzaj, środek i cel reprezentacji (Schmitz, 2015: 66). Obrazy są ikonicznymi znakami, które służą do naśladowania, reprezentowania i prezentowania rzeczywistości i są postrzegane zmysłami (mamy przecież obrazy z żywych kwiatów, mchu i inne, które nie tylko oglądamy, ale możemy również powąchać czy dotknąć). Teksty odwołują się do procesów kognitywnych, oddziałują poprzez struktury syntaktyczno-semantyczne na odbiorcę, który wyobraża sobie mentalnie treści i je przetwarza. Kombinatoryka do- strzegana w języku naturalnym nie daje się odwzorować w przypadku obrazu, choć ten ostatni również cechują reguły łączenia poszczególnych elementów w spójną narracyjną całość. Schmitz mówi w tym kontekście o mniejszym stopniu sformalizowania relacji część–całość występującej w znaku wizualnym.
Takie postrzeganie tekstu poprzez elementy je stanowiące jest bezpośrednim odwo- łaniem do drugiej wskazanej przez Schmitza różnicy – sposobu percepcji tekstu wyzna- czonego przez system znaków. Czytając teksty, stosujemy strategię zwaną bottom-up, która polega na odczytywaniu elementów od szczegółu do ogółu. Podejście to wiąże się z układem linearnym pisma, który poprzez swoje reguły kombinatoryjne łączy pojedyncze elementy w większe jednostki znaczeniowe, zdania, akapity, teksty. W przypadku obra- zu towarzyszy nam podejście odwrotne. Oglądamy obraz od ogółu do szczegółu, gdyż obrazy postrzegamy całościowo i równocześnie. Po pierwszym obejrzeniu globalnym obrazu zaczynamy sczytywać go w sposób analityczny, przypatrując się poszczególnym jego komponentom. Analiza ta jest uporządkowana według struktury top-down, zatem od elementów umieszczonych w górnych partiach obrazu w kierunku jego dołu. Wydaje się ważne w kontekście rozpatrywanych przez nas tekstów reklamowych, żeby zwrócić uwagę, iż pojedynczy obraz zdecydowanie nie ma struktury linearnej, jaka charakteryzuje tekst. Jednakże w przypadku pewnej sekwencji obrazów (na przykład powieść obrazkowa) czy połączeń obrazowo-tekstowych linearność jest dostrzegana.
Jeśli rozpatrujemy reklamę poprzez jej multimodalny charakter, to musimy również przyjrzeć się jej związkom intertekstualnym, które niejako są wpisane w każdy z sys- temów znakowych, jak i sam gatunek reklamy. Nierzadko przecież spotykamy reklamy, które korespondują i odwołują się bezpośrednio do innych tekstów kultury (książki, filmu, obrazu, muzyki itp.) i stanowią swoistą grę z odbiorcą, który aktywuje nowe zna- czenia, niejako tworzy nowy tekst poprzez jego intertekstualne odczytanie. E. Szczęsna upatruje w reklamie „tekstowej hybrydy”, która przejawia się właśnie w intertekstu- alności i transstylistycznej formie komunikatu perswazyjnego. Dla badaczki intertek- stualność ujawnia się w wykorzystanych przez reklamę „cytowaniu, parafrazowaniu czy posługiwaniu się aluzjami do istniejących, zakotwiczonych w tradycji, znanych tekstów kultury: tekstów literackich […], utworów muzycznych […], malarskich […]” (Szczęsna, 2004: 15). Termin intertekstualność został wprowadzony do humanistyki przez J. Kristevą oraz koresponduje bezpośrednio z koncepcjami M. Bachtina i R. Bar- thes’a i pierwotnie wpisywał się w nurt badań literaturoznawczych. Jednakże jak pisze
R. Nycz (1990: 97):
Niezależnie od złożonej tradycji badawczej: a więc tradycji retorycznych; pozytywi- stycznej filologii „wpływów i zależności”; stylistyki literackiej Spitzera; językoznaw- czej Bally’ego; folklorystycznej Parry’ego i Lorda; myśli formalistycznej i, przede wszystkim, Bachtinowskiej – współczesne badania interdyscyplinarne (tzn. m.in. me- tahistoryczne, semiotyczne, dekonstrukcjonistyczne, studia z zakresu lingwistyki tek- stu) dowiodły, iż intertekstualność nie jest wyłączną własnością literatury, lecz stanowi stłumiony bądź jawny wymiar każdego typu wypowiedzi.
Wydaje się więc konieczne rozpatrywanie kategorii intertekstualności w badaniach nad reklamą, która stanowi złożony tekst multimodalny, a zarazem intertekstualny nawiązu- jący swą treścią do innych tekstów kultury. Na potrzeby niniejszego tekstu przyjmujemy definicję cytowanego R. Nycza, który proponuje dość szerokie rozumienie tego zjawiska:
Jako kategorii obejmującej ten aspekt ogółu własności i relacji tekstu, który wskazuje na uzależnienie jego wytwarzania i odbioru od znajomości innych tekstów oraz archi-
-tekstów (reguł gatunkowych, norm stylistyczno-wypowiedzeniowych) wśród uczest- ników procesu komunikacyjnego
Przyjętą definicję intertekstualności dopełnia stwierdzenie G. Rose (2010: 175):
Intertekstualność opisuje to, w jaki sposób znaczenia dowolnego obrazu czy tekstu w obrębie dyskursu zależą nie tylko od konkretnego tekstu czy obrazu, lecz także od znaczeń niesionych przez inne obrazy i teksty.
Dlatego też badanie zjawiska intertekstualności w tekstach komercyjnych, do których należy reklama, wymaga przyjrzenia się różnym relacjom, jakim podlegają tego typu teksty.
A. Wojciechowska w swoim artykule odwołuje się do podziału referencji obserwowanych w tekstach przez Kesslera i Hellwiga, którzy wyróżniają intertekstualność obserwowaną na płaszczyźnie tekst–tekst, interikoniczność obejmującą relacje obraz–obraz oraz wizu- alną intertekstualność widoczną w relacjach obraz–tekst i tekst–obraz (Kessler, Hellwig,
2004: 234). W naszym tekście zostanie poddana analizie relacja trzeciego typu, która bezpośrednio koresponduje z charakterem multimodalnym reklamy.
Jak zauważyliśmy wcześniej, odczytując teksty i oglądając obrazy, stosujemy zazwyczaj dwie strategie, które określają sposób naszej lektury i oglądu: bottom-up oraz top-down. Zdaniem Stöckla, wykorzystując strategię bottom-up polegającą na odkodowywaniu ele- mentów tekstu od szczegółu do ogółu, możemy zaobserwować trzy typy relacji, które łączą obraz i tekst w komunikacie multimodalnym, a są nimi: schemat przestrzenno-składniowy, schemat informujący oraz schemat retoryczno-semantyczny (Stöckl, 2015: 124–129). Schematy przestrzenno-składniowe stanowią dla badacza „konstelacje językowo-obrazo- we”, które zostały połączone w przestrzeni tekstu zgodnie z zamysłem nadawcy. Możliwe są w związku z tym dwa rodzaje schematów, w których język jest nałożony na obraz lub odwrotnie (rys. 1) (odczytanie linearne tekstu) lub w drugiej możliwości obraz i język tworzą graficzną całość (rys. 2). W pierwszym układzie język i tekst stanowią oddzielne systemy znakowe i tak też są linearnie odbierane, natomiast w drugim wypadku mamy do czynienia z odczytaniem symultanicznym, w którym obraz i słowo tworzą jeden zwarty i integralny komunikat wizualny, choć złożony z obu systemów znakowych.
Rysunek 1. El Corte Inglés
Źródło: Las Meninas advertisement for el Corte Inglés, 2011.
Rysunek 2. Reklama Lego
Źródło: Michalik, 2013.
Wymienione tu konstelacje słowno-wizualne mają wpływ na semantyczne odczytanie całościowego znaczenia tekstu. W przypadku pierwszej reklamy (rys. 1) tekst w dwóch wersjach językowych – angielskiej i hiszpańskiej – poprzedza obraz, a zatem ten ostatni funkcjonuje w reklamie jako ilustracja, która służy odbiorcy do odnalezienia właściwych powiązań obrazu z pozostałymi elementami tekstowymi reklamy. W tego typu tekstach Stöckl wspomina również o strukturze alternacyjnej, czyli pozwalającej na zastąpienie jednego kodu innym w celu wyjaśnienia jego znaczenia poprzez jego poszerzenie lub dookreślenie (Stöckl, 2015: 124). W reklamie hiszpańskiej sieci centrów handlowych El Corte Inglés obraz służy właśnie poszerzeniu znaczenia tekstu oraz tworzy swoistą grę z odbiorcą poprzez nawiązanie sloganu Welcome Where the fashion is art. Bienveni- do donde la moda es arte (pol. Witaj w miejscu, gdzie moda jest sztuką) do sztuki, którą reprezentuje przerobiony obraz Diego Velázqueza Panny dworskie. Obraz pozwala zatem odczytać niewypowiedzianą aluzję, że moda jest sztuką i to właśnie tą z najwyższej półki. El Corte Inglés znany jest ze sprzedaży produktów najlepszych i najbardziej rozpozna- walnych marek. Oprócz ubrań oferuje również inne towary (meble, książki, sprzęt RTV i AGD, produkty spożywcze) oraz usługi turystyczne. W tym też kontekście obraz wymu- sza na odbiorcy wnioski przez analogię – moda jest sztuką, ale ponieważ sieć sprzedaje markowe i topowe produkty, to jest też sztuką na miarę Velázqueza.
W przypadku drugiej reklamy (rys. 2) nie ma mowy o linearnym jej odczytaniu.
Obraz i tekst stanowią jedną płaszczyznę wizualną. W tym wypadku Stöckl pisze
o symultanicznym schemacie zespolenia dwóch systemów znakowych, który realizuje się na dwa sposoby (Stöckl, 2015: 125). Po pierwsze, język służy do opisania prezentowa- nego obiektu lub służy jako wyjaśnienie z dołączonym do niego komentarzem, wpisując się wówczas w schemat konfiguracyjny. Jako druga możliwość język i obraz łączą się ze sobą w schemacie transmutacyjnym i wytwarzają tym samym rodzaj „karykatury” w ter- minologii Stöckla, która teoretycznie pozwala rozdzielić te dwa systemy, ale z punktu widzenia percepcyjnego jest to niemożliwe do zrealizowania.
Prezentowana reklama klocków Lego wpisuje się właśnie w ten drugi schemat. Transmutacja, której został poddany komunikat, polega na stworzeniu karykaturalnej, bo przecież zdeformowanej reprodukcji znanego obrazu Leonarda da Vinci Mona Lisa za pomocą klocków z napisem Lego. Odtwórczy charakter obrazu polegający na zastosowaniu zbliżonej do oryginału kolorystyki, układu, proporcji oraz stylu pozwala na odszukanie w pamięci związku pomiędzy reprodukcją ze znanych klocków a dziełem mistrza. Tym samym reklama zwraca uwagę na kreatywny charakter Lego, który pozwala rozwijać wyobraźnię użytkownika, a przez to tworzyć konstrukcje będące prostymi dziecięcymi budowlami aż po reprodukcje znanych dzieł sztuki. Istotne w tym schemacie wydają się jeszcze dwa elementy słowne – nazwa klocków na czerwonym tle Lego usytuowana w prawym górnym rogu, będąca zakotwiczeniem dla obrazu, oraz umieszczony w lewym górnym rogu klocek z napisem imagine. Prawdopodobnie właśnie w ten sposób, poprzez ukryty na pierwszy rzut oka angielski czasownik imagine, nadawca reklamy chciał pobu- dzić wyobraźnię odbiorcy, a przez to odwołać się do jego wiedzy pozajęzykowej o świecie, która w tym wypadku wymaga znajomości dzieł sztuki. Taki rodzaj „typopiktorialności”1 rozszerza wizualno-semantyczną płaszczyznę działania (zob. Gaede, 2002).
Drugim typem relacji obrazowo-słownej, jaki dostrzega niemiecki badacz, jest schemat informujący. Połączenie obrazu i tekstu ma służyć jednemu celowi – przekazaniu spój- nego i holistycznego komunikatu. Z punktu widzenia semantyki należy rozpatrzeć dwie kwestie. Po pierwsze, obraz jest znakiem wieloznacznym. Jak pisaliśmy wcześniej, jego architektura dualna niesie ze sobą potencjał konotacyjny, który jest zindywidualizowany i trudny do jednoznacznego określenia. Po wtóre, Stöckl uważa, że związki werbalno-
-wizualne mogą być analizowane poprzez komponenty semantyczne obrazu i ich funk- cje wobec języka, i odwrotnie. Stąd też badacz, odwołując się do van Leeuwena (2005: 222–225), wskazuje na dwa rodzaje połączeń informacji, które realizują się w elaboracji lub ekstensji (Stöckl, 2015: 125).
W przypadku elaboracji język i obraz służą do objaśniania się nawzajem, a tym samym do pełniejszego zrozumienia całościowej przekazywanej informacji. Przy takim połącze- niu nie są generowane żadne nowe semantyczne czy dyskursywne treści. Jest to relacja uzupełniająca się wzajemnie. Jeśli zaś chodzi o ekstensję, połączenie obrazowo-słowne służy wytworzeniu nowych semantycznych i dyskursywnych treści, gdyż jak zauważa Antos i Opiłowski, „jeden kod aktywuje w drugim nowe przestrzenie semantyczne” (Antos, Opiłowski, 2015: 20).
1 Termin wprowadzony przez Hartmuta Stöckla w 2015 roku (Stöckl, 2015: 125).
Przykładem elaboracji w schemacie informującym może być reklama perfum Quizás, quizás, quizás firmy Loewe (rys. 3). W reklamie wykorzystano parę tańczącą tango do aktywizacji u odbiorcy znaczeń metonimicznych i skojarzeniowych, które łączą się z pasją i namiętnością, niejako wpisanych w tango. W ten sposób obraz uzupełnił zna- czenie tekstu znajdującego się po prawej stronie reklamy: Loewe, Quizás, quizás, quizás. Pasión. W języku hiszpańskim pasión oznacza zarówno namiętność, jak i pasję. Ponadto nazwa perfum Quizás, quizás, quizás jest również bezpośrednim nawiązaniem do tytułu śpiewanego tanga, którego autorem jest Osvaldo Farrés. Obraz spełnia tu rolę ilustra- cyjną i wyjaśniającą, a towarzyszący mu tekst jest ekspresywnym aktem mowy Quizás, quizás, quizás. Pasión, w którym pasión można odczytać jako metonimiczny synonim tanga. Obraz i tekst korespondują ze sobą i są równoważne. Jeden system znakowy po- trzebuje drugiego do wyrażenia holistycznej treści. Po stronie odbiorcy leży odczytanie logiki przyczynowo-skutkowej, którą tworzy z jednej strony obraz pasji i namiętności zrealizowany pod postacią tanga, a z drugiej bezpośrednie nawiązanie tekstowe do słów tekstu tanga Osvalda Farrésa oraz emocji i uczuć, jakie ono wyzwala w tańczących. Zarysowana w analizie relacja obraz–tekst jest dość łatwo zauważalna na pokazanym przykładzie, jednakże bez zaangażowania semiotyczno-kognitywnego odbiorcy mogłaby pozostać niewidoczna.
Rysunek 3. Reklama Loewe, Quizás, quizás, quizás
Źródło: Mann, 2011.
Intertekstualna i interobrazowa gra nadawcy z odbiorcą jest również widoczna w dru- gim typie połączenia informacji: ekstensji. Ekstensja ma na celu stworzenie dodatkowych odczytań komunikatu poprzez aktywowanie nowych skojarzeń u odbiorcy. Chodzi zatem o nadanie wypowiedzi wieloznacznego charakteru. Przykładem takiej gry z odbiorcą wy- wołanej łączliwością wizualno-werbalną może być reklama irlandzkiej firmy hazardowej Paddy Power (rys. 4).
Rysunek 4. Reklama Paddy Power
Źródło: Sudibyo, 2020b.
Przedstawiony obraz i tekst dostarczają pozornie sprzecznych informacji. Obraz jest bezpośrednią aluzją do dzieła Ostatnia wieczerza Leonarda da Vinci, a tekst informuje o miejscu do zabawy i gry, które zostają doprecyzowane poprzez wyliczenie: poker, ka- syno, zakłady i gry. Nawiązanie do Ostatniej wieczerzy jest uwidocznione poprzez liczbę postaci (12 – analogicznie do liczby apostołów, którzy towarzyszyli Chrystusowi w wie- czerzy), ich gesty, symetryczne ułożenie przedstawionych osób, ich stylizację, a także wnętrze, w którym się znajdują. Modyfikacja wystroju wnętrza oraz atrybuty wykorzysty- wane w grach hazardowych są bezpośrednim nawiązaniem do profilu usług oferowanych przez Paddy Power. Zmodyfikowany obraz tworzy aluzję, którą możemy określić jako inkongruencję. Pozornie sprzeczne treści łączą się jednak w spójny komunikat, który nie pozostaje wolny od dodatkowych skojarzeń i interpretacji za sprawą zmodyfikowanego obrazu. Wartość semantyczna obrazu generuje dodatkowe przestrzenie znaczenia. Chrystus został pokazany w roli krupiera, a więc osoby kierującej grą, w której ktoś wygrywa, a inny przegrywa. Warto zauważyć, że Chrystus nie angażuje się w żadną z gier. Rozdaje karty i z boku przygląda się działaniom innych grających, zatem jest biernym obserwatorem. Może to być również bezpośrednia metafora do opisanych wydarzeń biblijnych, kiedy to Judasz jawi się jako pozornie wygrany, a Chrystus przegrany. Wydaje się, że przestrzeń aktywowana poprzez takie połączenie obrazu i tekstu potrafi generować znaczną liczbę interpretacji, które jednak za każdym razem uzależnione pozostaną od możliwości ko- gnitywno-percepcyjnych oraz kompetencji kulturowych oglądającego.
Stöckl na podstawie własnych przykładów reklam dochodzi do wniosku, że ekstensja
może zostać zmaterializowana poprzez następujące połączenia obrazowo-tekstowe:
„zgodność/podobieństwo, sprzeczność, komplementarność (i inne relacje semantycz- ne)” (Stöckl, 2015: 127), co zostało również pokazane na przykładach analizowanych w tym tekście.
Trzeci i ostatni schemat stanowią związki retoryczno-semantyczne na płaszczyźnie obrazowo-tekstowej. Związki te, zgodnie z ideą Stöckla (2015), mają służyć wyjaśnie- niu kognitywnych, logiczno-semantycznych i retorycznych procesów oraz produktów powstałych w wyniku interakcji obrazu i tekstu. Badacz podzielił związki na omawianej płaszczyźnie na trzy podtypy. Rozpoczynając od schematu skoordynowanego, zarówno obraz, jak i tekst pozostają względem siebie w korespondencji, odzwierciedlając proste zależności polegające na równości, przeciwności oraz przestrzennych i czasowych re- lacjach. Dlatego też odbiorca odbiera komunikat poprzez skojarzenia, porównania oraz dopasowanie znaczeń generowanych przez obraz i tekst. Relację tę upatrujemy w re- klamie samochodu renault mégane (rys. 5), która przedstawia dwa zestawione ze sobą obrazy – portret kobiety wzorowany na kubistycznych obrazach Picassa oraz zdjęcie nowego renault mégane. Pod obrazami czytamy napis: Without Air-bag (pol. bez poduszki powietrznej) oraz pod samochodem – With Air-bag (pol. z poduszką powietrzną). Nawet jeśli odbiorca nie jest specjalistą z branży motoryzacyjnej, potrafi przenieść na obrazy swoje doświadczenia jako przeciętny użytkownik samochodu. Skojarzenie i dopasowanie znaczeń pozostaje oczywiste: użytkowanie innych samochodów niż reklamowany model renault jest mniej bezpieczne dla użytkownika, gdyż to właśnie renault jest Excessively safe (pol. wyjątkowo bezpieczny). Komponenty reklamy są tu wizualnymi analogiami w relacji określonej przez Stöckla jako skoordynowana, a metaforyczne skojarzenia są tworzone głównie poprzez prezentowany kontrast.
Rysunek 5. Renault mégane
Źródło: Sudibyo, 2020c.
Drugi podtyp połączenia obrazowo-werbalnego obrazuje hierarchiczny schemat relacji. Tym razem to hierarchiczna logika jest podstawą związku semantycznego, który odtwarza
relacja obraz–tekst. Ważnym elementem takiego zespolenia są konfiguracje logicznych zależności, które tworzy zarówno obraz, jak i tekst. Dlatego też konfiguracje te przybierają postać „przyczyny i skutku”, „warunku i następstwa”, „cechy ogólnej i szczegółowej”,
„metody i rezultatu” oraz „części i całości” (Stöckl, 2015: 128). W reklamie francuskich okularów KelOptic, zaprezentowanej na rysunku 6, odnajdujemy właśnie hierarchiczny schemat relacji. Przedstawione cechy okularów zostały zwerbalizowane przez napis Voyez plus clair pour moins cher (pol. zobacz wyraźniej za mniej) i potwierdzone w sposób wyolbrzymiony poprzez przedstawiony obraz. Zatem wniosek, który odczytuje odbiorca, jest następujący: jeśli chcesz widzieć wyraźniej, to załóż okulary KelOptic. W ten też sposób została zrealizowana relacja warunek i skutek.
Rysunek 6. Reklama KelOptic
Źródło: Sudibyo, 2020a.
Ostatni typ połączenia stanowi schemat humorystyczny, który pozbawiony jest za- leżności logiczno-argumentacyjnych i skojarzeń koordynujących oba systemy znakowe (Stöckl, 2015: 128). Nadawca wykorzystuje uwarunkowania tak obrazu, jak i tekstu i two- rzy zabawną, nieoczekiwaną analogię metakomunikacyjną pomiędzy obrazem a tekstem. Połączenie to w efekcie wytwarza nową wartość i sens.
Przykład takiego schematu humorystycznego znajdziemy w promującym toyotę mirai filmie, z którego prezentujemy stop-klatkę (40 sekunda filmu, rys. 7). Toyota oferuje swoim klientom model napędzany wodorem. Jego działanie polega na pochłanianiu tlenu z powietrza, łączeniu go w ogniwach paliwowych z wodorem, w wyniku czego wytwarza
się prąd będący paliwem dla pojazdu, a woda jako skutek uboczny odprowadzana jest z auta przez rurę wydechową. W prezentowanej reklamie hasło Fueled by Bullsh*t nabiera metonimicznego znaczenia jako samochód napędzany wodorem, który jest obecny rów- nież w odchodach bydła. Ponadto angielskie słowo bullshit oznacza w języku potocznym bzdury, brednie, głupie gadanie, co w przypadku nowej technologii wodorowej może łączyć się z elementem zaskoczenia i niedowierzania przez osoby niezwiązane z branżą motoryzacyjną. Elementy wizualne na obrazie przedstawiają także dosłowne znaczenie tego angielskiego leksemu. Reklama jest przykładem metonimicznej gry z odbiorcą, ale też powinna być odczytana dosłownie. Zielona łąka, pasąca się na wolności krowa oraz góry w tle nawiązują do ekologii i natury, której sprzyja nowoczesny samochód Toyoty napędzany wodorem, a tym samym te skojarzenia pozwalają na budowanie pozytywnego wizerunku reklamodawcy.
Rysunek 7. Reklama toyoty mirai
Źródło: Fueled by Bullsh*t, 2015.
Przedstawiona w tekście analiza semiotyczna połączeń obrazowo-słownych powinna zostać wpisana w lingwistyczne badania nad tekstem. Trudno wyobrazić sobie dzisiejszą reklamę, a nawet komunikację, bez interakcji tych dwóch systemów semiotycznych, gdyż współczesny człowiek coraz bardziej zasługuje na miano homo videns2. Obraz i tekst w komunikatach multimodalnych stają się równoprawnymi przekaźnikami sensu oraz, co ważne, współmodelują jego końcowe znaczenie. Pokazane w tekście, za klasyfikacją
H. Stöckla (2011; 2015), połączenia obrazowo-tekstowe na płaszczyźnie przestrzenno-
-składniowej, informującej oraz retoryczno-semantycznej ukazały kilka zależności:
2 Termin zaproponował Giovanni Sartori (2007).
Nie sposób rozdzielić w tekście multimodalnym obrazu od tekstu, ponieważ są one komplementarne i tworzą holistyczne znaczenie.
Obraz i tekst wchodzą w złożone interakcje, w wyniku których jeden system może transmutować inny lub być jego celową alternacją.
Obraz wobec tekstu (lub odwrotnie) może powodować jego ekstensję treści lub tylko go uszczegółowić, jak ma to miejsce przy elaboracji.
Obraz i tekst mogą też być względem siebie równorzędne, przeciwstawne znaczenio- wo lub służyć narracjom czasowo-przestrzennym.
Mogą one również wytwarzać między sobą takie zależności jak przyczyna–skutek, warunek–następstwo, ogólny–szczegółowy, metoda–rezultat, część–całość.
Obraz i tekst służą niejednokrotnie wytworzeniu efektu humorystycznego, który ma budować pozytywne skojarzenia z reklamowanym produktem lub z jego marką. Me- takomunikacyjna analogia powstała w wyniku niespodziewanego połączenia tych dwóch systemów produkuje komunikatywny sens przekazu.
Warto zaznaczyć, że sens komunikatu niejednokrotnie nie był warunkowany jedy- nie relacją obraz–tekst, ale również intertekstualnością, zgodnie z którą „każdy tekst stanowi rodzaj intertekstu, ponieważ możemy w nim odnaleźć ślady innych tekstów” (Tomaszkiewicz, 2009: 175). Te ślady mogą się materializować poprzez słowną lub wi- zualną parafrazę, cytat, aluzję, porównanie, odniesienie czy zapożyczenie. Przykładów takich tropów intertekstualnych oraz interobrazowych w tekście było kilka – od reklam nawiązujących do wielkich dzieł malarzy, po tytuł tanga Osvalda Farrésa. Przykłady te stanowią komunikacyjną grę z odbiorcą oraz tworzą polisemantyczny tekst, który wymaga zaangażowania wiedzy konsumenta oraz odwołuje się do jego wartości, gustów i oceny estetycznej (Łuc, 2012).
Antos G., Opiłowski R. (2015), W drodze do lingwistyki obrazu. Kierunki rozwoju nowej subdyscypliny lingwistycznej z perspektywy polsko-niemieckiej, „Tekst i Dyskurs”, nr 8.
Barthes R. (1977), Image, music, text, London.
Czekalski S. (2006), Intertekstualność i malarstwo. Problemy badań nad związkami między- obrazowymi, Poznań.
Gaede W. (2002), Abweichen von der Norm. Enzyklopädie kreativer Werbung, München.
Kessler C., Hellwig T. (2004), Visualisierte Intertextualität als Kontext für Bedeutungskonstruk- tionen in Karikaturen, politischen Plakaten und Werbeanzeigen, [w:] I. Pohl, K. Konerdinga (red.), Stabilität und Flexibilität in der Semantik. Strukturelle, kognitive, pragmatische und historische Perspektiven, Frankfurt am Main.
Kress G., van Leeuwen T. (2001), Multimodal discourse. The modes and media of contem- porary communication, London.
Luginbühl M. (2015), Design tekstu w wiadomościach telewizyjnych. Multimodalne tworzenie znaczenia poprzez język, obraz i dźwięk, [w:] R. Opiłowski, J. Jarosz, P. Staniewski (red.), Lingwistyka mediów. Antologia tłumaczeń, Wrocław–Drezno.
Łuc I. (2012), Komercyjny obraz sztuki jako narzędzie gier reklamowych, „Białostockie Ar- chiwum Językowe”, nr 12.
Nycz R. (1990), Intertekstualność i jej zakresy: teksty, gatunki, światy, „Pamiętnik Literacki: czasopismo kwartalne poświęcone historii i krytyce literatury polskiej”, nr 81(2).
Opiłowski R., Jarosz J., Staniewski P. (red.) (2015), Lingwistyka mediów. Antologia tłumaczeń, Wrocław–Drezno.
Peirce C. (1997), Wybór pism semiotycznych, Warszawa.
Rose G. (2010), Interpretacja materiałów wizualnych. Krytyczna metodologia badań nad wizualnością, Warszawa.
Sartori G. (2007), Homo videns: Telewizja i post-myślenie, Warszawa.
Schmitz U. (2011), Sehflächenforschung. Eine Einführung, [w:] H. Diekmannshenke,
M. Klemm, H. Stöckl (red.), Bildinguistic. Theorien – Methoden – Fallbeispiele, Berlin.
Schmitz U. (2015), Badanie płaszczyzn wizualnych. Wprowadzenie, [w:] R. Opiłowski,
J. Jarosz, P. Staniewski (red.), Lingwistyka mediów. Antologia tłumaczeń, Wrocław–Drezno.
Stöckl H. (2004), Die Sprache im Bild – Das Bild in der Sprache. Zur Verknüpfung von Sprache und Bild im massenmedialen Text. Konzepte – Theorien – Analysemethoden, New York–Berlin.
Stöckl H. (2015), Czytanie tekstów językowo-obrazowych? Elementy kompetencji podstawowej, [w:] R. Opiłowski, J. Jarosz, P. Staniewski (red.), Lingwistyka mediów. Antologia tłumaczeń, Wrocław–Drezno.
Szczęsna E. (2004), Tożsamość hybrydyczna, „E(R)RGO. Teoria – Literatura – Kultura”, nr 2(9).
Tomaszkiewicz T. (2009), Przekład audiowizualny, Warszawa. van Leeuwen T. (2005), Introducing social semiotics, London.
Wojciechowska A. (2020), Funkcje nawiązań międzyobrazowych w komunikatach wizual- nych – na przykładzie animacji Disneya, Pixara i Dreamworks, [w:] A. Ścibor (red.), Pamięć, obraz, projekcja, Kraków.
El Corte Inglés – Las Meninas advertisement for el Corte Inglés (2011), https://italianno.word- press.com/2011/09/18/las-meninas-advertisement-for-el-corte-ingles/ [dostęp: 16.07.2022].
KelOptic – Sudibyo J. (2020a), 8 przykładów słynnej sztuki w reklamach, https://www.tiqets. com/pl/blog/famous-art-in-advertisements/ [dostęp: 15.07.2022].
Lego – Michalik Ł. (2013), Kunszt godny Leonarda! Arcydzieła malarstwa odtworzone za pomocą klocków LEGO, https://gadzetomania.pl/kunszt-godny-leonarda-arcydziela-malarst- wa-odtworzone-za-pomoca-klockow-lego,6704154607765633a [dostęp: 16.07.2022].
Loewe – Mann R. (2011), Loewe choreographs new possibilities with Quizás, Quizás, Quizás Pasión, https://www.moodiedavittreport.com/loewe-choreographs-new-possibilities-with- quizas-quizas-quizas-pasion/ [dostęp: 16.07.2022].
Paddy Power – Sudibyo J. (2020b), 8 przykładów słynnej sztuki w reklamach, https://www. tiqets.com/pl/blog/famous-art-in-advertisements/ [dostęp: 15.07.2022].
Renault – Sudibyo J. (2020c), 8 przykładów słynnej sztuki w reklamach, https://www.tiqets. com/pl/blog/famous-art-in-advertisements/ [dostęp: 15.07.2022].
Toyota – Fueled by Bullsh*t (2015), https://www.dailymotion.com/video/x2nqfuz [dostęp: 16.07.2022].
The aim of this article is to explore the multimodal nature of advertising, which largely relies on two semiotic systems – text and image, to convey its persuasive message. Although the image and text materialize through different forms and signs, by interacting with each other, they begin to merge into one plane of communication, complementing each other both in terms of form and content. The combinations of text and image are not only attractive to the recipient but also generate new associations and to a varying degree affect the reception and understanding of the content. Therefore, it is important to name such relationships in order to define their extent and perceptual potential. The discussed relationships between text and image – spatial, syntactic, informative and rhetorical-semantic, were analysed according to the proposal of H. Stöckel and are part of the research apparatus of multimodal text linguistics. In addition, the paper focuses on the differences and similarities between the image and the text, and also draws attention to intertextuality and intervisuality, which often form an integral part of the advertisement.
Keywords: image-text relationship, advertising, multimodality, intertextuality, multimodal text linguistics