PDF hosted at the Radboud Repository of the Radboud University Nijmegen

Transcriptie

1 PDF hosted at the Radboud Repository of the Radboud University Nijmegen The following full text is a publisher's version. For additional information about this publication click this link. Please be advised that this information was generated on and may be subject to change.

2 effectiviteit vuil een üiwtr ons ontw ikkelde schrijfprocedure. W c vergeleken daiiriik: teksten roet elkaar die met en /onder locpussing v;indic procedure *ijn geschreven. Omdat een betrouwbaar en valide instrument w aarm ee we verschillen in tekstkw aliteit ouden kunnen m elen (nog) niet bestaat, hebben we bij de vergelijking van de teksten gebruik gem aakt van o n /e eigen oordelen. D aaraan voorafgaand hebben w f o n /e oordelen vergeleken m et de ix ih k k n v»n groepen die wij relevant achtten in de situatie w aarin de beoordeelde ickslen een rol moesten spelen. I r bleek een bevredigende m ate van overeenstemming te beslaan, en analyse met behulp van een tekstbeoor deli ngsinodc I g a f enkele indicaties voor de uur/aken van de overeenkomsten en verschillen tussen de verschillende soorten oordelen Het verschil dal we vervolgens vonden tussen o n /e oordelen over teksten die met en /onder gebruik vun o n /e jin x ed u re werden geschreven, lijkt hoewel hei uiterst voor/iehug moet worden geïnterpreteerd een eerste positieve aanwijzing voor de effectiviteit van on/e procedure 1 Inleiding V a n a f! 976 verzorgen wij, de leden van de vakgroep T ocgepasie T aalk u n d e aan de TM Tw ente het taalhcheersingsondcrw ijs voor eerstejaarsstudenten Bestuurskunde, In d a t onderw ijs vallen w e activiteiten als lezen, sam envatten, schrijven, een voordracht houden en deelnem en aan een vergadering op als com plexe handelingen. W e proberen aan de studenten te leren ho ezedic handelingen, onder andere afhankelijk van het doel d at ze willen bereiken en het publiek to l wie ze zich richten, hel best kunnen uitvoeren- W e volstaan daarbij niet met losse aanwijzingen, m aar bieden procedures aan* in navolging van onder andere D rop en De V ries. O nder zo*n procedure verstaan wij: een sam enhangende reeks aanw ijzingen voor de volledige handeling, die aan geeft hoe de handeling het best kan verlopen van het begin (het besluit om de handeling te verrichten) tot het eind (de afw erking van het eindprod u k t), De procedures die we aanbieden zijn niet bedoeld als algoritm en m aar als hcuristieken: ze geven geen g aranties m aar alleen aanw ijzingen in w elke richting men een goede kans heeft zijn doel te bereiken, Bij de constructie van d e schrijfprocedure w aarm ee we in hel c u rsu sjaar hebben g ew erkt,1 en die m et een aa n tal wijzigingen- is opgenom en in Leren Communiceren (Steehouder e.a. 1979), hebben wc ons vooral gebaseerd op een eigen taak an aly se, eigen ervaringen en intuïties en d aa rn a ast op het werk van D ropen De V ries, Van hel ook nu nog steeds -sch aarse onderzoek op dit terrein gebruikten we vooral de resultaten van Langer e.a, ( 1976) die het verband tussen tekst begrijpelijkheid enerzijds en de dim ensies structuur, form ulering, beknoptheid en aantrekkelijkheid anderzijds lieten zien. M et het onderzoek5 w aarvan we in d it artikel verslag doen, hebben we geprobeerd een indruk te krijgen van de effectiviteit van de schrijfprocedure die wc in aan studenten B estuurskunde onderw ezen hebben: we wi lden nagaan of er verschil in kwaliteit bestond tussen teksten die met behulp van die procedure zijn Tijdschrift WM>r Taalbrheersing *1 i

3 O ordelen over tek sten 325 geschreven en teksten die /onder gebruik daarvan tot sland zijn gekomen. Een betro u w b aar en valide instrum ent w aarm ee eventuele kw aliteitsverschillen zouden kunnen worden genieten, bestaat echter (nog) niet, en ook een gespecificeerd norm atief model van een goede tekst' aan de hand w aarvan zo*n instrum ent geconstru eerd /o u kunnen w orden, o n tb re ek t.4 W e hebben d aa ro m onze eigen oordelen gebruikt bij de vergelijking van teksten die m et en zonder toepassing van onze procedures zijn geschreven. D aarbij w ilden w eer echter enigerm ate op kunnen vertrouw en d at onze oordelen deugdelijke inform atie over de kw aliteit van de beoordeelde teksten zouden geven. H et gevaar w as im m ers niet denkbeeldig d at wij teksten die m et behulp van onze procedure zijn geschreven ten onrechte bij voorbaat beter* zouden vinden dan teksten w aarin we onze eigen aanw ijzingen niet herkenden. W e w ilden d aa ro m eerst nagaan o f onze oordelen in voldoende m ate overeenstem den met de oordelen van groepen die wij relevant achtten in de situatie w aarin de beoordeelde teksten een rol moesten spelen. O ns uitgangspunt daarbij was dat zolang een gespecificeerd norm atief model voor een 'goede te k st' o ntb reek t, de beste indicaties over de kw aliteit van het gebruiksvoorw erp te k st kunnen w orden verkregen door naar de oordelen van de gebruikers ervan te vragen. Z ijn zowel schrijver als lezers tevreden over een bepaalde tekst, d an verdient die (in ieder geval voorlopig) het p redikaat goed'; b estaat er bij (een van) beide partijen ontevredenheid, dan geldt het tegenovergestelde. W c form uleerden d aarom als eerste onderzoeksvraag: 1 In hoeverre kom en de oordelen van gebruikers (zowel schrijvers als lezers) over teksten overeen met de oordelen wij over diezelfde teksten geven? a W elke m ate van overeenstemm ing bestaat er tussen de verschillende soorten oordelen? b Z ijn uit een nadere analyse van de verschillende soorten oordelen aanw ijzingen over oorzaken van eventuele verschillen tussen de oordelen af te leiden? Pas als onderzoeksvraag la een redelijk bevredigend resu ltaat zou oplevercn, wilden wc de tweede onderzoeksvraag aan de orde stellen: 2 Leidt toepassing van onze schrijfprocedure tot resultaten die n aar ons oordeel beter zijn dan teksten die zonder toepassing van die procedure in overigens vergelijkbare om standigheden zijn geschreven?' In de volgende paragraaf wordt de m anier beschreven w aarop wc de onderzoeksvragen probeerden te beantw oorden.!n p a ra g ra a f 3 volgt de bespreking van de resu ltaten. 2 I k gang het onderzoek O m tot een beantw oording van de eerste onderzoeksvraag te kom en hebben wc een aan ta l begrippen m oeten operationaliseren en hebben wc een analyse-instrum ent m oeten kiezen. W elke beslissingen we d aarb ij hebben genom en, en w elke gevolgen die beslissingen hebben voor de g encralisccrbaarhcid van de resu ltaten zullen wc hieronder in p a ra g ra a f 2.1 toelichten; in p a ra g ra a f 2.2 beschrijven wc de opzet van het cffcctivitcitsondcrzock w aarm ee wc dc tweede onderzoeksvraag eventueel zouden proberen te beantwoorden.

4 326 Care I Jansen 2.1 I)e keu /e tan teksten, oordelen en analyse-instrument (onderzoeksvraag 1) l)e teksten die zijn beoordeeld In het studiejaar hebben wc aan een groep van ongeveer 90 eerstejaarsstudenten Bestuurskunde gevraagd zich voor te stellen dat ze als am btenaar werkzaam w aren in d e fictieve g em eente Berfclo, w a a rd e gem eenteraad had besloten dat een aan ta l straten in de Blocm enw ijk op korte term ijn als woonerf zou w orden ingcricht. De opdracht was een huis-aan-huis folder te schrijven w aarin de betrokken bewoners zouden worden ingelicht over het besluit van de gem eenteraad en de praktische consequenties daarvan. Als docum entatiem ateriaal was de wettclijke regeling met betrekking tot woonerven en de bijbehorende nota van toelichting (staatsblad 453, ) bijgcvocgd. V an de teksten die de studenten schreven, hebben we er ac h t a-select gekozen en in het onderzoek gebruikt. D aarn aast hebben we ook zelf geprobeerd de o p d rach t volgens de procedure zogoed m ogclijk uit te voeren, om aldus een tekst te verkrijgen die we als het m eest gew enste resu ltaat van het gebruik van onze procedure zouden kunnen beschouw en. H et resu ltaat van die poging is als negende tekst tocgevocgd. In hetzelfde stu d ie jaar hebben wc aan dezelfde groep eerstejaarsstu d enten Bestuursk u n d e gevraagd zich voor te stellen d at ze als voorlichter w erkzaam w aren bij het m inisterie van Ju stitie, p /a P ostbus 5 1, Den H aag. De opdrach t was een inlichtingenfoldcr te schrijven, bedoeld voor m ensen die n aar aanleiding van een TV -spot over de nieuw e wet op de misleidende reclame om m eer inform atie vroegen. Het docum entatiem ateriaal bestond uil het betreffende wetsontwerp* en enkele passages uit de m em orie van toelichting d aarb ij (kam erstu k 13611, nr. 2 en 3 (frag m e n ten) zitting ). V an de resultaten van deze opdrach t hebben we zeven teksten a-sclcct gekozen. D aarn aast hebben wc nog een voorlichtingsam btenaar van het m inisterie van Ju stitie bereid gevonden om dezelfde o pdracht uit te voeren. Zijn tekst is als achtste tocgevocgd. Ten slotte hebben we ook bij deze opdracht geprobeerd zelf een optim ale tekst te schrijven. H el resu ltaat is als negende tekst tocgcvocgd. liet is duidelijk dat de 18 teksten die we op deze wijze verkregen niet een representatieve steekproef vorm en van de totale populatie van (zakelijke) teksten w aarover we oordelen m et elk aar hadden kunnen vergelijken. H et leek ons ook niet zinvol om voor een onderzoek als het onze naar een dcrgelijkc, ongetwijfeld zeer grote steekproef te streven. De teksten die we nu kozen laten weliswaar geen algem een geldende u itspraken toe, m a ar ze zijn voor het onderzoeksdoel d at wij hadden w ellicht toch divers genoeg: er w aren tw ee verschillende onderw erpen (w oonerven en m isleidende reclam e) en drie soorten auteurs (studenten, een voorlichtingsam btenaar en wijzelf) De oordelen van gebruikers* over teksten Zoals we in de inleiding al hebben gezegd, verstaan wc onder gebruikers van teksten zowel diegenen die teksten schrijven als diegenen die teksten lezen. Voor het verzam elen van geb ru ik ers oordelen over de door ons gekozen teksten hebben we ons daarom zowel gew end tot m ensen die in de prak tijk vaak zelf de schrijvers van dcrgelijkc teksten zijn, als tot mensen die in de prak tijk veelal tot de lezersgroep behoren.

5 O ordelen over te k ste n 327 'Schrijvers oordelen over de 'woonerf'teksten vroegen we van gem eentevoorlichters. W c hebben ccn a-selectc steekproef van 25 nam en get rokken uit de ledenlijst van de V ereniging van V oorlichtingsam btenaren (lo taal a a n ta l leden: 214), W e hebben aan deze 25 gem een ie voor lichters gevraagd om de negen teksten van een cijfer (1 t/m 10) te voorzien. H ierbij verm eldden wc nog: hel g a a l ons om uw eerste oordeel welke tekst het beste voldoet in de gegeven situatie. Deze sit uatie is beschreven in de instructie die de stu d en ten gekregen hebben. D aarvan hebben we ook een exem plaar bij deze b rie f gevoegd'. W e vroegen bovendien de teksten te beoordelen in de door ons aangegeven volgorde, die om system atische bevoordeling van teksten te voorkom en voor elke geadresseerde verschillend was, De respons op ons verzoek w as tam elijk groot: 19 gcm ccntevoorlichters (76% ) w erkten aan ons onderzoek mee. Schrijvers 'oordelen over de 'misleidende- reclame" teksten vroegen wc van am btenaren die voor hel m inisterie van Ju stitie voorlichting verzorgen voor betrokkenen en /o f geïnteresseerden in wet telijke regelingen en der gelijke, W e hebben de am btenaren die w erkzaam waren op het Stafbureau Voorlichiing van dal m inisterie (u itgezonderd degene die één van de te beoordelen teksten had vervaardigd) gevraagd om de situ atieschets m et de inform atie zoals die aa n de studenien was verstrekt door te nem en en d a a rn a een cijfer (I t/ m 10) aan de negen teksten toe te kennen, 1 lier werd nog aan toegevoegd: IJ m ag zelf weten op welke gronden u de teksten beoord eelt.' O ok hier vroegen we de teksten in een voor elke beoordelaar verschillende volgorde te beoordelen. De zes am b ten are n aan wie ons verzoek was gericht w erkten allen aan het onderzoek mee. Lezers 'oordelen over zowel de 'woonerf 'reksten als de misleidende-reclam e teksten vroegen we van het zg. telefoon-pa nel' van de A fdeling Kijk- en Luisteronderzoek van de N O S. Dit panel, dat wekelijks telefonisch vragen over en naar aanleid ing van radio- en T V -p ro g ram m a s beantw oordt, en d a t op het m om ent van ons onderzoek uil 348 leden bestond, kan onder andere door een zeer stringente correctie in de steekproeftrekking als een representatieve steekproef van de N ederlandse bevolking van 12 ja a r en ouder w orden beschouw d (zie S teckproefvcrantw oording, 1978). Bij w ijze van uitzondering vroeg de N O S de leden van het panel om hun medewerking bij ons onderzoek, Die medewerking bestond uit het telefonisch an t w oord op het volgende verzoek: W ij willen g raag van u w eten w at u van een aan ta l teksten vindt die beslem d zijn voor een algem een publiek. H et g a a t ons om vier teksten: tw ee teksten over het onderw erp m isleidende reclam e '' en tw ee teksten over het onderw erp "w oonerven. V an elk van beide paren teksten vragen wij u aan ie geven w elke tekst u, w at leesbaarheid en begrijpelijkheid betreft, het geschiktst vindt om toe te stu ren n aar een algem een p u b lie k / O ok vroegen we nog de vier toegezonden teksten in de door ons aangegeven volgorde te beoordelen. Bij het aangeven van deze beoordelingsvolgorde zorgden wc ervoor d a t de tw ee te beoordelen w o o n erf teksten even vaak als eerste m et elk aar vergeleken m oesten w orden als hel m isleidende-rcclam e tc k stp aar. Bovendien zorgden we ervoor d al elk te k stp a a r d at uit de 2 x 9 leksten gevorm d w erd (in to taal 2 * 36 paren) aan ten m inste negen panelleden w erd voorgclegd, w aarbij wc, alw eer om system atische bevoordcli ng van teksten ie voorkom en, per te k stp aar de ene tekst even vaak als eerste lieten lezen als de andere, De respons op ons verzoek w as ook hier nogal hoog: 289 panelleden (83% ) gaven hun oordelen telefonisch door. De keuze van de 'g eb ru ik ers' wier oordelen we hebben verzam eld is evenm in als de keuze va n de leksten die zijn beoordeeld ideaal te noem en. Beter w as het gew eest als we de beschikking hadden gehad over de oordelen van d irect betrokken schrijvers en

6 328 Carel Jansen lezers over teksten die in een reële com m unicatiesituatie functioneren. De nogal kunstm atig e onderzoekssi tu atie die we hier om praktische redenen hebben m oeten creëren brengt m et zich m ee d a l de resulta ten voorzichtig beoordeeld m oeten w orden. T och m enen we d al we door de form ulering van de schrijfopdrachten w aarvan de teksten het gevolg w aren en door de m edew erking van deskundige overheidsvoorlichters en van hel N O S -p an el tam elijk dicht in de b uurt van een reële silu atic zijn gebleven, zodat er w ellicht toch uitspraken kunnen w orden gedaan die verder gaan dan uitspraken met betrekking tot deze oordelen over deze tekslen, Onze oordelen over de lekstcn W ijzelf, de vier ontw erpers van de schrijfprocedure, hebben alle tekslen die de eerstejaarsstu d en ten B estuurskunde over beide onderw erpen schreven beoordeeld met cijfers van I t/m I 0. W e hebben daarbij gew erkt volgens de m ethode van de m eervoudige globale opstel beoordeling zoals beschreven in Zond ervan ( 1974): we beoordeelden onafhankelijk van elkaar alle tekslen in 12 zittingen van ongeveer 75 m inuten en besteedden per tekst ongeveer vijf m inuten aan lezing (eventueel herlezing) en vaststelling van de w aardering. Dc volgorde w aarin we de teksten beoordeelden was voor ieder van ons verschillend. Voordat deze beoordeling plaatsvond, w aren er m aatregelen genomen om herkenning van de naam van dc schrijver en de d atu m van vervaardiging onm ogelijk te m aken. O m te voorkom en d a l handschrift en w ijze van spellen dc oordelen zouden kunnen beïnvloeden, werden alle teksten overgetypt en werd steeds de voorkeurspelling gebruikt W el w erd d e lay-oul va n d c oorspronkelijke versies zo nauw keurig mogelijk gehandhaafd. De a-selecte keuze van de 15 tekslen die later ook aan anderen zouden w orden voorgelegd, vond pas na onze beoordeling van alle teksten plaats. U ite raard zijn wij op de in eerste in stantie gegeven oordelen over deze tekslen niet meer teruggekom en Het analyse-instrum ent dat we gébruikten De m eest voor de hand liggende m anier om een beeld le krijgen van de oorzaken van eventuele verschillen tussen geb ru ik ers oordelen en onze oordelen, en d aarm ee van de richting w aarin wc onze proceduredoelstelling eventueel zouden moeten bijstellen Je c k ons om de verschillende beoordelaars rechtstreeks te vragen naar de overw egingen die hen to l hun oordelen hadden geleid. ín vooronderzoek" w as ons echter de onhaalbaarheid gebleken van pogingen om via rechtstreekse vragen een overzicht van die overw egingen te verkrijgen, vooral bij beoordelaars die niet uit hoofde van hun beroep m ei tekslen als de hier onderzochte in aa n ra k in g kom en. W e hebben daaro m op een indirecte m anier geprobeerd tot een analyse van dc verschillende soorten oordelen te komen. D aartoe hebben wc gebruik gem aak t van een onlangs op het Institu u t De Vooys van de R U U t ree h t on t w i k k e 1d t ekstbeoo rdclin gsm od e 1 ( Boozc m a n e. a ), W e k o - zen dit model, dal in het Praktijkboek (iericht Schrijven (1979) één van de m ogelijke bouwstenen van een algemeen aanvaardbaar basisbeoordclingsschema voor gerichte schrijfprodukten wordt genoemd, om dat we meenden dat de (su b categ o rieën w aaruit dit m odel bestaat sam en een grool deel van de factoren zouden kunnen vorm en die 'tek stk w aliteit' bepalen. Ren an d e r arg u m en t voor dc keuze w as d at doel- en publiekgericht heid in dit model, in tegenstelling lot in andere modellen, niet

7 O ordelen over teksten 329 a p a rte beoordelingscriteria zijn, m aar bij de beoordeling van zowel de inhoud als de opbouw, de form ulering en de afw erking een rol spelen zodat een intuïtief-globalc afweging van die aspecten wordt vermeden. H et model ziet er als volgt uit: A IN H O U D 1 Is de gegeven inform atie - w aar - verifieerbaar betrouw baar, 2 Sluit de inhoud goed aan bij de deskundigheid van dc lezers? 3 Is er rekening gehouden m et dc interesse e n /o f m ening van het publiek ten a a n zien van het onderwerp? B O P B O U W 1 K lopt de lijn van het beloog? Is de w ijze w aarop dc inform atie is gepresenteerd helder en logisch? Begin en slot? 2 Is cr bij de opbouw en volgorde rekening gehouden met de interesse e n /o f m ening van de lezers ten aanzien van het onderwerp? 3 Is er bij de opbouw en volgorde rekening gehouden met de deskundigheid van de lezers? C F O R M U L E R IN G 1 Sluit het taalgebruik van de schrijver aan bij het ontwikkelingsniveau en /o f deskundigheid van de lezers? 2 Is de stijl aangepast aan dc relatie tussen schrijver en lezers? D A F W E R K IN G I H cc ft d e sc h rijver re ken i n g getio ud en niet zij n doel stellingen publiek w at be t re ft: w ijze van spellen interpunctie iay-out typografie indeling netheid noten, lilera tu u rlijsl, etc. W e hebben de drie neerlandici die dit model ontw ikkelden bereid gevonden om onafhankelijk van elk a a r de 2 x 9 teksten die in dit onderzoek w aren betrokken te beoordelen op de negen in hun m odel onderscheiden subcategorieën. Bovendien vroegen we deze drie beoordelaars per onderw erp aan te geven hoe zw aar de negen subcategorieën cn de vier overkoepelende categorieën ten opzichte van elkaar zouden m oeten w orden gew ogen bij de berekening van hun oordelen over de teksten die over d at onderw erp w aren geschreven. U it de vergelijking van de w aarden die deze beoordeling van dc onderzochte teksten per (su b )categorie zou opleveren m et de geb ru ik crs üordelen en onze oordelen over die teksten hoopten wc een indruk te krijgen welke factoren voor die oordelen bepalend w aren geweest,

8 Carel Jansen 2.2 l)e op /et van het effectivitcitsonderzoek (onderzoeksvraag 2) H él probleem bij em pirisch onderzoek naar de effectiviteit van procedures als de onze is. zoals M cuffcls (1978) overtuigend dem o n streert, d at een onderzoeksopzet die tegelijk m ethodologisch bevredigend en praktisch u itvoerbaar is. vrijwel onm o- gclijk is. In de woorden van M euffels: 'praktisch zinvolle en relevante vragen kunnen vaak m oeilijk op stren g m ethodologische w ijze beantw oord w orden; kiest een onderzoeker een bepaald ontw erp dat vergeleken met een ander een aantal alternatieve verklaringen u itsluit, dan w ordt hij gcw oonlijk m et nieuwe validiteitsproblemen geconfronteerd*. O ok het effectiviteitsondcrzoek dat wij opzettcn heeft hierond er geleden. P raktische om standigheden als de roostertechnische onm ogelijkheid om m et controlegroepen te w erken dw ongen ons ertoe het zg. onc group-pretest- -posttest-design te kiezen. Deze opzet, in schema; Voortoets Onderw ijs in de schrijfprocedure N atoets sluit een aantal rivaliserende verklaringen voor eventueel geconstateerde vooruitgang in de schrijfprestaties niet uit. N aast, of m isschien zelfs in plaats van onze schrijfprocedure zouden an d ere factoren (bijvoorbeeld het soort onderw ijs d at er met die procedure w erd gegeven, het louter oefenen of het 'rijp e r w orden' van de studenten ) zo'n vooruitgang kunnen verklaren. T och leek het ons niet zinloos om, als te nm inste uit de beantw oording van onze eerste onderzoeksvraag zou blijken d a t onze oordelen over teksten in voldoende m ate m et 'gcbruikcrs'oordelen overeen zouden kom en, na te gaan of de studenten die wij onderw ijs in onze procedure gaven, n aar ons oordeel vooruitgang vertoonden. Bij alle voorzichtigheid die we bij het in terp reteren van de resultaten zouden m oeten betrachten, leek ons dat we zo een eerste indruk van de effectiviteit van onze procedure zouden kunnen krijgen. De voor- en natoets w aarvan wc de resultaten m et elk aar vergeleken, bestonden uit de schrijfopdrachten die wc hierboven (p. 326) hebben beschreven. De volgorde w aarin de studenten die tw ee opdrach ten afw erkten w as niet voor iedere student dezelfde: 36 studenten m aakten aan het begin van het stu d ie jaar (in septem ber 1977) de opdracht over het w oonerf en een h alf ja a r later, na het volgen van het onderw ijs dat wij in onze schrijfprocedure gaven, (in februari 1978) de opdracht over m isleidende reclam e, terw ijl voor 41 studenten de situ atie precies om gekeerd was. D aarn aast w aren er nog studenten die alleen de w oonerf'opdracht m aakten en studenten die alleen een tekst over m isleidende reclam e schreven. Bij de vergelijking van de voor- en n atoctsrcsultatcn beperkten we ons echter tot de 2 x 77 teksten die werden geschreven door studenten die zowel aan de voortoets als de natoets deelnam en. H et schem a hieronder la at zien door wie en w anneer die 2 x 77 teksten w erden geschreven:

9 O ordelen over teksten 331 Vooriocls (seplembcr 1977) Nulocls {februari 1978) G roep J (h - 36) W oim erf opdracht ' M isleidcndc reel a m c'opdrac h t Groep 2 ( «. 41) M iis 1dilcnd e rccla mcvvpd rachl ' Woone rif\»pdrach L n - aanuilsiudeiuen H el leek ons niet onm ogelijk d a t de n atoetsresultaten w elisw aar n aar ons oordeel b e te r /o u d e n zijn dan de voortoets resultaten, m aar d at het uitvoeren van d e nato etsopdraeht door het hanteren van onze procedure ook m eer lijd zou vergen dan het uitvoeren van de voortoetsopdracht. D aarom gingen we ook na o f er verschil bestond in hel aan ta l m inuten d al de studenten gem iddeld in de voor- en in de natoets aan hun opdracht besteedden. 3 De resultaten W e zullen eerst in p a ra g ra a f 3.1 de resu ltaten bespreken van de vergelijking van de gcbruikers oordelcn en onze oordelen over de 2 x 9 onderzochte teksten (onderzoeksvraag 1); daarna gaan wc in paragraaf 3,2 in op de resultaten van het onderzoek naar de effectiviteit (onderzoeksvraag 2). 3.1 De vergelijking van de gebruikersoordelen 1en onze oordelen (onderzoeksvraag 1) In paragraaf ,1.3 staat onderzoeksvraag 1a centraal ( Wrelke m ate van overeenstem m ing b esta at e rtu sse n de verschillende soorten o ordelen?); in p a ra g ra a f 1,4 g a a t h et om onderzoeksvraag lb (Z ijn uit een nadere analyse van de verschillende soorten oordelen aanw ijzingen over oorzaken van eventuele verschillen tussen de oordelen af te leiden?) De betrouwbaarheid van de oordelen V oordat we de verschillende soorten oordelen m et elk aar konden gaan vergelijken, m oest eerst duidelijk zijn iu hoeverre toevallige m eet fouten de gevonden scores zouden kunnen verklaren. Z ou de invloed van toevallige m cetfouten te groot zijn, of an d ers gezegd: zou de betrouw baarheid van de gevonden scores te laag zijn, dan zou een vergelijking van die scores niet m eer zinvol zijn. Wre hebben getracht de betrouw baarheid van de oordelen als volgt te bepalen: W a t bet reft de oordelen van de (gemeente- en ministerie van Justitie-) voorlichters gebruiklen we de op varian tie-an aly se gebaseerde m ethode van W iner (1971 ) lfl om de groepsbetrouw baarhcid ie schatten. D eze geschatte groepsbe trouw ba a r heid (verder rg) is de corrclatieeoëfficiënt die kan worden verw acht w anneer de gem iddelde oordelen die deze groep beoordelaars over deze teksten uitsprak vergeleken zouden w orden m et de oordelen die een andere groep beoordelaars u it dezelfde populatie over dezelfde teksten zou geven. Hoe dichter rg zijn m axim ale w aarde 1 benadert, hoe betrouw baarder de groep heeft geoordeeld. Algem een gebruikelijk is

10 332 Caret Jans en om ervan uit te gaan d a t om van betrouw bare oordelen te kunnen spreken de r^ in ieder geval niet minder dan.70 m ag bedragen. O ok van onze eigen oordelen berekenden we m et behulp van de m ethode van W iner ( ) d e rg. Bovendien berekenden we nog de co rrelatie tussen de gem iddelden van onze oordelen in februari 1978 over een a-selecte steekproef van 2x15 teksten uil de 92 w o o n erf'teksten en de 89 nías leiden de-reclam e lek sten m et de gem iddelden van de oordelen die we in septem ber 1978 over dezelfde teksten gaven. O ok deze corre la tiecoéfficïën t (verder: r t) zou zich om van betrouw bare oordelen te kunnen spreken tussen.70 en 1 m oeten bevinden. O m een beeld te krijgen van de betrouw baarheid van de oordelen van het NOS-panel konden wc niet van bovengenoem de m ethoden gebruik m aken. Met gegeven d at de leden van het N O S -pa nel hun oordelen over de teksten paarsgew ijs uitspraken m aakte dat onmogelijk. De literatuur over paarsgew ijze vergelijkingen (bijvoorbeeld M ellenbergh z,j.) biedt d aarenteg en m ogelijkheden om de 'coëfficiënt van consistentie f en de "coëfficiënt van overeenstem m ing w te berekenen. H oe dicht f zijn m axim ale w aarde I b enadert, w ordt bepaald door het aan ta l c ircu lar tria d s d dic de betreffende proefpersoon m aakt. Moe hoger hel aan ta l c ircu lar tria d s (het aa n tal m alen d a t de proefpersoon drie objecten A, B en C paarsgew ijs m et elkaar vergelijkt en daarbij A verkiest boven B, B boven C en C boven A ) is, hoe lager de coëfficiënt van consistentie zal zijn. Hoe dicht u zijn m axim ale w aard e 1 b enadert, w ordt bepaald door de m ate w aarin de verschillende proefpersonen het m et elkaar cens zijn. f en w zijn onafhankelijk van elk aar: proefpersonen kunnen zich bijvoorbeetd inconsistent gedragen, m a ar d al wel allem aal op dezelfde m anier doen, zodat er loeh sprake is van een g ro te m a te van overeenstem m ing. U itg angsp u n t bij de berekeningsm ethoden die de lite ra tu u r voor f en u geeft, is steeds d at elke proefpersoon elke vergelijking uitvoerl. Dut m aak t d e /c m elhoden b ru ik b a ar als er een beperkt aa n tal eenvoudig m ei elk aar le vergelijken objecten w ordt onderzochl. M aar w anneer het zoals in ons geval om een tam elijk groot aa n tal nogal lange en niet al lijd eenvoudige teksten g aal, is het ondoenlyk de beoordelaars le vragen elke tekst m et elke an d ere tcksi te vergelijken. W e hebben d aa ro m niet kunnen berekenen hoe consistent elke beoordelaar afzonderlijk zich gedroeg en in welke m ale alle beoordelaars m ei elk aar overeenstem den. D oor echter hel N O S -pancl in zijn geheel als een beoordelaar te beschouwen en dikir per uil gevoerde vergelijking na te gaan hoe grool!.ci p ercentage panelleden was d al aan de ene teksi de voorkeur g a f boven de andere, konden wc het a a n ta l ei reu ler triad s' van het N O S - panel als geheel berekenen. W c beschouwden daarbij als circular triads de gevallen w aarin rneer dan 50% van de betreffende panelleden lekst A verkoos boven leks! B, m eer dan 50% lekst B boven leksl C en m eer dan 50% tcksi C boven lekst A. M et behulp van de zo gevonden d berekenden we vervolgens f en aa n de hand van de X?-verdeling gingen we ten slotte nog na o f hel panel zich op 5% -nivcau consistent had gedragen. W e meenden zo, hoewel onze werkwijze a fweek van de incest gebruikelijke, toch een gt>ede indruk van de betrouw baarheid van de oordelen van het N O S -pa nel te krijgen." In tabel 2 staan de resultaten van de bet rouw baar heid sbc reken in gen.

11 O ordelen over teksten 333 'Wooncrf'lckstcn M isleidcmic- rccta mc'lckslcn (»emecntcvoorlichlcrs rg n.v.l. («- 19» < ï Voorlichters n.v.l. r * >4 ministerie vu n <A Justitie in *0 N O S-pancl «/ 15 </ U t n f.48. ( * 1. significant op S't significant op V I niveau ( n/ijdigc niveau (ccn/i <1igc ttieisingl toclsing) (A *i\ IA «M n 1I I 1 wente rg.87 r - 78 (A 8» i t 7» aantal bcoortlclaars (.i.int.il Iv im n lc ïlilc teksten r j, gcm'h.ille gm cpsbctrouw baarhcuj r test -her test 'c<»rrcl.il Kcticlïk'iiinl ij aantal c irc u la ru ia d * ( coëfficiënt va n vi'iimsicnlk' r, 7V r, K i (A 151 1A 15) Tabel 2 G egevens over d c betrouw baarheid v;in de gcbruikcrsoordclcn* en van o n /c oordelen D eze rcsullalcn gaven ons geen aanleiding om een van de soorten oordelen verder buiten beschouw ing te laten: dc gevonden w aarden voor rp en w aren steeds groter dan.70 en het N O S -pancl gedroeg /ic h op 5% 'significanticnivcau consistent W c konden dus dc verschillende soorten oordelen met elkaar gaan vergelijken l)e oordelen In tabel 3 staan dc gem iddelde oordelen over dc w ooncrf tcksten, in tabel 4 dc g e middelde oordelen over dc'm islcidcndc-rcclam c'tcksten. Dc teksten 1t/m H in tabel 3 zijn geschreven door studenten en tekst 9 is het resultaat van de poging die wc /e lf hebben ondernom en Dc teksten I t/ m 7 in tabel 4 zijn geschreven door studenten, tekst 8 is dc tekst die een a m b ten aar van het m inisterie van Ju stitie schreef en tekst 9 m aakten wc /elf. Dc oordelen die dc (gem eente- en m inisterie van Justitie -)voorlichters gaven en onze eigen oordelen /ijn uitgedrukt in de quotiënten van dc gesom m eerde scorcs en het aan ta l beoordelaars. Dc oordelen van hel N O S -pancl zijn voor elke tekst uitgedrukt in het gem iddelde percentage beoordelaars die die tekst prefereerden boven de andere tekst die over h et/elfd e onderw erp w erd aangeboden. O m dc oordelen van het N O S -p ancl in dc tabellen 3 en 4 beter vergelijkbaar te m aken met dc an d ere oordelen hebben wc zc gedeeld door 10. D at in tabel 3 ons oordeel over

12 334 Carei Jansen tekst 9 en in labe! 4 onze oordelen over tekst 8 en 9 ontbreken, kom t o m d at wij alleen de teksten beoordeelden die de studenten schreven. Tekslnr. GcinecrUcvoorlicbicrs NOS-panel TH Twente B f>,s K B.83 n.v.t, Tabel 3 De gem iddelde oordelen over de w o o n erftek ste n G em eentcvoorlïchters en T H T w ente: cijfer schaal l-iq N O S -panel: gem. percentage x 0.1 (zie tekst) Tekslnr. Voorlichters m inïsiericvun Justilie NOS -pand TH Twcnic K , f, K K n.v.t n.v.t. Tabel 4 De gem iddelde oordelen over de 'm isleidende-reclam e tekslcn G em centcvoorlichters en T H Tw ente: cijferschaal NOS -panel: gem. percentage x 0.1 (zie tekst) De correlaties tussen de verschillende soorten oordelen In tabel 5 staan de correlaties tussen de oordelen van de voorlichters, de oordelen van het N O S -panel en onze oordelen. Met verband tussen de oordelen van de voorlich-

13 O ordelen over te ksten 335 ters en onze oordelen is d aarb ij u itgedrukt in Pearson -iprodukt-m om eno correlatiecoëfficiënten en in K endair-(rangordc)correlatiecoëfficiënten. O m het verband tussen de oordelen van het N O S -panel en de beide andere soorten oordelen uit te drukken, konden alleen K endair-correlatiecoëfficicnten worden gebruikt. A an de noodzakelijke voorw aarde voor het h an teren van P earson'-corrclatiecoëfficiënten dat voor het meten van beide variabelen w aartussen het verband moet worden bepaald een interval- o f verhoudingsschaal moet zijn gebruikt, w ordt in het geval van de NOS -oordelen niet voldaan. Bij paarsgew ijze beoordeling worden alleen uitspraken gedaan over de richting van verschillen tussen de vergeleken objecten en niet over d e grootte van die verschillen zoals voor het gebruik van een interval- of verhoudingschaal noodzakelijk is. Voor het berekenen van de correlatiecoëfficiënten tussen onze oordelen en de an d ere oordelen konden alleen de acht respectievelijk negen door de studenten geschreven teksten w orden gebruikt; bij het berekenen van de correlatiecoëfficiënten tussen de oordelen van de voorlichters en de oordelen van het N O S -panel konden ook de oordelen over tekst 9 respectievelijk tekst 8 en 9 worden betrokken. l)e vergeleken W ooncrfickstcn Misleidendeoordelen reclam e lek sten Voorlichter* rk " rk s f tl* en NOS-panel (A * >> (A = 9) Voorlichters rk * rk - 55 en TH T»ente rp Mi rp =.K2- t i - K) (A - 7) NO S-panel cn rk - 64* rk -. J I TM Twente [k - X) (A = 1) A - aanlal vergeleken scorcs rfc - KcndaU'-correlaliecotffficiénl fp = Pearson-correlalieco^fficiCnl * p-.os (eenzijdige toetsing) * P '..01 (ecn/ijdigc toetsing) Tabel 5 C orrelaties tussen de drie soorten oordelen M isschien wel het m eest opvallende gegeven uit de tabellen 3.4 en 5 is de overeenstem m ing tussen voorlichters en N O S -panel; de significante K endall -correlatiecoëfficiënten van.67 en.6 1 lijken erop te wijzen d a t N ederlandse overheidsvoorlichters een goed oog hebben voor w at de consum enen van hun produkten wel en niet goed vinden. V erder lijken onze oordelen over teksten tam elijk goed aan te sluiten bij de oordelen die geb ru ik ers over d ie teksten hebben, en dan m et nam e bij de oordelen van schrijvers*. O pvallend d aarb ij is wel de lage correlatie tussen onze oordelen en de lezers oordelen van het N O S -panel over de m isleidende-rcclam e - teksten. Toch m enen we dat de gevonden correlaties in het algem een op een voldoende m ate van overeenstem m ing w ijzen om de resultaten op te vatten als een bevredigend antw oord op onderzoeksvraag la. gezien ook de gem iddelde oordelen over de teksten die we zelf schreven en die naar ons oordeel optim ale resultaten van het

14 336 Caret Jansen gebruik van onze schrijfprocedure w aren. U il tabel 3 en 4 blijkt d al ook n a a r het oordeel van de voorlichters cn hei N O S -panel deze lekslen beter w aren dan alle stu d en ten leksten d ie ze beoordeelden, d al de m inisterie van Justitie-voorüchtcrs onze m isleidende-reclam e tekst even goed vonden als d e 1misleidende-reclam e-tekst die één van hun collega s sch reef en d a t het N O S -panel onze *m isleidende-reclam e 'tek st beter vond dan de tekst van de voorlichter van het m inisterie van Justitie De analyse van de oordelen Om een beeld te krijgen van de oorzaken van de overeenkomsten en verschillen tussen de gcbruikers öordelen onderling en onze oordelen (onderzoeksvraag I b) an a lyseerden we de oordelen m et hel te k stbeoordelingsm odel van Boezem an e,a. (1979). V oordat wc de oordelen van de drie neerlandici die d it m odel ontw ikkelden (verder: de drie neerlandici) vergeleken met de gebruikcrs'oordelen cn onze oordelen. bepaalden we. w eer m et behulp van W i iner (1971), de rb van de oordelen van de drie neerlandici. De resu ltaten van die betrouw baarheidsberekening staan in tabel 6 (zie bijlage). Deze resultaten brachten ons ertoe wat betreft de w oonerf'lekslen alleen het oordeel over de subcategorieën A.3, B.2 en C. I, over de calegorieën A, B, C en D en hel tolaaloordcc! verder in de berekeningen Ie betrekken, evenals w at b etreft de m isleiden d e-reclam e' teksten het oordeel over subcategorie A.2, calcgorie D en hel totaaloordeel. De rg van alle overige oordelen van de drie neerlandici was kleiner dan,70; die oordelen bleken dus niet betrouwbaar, ln label 7 (zie bijlage) en 8 (zie bijlage) de correlaties tussen de b etrouw baar gebleken oordelen van de drie neerlandici onderling, de 'g eb ru ik ers' oordelen cn onze oordelen. De gegevens uit de labellen 6, 7 en 8 w ij/en er in de eerste p laats op d at het in stru m ent dat wij wilden gebruiken om de verschillende soorten oordelen mee te analyseren voor d al doel niet erg geschikt was, Een voldoende betrouw baarheid in de beoordeling van de teksten bleek o p ee n groot aan ta l categorieën niet h a a lb a a r en de hoge correlaties tussen de wel betro u w b aar gebleken oordelen onderling d ie de tabellen 7 en 8 geven, lalcn zien dat de theoretische onderscheidingen in het model in de p raktijk van de beoordeling niet goed terug te vinden waren. D at alles wil niet zeggen d at het m odel van Boczem an e.a. (1979) niet geschikt zou zijn voor het doel waarvoor hel ontwikkeld is: de totaaloordclen die lol stand kw a men bleken zeer b etrouw baar (w e vonden w aarden voor de rg van.92 en,80). Wel geven de resultaten aan d a t de deeloordelen w aaruit die totalen w erden berekend voor een grooi deel o n betrouw baar en m oeilijk van elk aar te onderscheiden w aren, zodat de doorzichtigheid van de beoordeling geringer w as dan bij een analytische beoordelingsm ethode als deze mag worden verwacht. S oortgelijke ervaringen m et hel gebruik van een analytisch lekstbeoordeüngsm odel (in dit geval een synthese van beoordelingsschem a's die docenten in de p raktijk zelf hebben ontw ikkeld) m elden ook Blok en Z ijlm ans ( ), die een varanlie-analysc uitvoerden op de (globale cn analytische) oordelen van 27 docenten over 10 sehrijfprodukten die het resu ltaat w aren vang ericht-s ch rijv en o p d rach ten voor mavo-lbo. Zij concluderen onder andere:

15 O ordelen over teksten 337 Dc objectiviteit van dc analytische oordelen is in dc regel even gering als, o f nog geringer dan dcobjectivi- tcil van hel globale oordeel Dc enige uitzondering vormt dc bv«tordcling van 'spelling cn interpunctie*, waarvan dc objectiviteit duidelijk hoger bleek te /ijn Dat het analytische schema dc overeenstemming tussen beoordelaars kan verhogen, blijkt alleen uit de analytische totaalscore waarvan dc objectiviteit hoger was dan die van het globale oordeel. Toch geven de resultaten die wij vonden nog wel een indicatie van m ogclijke o o r /a ken van dc overeenkom sten cn verschillen tussen dc gcbruikers'oordclen onderling cn dc 'gcbruikers'oordclen en onze oordelen (onderzoeksvraag I b). Hoew el corrclationcel verband niet identiek hoeft te zijn níet oorzakelijk verband kunnen toch wel - zij het niet dc nodige voorzichtigheid enkele conclusies uit dc gegevens in dc tabellen 7 cn 8 w orden geform uleerd. D aarbij dient wel in het oog te w orden gehouden d at we niet de beschikking hadden over betrouw bare oordelen over ccn groot aantal (sub)categorieën. H et is bepaald niet uitgesloten d at dc 'g eb ru ik ers cn w ij/elf ons bij dc beoordeling (m ede) hebben laten leiden door overwegingen die corresponderen met ( s u b c a te gorieën die we niet in tabel 7 cn 8 hebben opgenom en om dat de betrouw baarheid van de oordelen erover te laag was. D c correlaties tussen dc wel betro u w b aar gebleken oordelen van de drie neerlandici cn dc drie overige soorten oordelen w ijzen op het volgende. H et lijkt erop dat C (form ulering) /ow cl voor dcg cm ecntcvoorlichtcrs en het N O S - pancl als voor onszelf ccn belangrijke factor w as bij dc beoordeling van dc w ooncrf tcksten. D (afw erking) lijkt voor dc gem eente- cn de m inisterie van.lustitie-voorlichters belangrijk te zijn gew eest, m aar bij hel tot stand kom en van onze oordelen geen rol van betekenis te hebben gespeeld D aarbij dient nog te w orden opgem crkl d al deze categorie D door de m aatregelen die wij met dc teksten hadden genom en (dc teksten w aren ovcrgctypi cn steeds was dc voorkeurspelling gebruikl (zie p. 328)) voornam elijk d c la y -o u tc n d c indeling van de teksten betrof. M isschien is nog het meest interessante resultaat van de analyse van dc oordelen dat deze categorie D voor hel N O S -pancl bij de beoordeling van dc 'm isleidcndc-reclam e tcksten wél, en bij de beoordeling van dc w ooncrf tckstcn niet van belang lijkt te zijn gew eest. W ellicht zijn voor dc oordelen die 'lezers' over teksten geven bij het ene o n derw erp bepaalde aspecten belangrijkcr dan bij het andere onderw erpen hebben we d a a r tol nog toe in onze procedure te w einig rekening m ee gehouden. M isschien m oeten we in onze schrijfprocedure ondcrw crp-afhankclijke aanw ijzingen op gaan nem en, m et nam e over lay-oul en indeling. V erder onderzoek op d il punt lijkt in ieder geval gewenst. 3.2 llet effectm teitsonderzoek (onderzoeksvraag 2) O m d at we zoals gezegd in p a ra g ra a f m eenden d at dc gegevens die wc vonden als antw oord op onderzoeksvraag la erop w ezen d at er ccn bevredigende m ate van overeenstem m ing lussen dc 'gcbruikers'oordclen en onze oordelen bestond, en dat onze oordelen dus deugdelijke inform atie over door ons beoordeelde teksten gaven, besloten wc het effectiviteilsonderzock w aarvan we dc opzet in paragraaf 2.2 beschreven uit te voeren. In tabel 9 sta a n d e resultaten van de vergelijking van de voorcn natoctsresultatcn van onze studenten Het 'oordeel' is hel gem iddelde globale ju ry -o o rd celd at wij gaven (het w as ons d aarb ij niel bekend w elke teksten in d e vooren welke teksten in dc natocts geschreven w aren); dc 'tijd is het aa n tal m inuten dat de studenten gem iddeld voor het maken van dc opdracht nodig hadden

16 338 C a n t Jansen W oonerf lekslen 'M isleidende reclam e tek.sterj O ordeel voor toets «4) ik - 36) (A 41) Oordeel naloels trt 4) (A 41) (A 36) Verschíl vtwr- en na loc In («tnrdcel I,15** 1,66** 1 lijd ViWlTHMilS ) (k 41) 1ijd nat oei v U 41) (-1 36) Verschil voor - en nau iclsitijd) 12.16* 1.31 n aantal brnxirilduurs A iianinl beoordeelde lekslen * p.05 1,1 1'iMfl.», Iwclv i jdiji) ** p III (l-toet& ilwcc/ijdig) 'label Q De voor- en nato etsresu ltalen van onze studenten; gem iddelden (eijfersehaal I - 1Ö, lijd in m inuten) De gegevens uit label 9 laten zien dal n aar ons oordeel d c n aloclsresultalen van de studenten uan /ienlijk beter waren dan dc voorloelsresultaten en dat het verschil in bestede tíjd tussen voor- en natocts, vooral bij de misleidende-reclame* teksten gering was. Zoals al eerder gezegd: we moeten deze resultaten met grote voorzichtigheid hanteren; het is niet uitgesloten dat dc vooruitgang (ook) het gevolg is van andere factoren, bijvoorbeeld het rijper worden* van de stu d en ten. Bovendien is onzeker hoe nauw keurig de studenten zich tijdens de na loet s hebben gehouden aan de aanw ijzingen uit de procedure. H et effect van het onderw ijs in de procedure kan ook m eer indirect zijn gew eest, bijvoorbeeld doordat de studenten vooral een beter inzicht kregen in de eisen die wij aan een tekst stellen en d a a r bij het schrijven rekening mee hielden. Toch m enen wc de geconstateerde vooruitgang in de sch rijf p restaties van onze studenten als een eerste positieve aanw ijzing voor de effectiviteit van onze schrijfprocedure mogen opvatten. N oten 1 /i e lansen c 1 ( M>?HJ wuiif d e /e schrijfprocedure in bijlage I is opgenomen, 2 l)c btftiinjïnjkmtf wit/iginf* die we luier hebben a;ingebrucht, lijkt uns dc inlriidwciie vun /g "viisie stru ctu ren ' in ile rientatielave. Zo kan. als liet gekozen *eentraal Ihenia' een bepaalde m aatregel is. bi de verkenning van dal centraal thema de «amc nwiatregels!ruetuur* ( Wat isu? maairtgei?. Waar-

17 Oordelen over teksten 339 ar» is de m a a l regel nodig?, H ue m oet de m aat re gei warden uiigeviterd? en W e lk t gevolgen zal de maatregel hebben?) als uitgangspunt worden gebruikt 3 Dit onderzoek, dut werd gedaan dgor dc Vakgroep Tocgepjislc T aalkunde van dc T H Tw ente, was niel inogelijk geweest zonder de m edew erking vim de A fdeling Kijk- en Luisteronderzoek van de N O S en van al diegenen dic we vroegen om hun oordelen over een aantal teksten te geven Ook danken we Peter H endriks voor zijn aandeel in dc voorbereiding van het onderzoek en Henk van Spi jker voor zijn hulp bij liet verwerken van de gegevens. 4 Zie (H>k De Vries (1979) die in zijn beginselprogram m a voor het vak taalbeheersing de dringende behoefte aan normatieve modellen voor perfect ui (gevoerde taalverkccrstaken duidelijk maakt. Zulke modellen moeten volgens De Vries dc basis (gaan) vormen voor niel alleen evaluatie-, m aar ook analyse- en eosmstrucliieproecdures, 5 De efficiency van onze procedure blijft in dit artikel geheel buiten beschouwing. Met Drop ( I9?X) zijn wij van m ening dat d c vraag n aa r de concurrcnlic-potsilic' van een procedure pas aan de orde is als de effectiviteit ervan is aangeioond. Pas als duidelijk is d at toepassing van een procedure tot bevredigende resultaten leidt, lijkt het /invol na te gaan of toepassing van die procedure de voorkeur verdient boven toepassing van een andere proccdure, 6 O p het mom ent dat dc studenten deze opdracht kregen, was het w etsontwerp nog in behandeling We vroegen de studenten uit Ie gaan van de situatie dat bet wetsontwerp ongewijzigd zou zijn aangenomen. 7 Het was wellicht beter geweest hier dc beperkende bepaling 'w at leesbaarheid en begrijpelijkheid b etreft' achterw ege te laten, en het N O S-pancl evenals de overheidsvoorlichiers geheel vrij te laten in dc keuze van de tekstaspeclen die ze in hun oordeel wilden betrekken. Aan elke tekst im m ers rijn, zoals bijvoorbeeld Schulz, von Thun ( 1976) b al zien, verschillende communicatieve aspecten te onderscheiden. Sehulz von T hun noemt hel Vakelijke aspect' <W ai zegt de tek st over feen stand 1 art zaken in) de werk. et ijk heid? ), hel expressieve aspecl' ( W at zegt de tek.u over de gew etens, nonnen en waarden van de sc hrijver? }, hel 'fchalionelc aspecl' W at zegt d e te k st over de lezer en de relatie tussen de schrijver en d e lezer?) en het appellerende aspect' ( W at u il de schrijver htijkens de te k \t hij de lezer bereiken?) De begrippen "leesbaar beid" en begrijpelijkheid richtten de aandacht van het NO S-panel wellicht wat meer dan bij deoverhcidsvonrliehters het geval was op de vraag of de /iikclij* ke inform atie wel over zou komen en daardoor wat m inder op de andere drie as peel en. K Zie Jansen e,a. (1978). 9 Zie hierover ook het Praktijkboek (ieruht Schrijven ( p I 1 9), 10 W iner ( 197 J. p. 289) laat zien hoe mei behulp van de door hem geïntroduceerde 0 de kan worden berekend. 11 Onderzoek naar bruikbare methoden v«ior liet bepalen van de betrouwbaarheid van paarsgewijs verkregen oordelen over teksten lijkt ons voor de verdere ontwikkeling van validenngsonder/oek vun schrijfprocedures /eer gewenst B ib lio g r a f ie Blnk. 11. en S. /ijlm an s, Jurering van schrij/produkten; een experim ent, Paper voor de O R D '80, Stiehtirig Research Inslituul voor Toegepaste Psychologie, 04*1 B /H B I/N K 133, Amsterdam I9K0. B oi/xnian. 1.., T. van Noord tu M. V w b u r*, O v eréo e t en (tubhek ; een verkennend im derzoek naar bel cttm m unicutw f aspeci fa n za ketijk xchrijven in het vihtrtgezet onderw ijs. D octoraalseriplie. U trecht Drop, \V, V alidering van een schrijfproeedure dour herschrijving; een begin. In. De nieuwe taalgidx, 978, , Drop, W. cu 1,1 LI. de Vries, taa/bi-heersing, handhttek vttar taulhantering. G roningen 1977 ( Iste dr Jansen, ( J.M., 1.1. W oudslra en M.l-, Sfeehiiuder, Toetsing van schrijfonderwijs. In: ta a fb eh ecru n g ƒ97ft; ver%li.tgen van een sym posium gehonden ttp I J aprii IW H a u n de K a tm ie k e Hogest'htitd te Tilhurg, l'itgegeven d*tor de V IO T i.s.in. de Vakgroep Toegepaste Taalkurtdc van de TU Twenlc, In sc h ed e I9?X

18 Carel Jansen O ordelen over lek Men 341, K. Sc... - «- - " SV '" * * * " W... h M l 'ht Z Ï Z ' i ï i ï o Z l*7k X. 47 *1 Bijlage: Analysegegevens Oordelen viindc drie neerlandici 'W oonerf Teksten u "Misleidendereclameteksten (A -» plan.h llw illcl.ng. K ~ * e f c j «*. j,., «h.n i n c i~.lilic l «n k om m unikjlion In H i 5. mseïsïtssi - *..." " " " " Hrilunschwcig I W - W o n M ta. U e r n O m m u itu tr r lt; /m «r Slm kp«f>ct«nc» < «'rdi» i lckt.h.^«i«üilc sci/oc» HT»-W W. NOS -bulklin H7 v T «. -. * >»<*»-"? ««j (l K. II ' * v,m s - * T* r T k,m k v,n A 1 ( 'orrectheid ínhoud A 2 Kclulic ínhoud deskundigheid v.i ii dc le/crs A». Kcl.ilie ínhoud interesse/mening v;in dc Ic/crs Oordeel iwer A: ínhoud 44 e ' r * " t r# '» r, 7S* 'e M l ( orrectheid ophouw ts * * r.!» II : Kel.i tic opbouw interesse/ mening v«ndc Ie/er» I I I Kd.iliciiptinuM deskundigheid vande kver» lp KI* rg : M >e <>4 rp M ( )ordccl over H opbouw ' t u rg -»1 ( 1: Kcl.it ie formulering deskundigheid v.mdc Ic/ers, f w rb : M. ( 2 : Kel.ilie formulering verhouding tussen schrijver en le/ers ' s - 40 Oordeel over (, : formulering ' t rf 5 * Oordeel over 1) afwerking v «'8 *7 rolaaluurdeel rg <12*, g. *> A -.lankil beoordeelde teksten fg - geschut te gn»cpsbctrouwbaarhcid * *g * 70 Tabel 6 G egevens over de betrouw baarheid van de oordelen van de drie neerlandici

19 342 C arel Jansen VI (* - 9> A. 3 B,2 CM A B C 0 1 rk * J *.63*.50* fp.61*.55.77** 71*.6 8 *.«(>** 63* XI** N O S (k - 9> rk '.2 « * t h - í ( k = X> rv * IK 40 64* f>4* r p ' H4** 52,64*.«! * 45.74* A ik 9) rk,7k** 52* K4** 72** 51* 35 69** rp ' J **.61*,95** KK*".7.1*.51,H5** B.2 U»I r k.57* 7 4 *. KO**.53* 26.59* rp.62* X9#*.92* * 70*,3«,KO** CM U 9) rk *.57* 57* 99 ** 49*.59* r P =.70* 72* g7<..55 H6** A {k 9) fk 74**.59* 32.65* * rl>.95**.h J * *.54 90* * B (A 91 rk,5,»* 49*.*2** r P 83* *.62*,V4* * ( U 9) r k.51*.61* f P.65* l>4** 1) a 9] rk rp k rk a.inial vcrgdcken Mitre* ' K cndn H 'ixirrcliiliccih lfficii'nl.69**,7k* *