Does this answer your question? Evaluating, replicating, and improving task-oriented dialogue systems

Many organisations use chatbots (or task-oriented dialogue systems) for their customer service. Although these chatbots oalso disadvantages. Not all customer queries can yet be answered correctly by these chatbots. This can in turn lead to customer frustration and negative word of mouth for the organisation deploying the chatbot. This thesis explored three themes to advance the development and evaluation of dialogue systems. Part one of this dissertation describes the evaluation of task-oriented dialogue systems. This part demonstrates that many diare used for the evaluation of such systems, ranging in automatic and human evaluation, and from the evaluation of the system itself to the system within a specific context – such as customer service. Furthermore, there appears to be a lack of consistency in how evaluation metrics are defined and measured. Part two of the dissertation reports on the repeatability of two previous studies in the domain of task-oriented dialogue systems. The replication studies show that the results can be mostly reproduced. At the same time, there appear to be variouschallenges in replicating this type of research. For example, previously used chatbot platforms are no longer available, or there is insuaddresses the improvement of chatbot conversations in cases of miscommunication. It has been examined how errors arise in chatbot conversations and how chatbots can potentially repair those errors. Additionally, the perceptions of users on errors and the consequent repairs of miscommunication have been investigated. The knowledge gained from this dissertation informs fields such as NLP and communication science and is applicable to task-oriented chatbots in, for example, customer service.

___

Veel organisaties gebruiken chatbots (of taakgerichte dialoogsystemen) voor hun klantenservice. Hoewel chatbots allerlei voordelen bieden, zoals 24/7 beschikbaarheid en efficiëntie, zijn er ook nadelen. Zo kunnen chatbots nog niet alle klantvragen correct beantwoorden. Dit kan leiden tot frustratie bij klanten en negatieve mond-tot-mondreclame voor de organisatie die de chatbotinzet. In dit proefschrift zijn drie thema’s onderzocht om de ontwikkeling en evaluatie van dialoogsystemen te bevorderen. Deel één van dit proefschrift beschrijft de evaluatie van taakgerichte dialoogsystemen. Dit deel toont aan dat er veel verschillende maten en methoden worden gebruikt bij de evaluatie van zulke systemen, variërend in automatische en menselijke evaluatie, en van evaluatie van het systeem op zichzelf tot in een bepaalde context – zoals in klantenservice. Ook blijkt er geen eenduidigheid te zijn in hoe evaluatiematen worden gedefinieerd en gemeten. Deel twee van het proefschrift rapporteert over de herhaalbaarheid van twee eerdere studies in het domein van taakgerichte dialoogsystemen. Uit de replicatiestudies blijkt dat de resultaten in grote lijnen gereproduceerd kunnen worden. Tegelijkertijd komen er allerlei uitdagingen naar voren bij het herhalen van dit soort onderzoek; eerder gebruikte chatbotplatforms zijn bijvoorbeeld niet meer beschikbaar of er is onvoldoende informatie over de data of de analyses. Deel drie gaat in op het verbeteren van chatbotgesprekken bij miscommunicatie. Er is geïdentificeerd hoe fouten in chatbotgesprekken kunnen ontstaan en hoe chatbots die fouten eventueel kunnen repareren. Daarbij zijn ook de percepties gemeten van mensen die miscommunicatie en reparatie in chatbotgesprekken ervaren. De kennis die is opgedaan met dit proefschrift informeert vakgebieden zoals NLP en communicatiewetenschap en is toepasbaar voor taakgerichte chatbots in bijvoorbeeld de klantenservice.