Onderzoek naar het gebruik van frameworks voor het opzetten van een chatbot voor retailbedrijven
Onderzoeksvoorstel Bachelorproef
Sofie De Plus1*, Thijs Van Maelzaeke
Samenvatting Chatbots zijn enorm populair sinds 2016. Dit is te danken aan de recente ontwikkelingen in natural processing language (NLP) en artificie�� le intelligente (AI). Door de lancering van het Facebook bot platform kunnen bedrijven eenvoudig chatbots opstellen. Dit doordat de ingewikkelde implementatie om tekst te begrijpen wordt aangeboden door een derde partij. Als ontwikkelaar voor een retailbedrijf weet men echter niet of het gebruik hiervan een goede chatbot oplevert en welke andere alternatieven er zijn. Daarom wordt er in dit onderzoek bepaald of een chatbot, dat ge��implementeerd is op basis van een framework, kan fungeren als een klantenservice voor een retailbedrijf. Er wordt nagegaan welk framework het best gebruikt wordt voor een bepaald doel. Deze zijn het opzetten van een chatbot voor het assisteren in een aankoopproces of een dialoog opbouwen om te fungeren als helpdesk. Enkele frameworks voor natural language processing (NLP) en machine learning worden met elkaar vergeleken, nl. Wit.ai (waarop Facebook Bot Engine gebasseerd is), API.ai, init.ai en Language Understanding Intelligent Service (LUIS) dat gebruikt wordt door Microsoft Bot Framework. De vergelijking gebeurt door te kijken of de ingevoerde tekst herkent en ge��interpreteerd wordt en een hieraan gekoppelde actie genereert. Hiervoor worden er vier testprofielen opgesteld: variatiezinnen met dezelfde betekenis (profiel 1), zinnen met spellingsfouten en speciale tekens (profiel 2), complexe input (profiel 3) en een story flow (profiel 4). Er worden een aantal zinnen met acties geleerd aan de chatbot en dan worden de testen voor deze profielen uitgevoerd. Daarna wordt de chatbot getraind en zal deze opnieuw getest worden. Uit de resultaten wordt er verwacht dat Wit.ai de beste keuze is voor een chatbot uitsluitend in Facebook Messenger met als doel te assisteren in het aankopen en opvragen van producten (command-action). Voor het opzetten van een chatbot die in dialoog moet treden wordt er verwacht dat API.ai de beste keuze is. Als een bedrijf zijn chatbot op Microsoft platforms wil integreren, zal het voor LUIS in het Microsoft Bot Framework moeten kiezen. Aangezien AI chatbots nog maar net aan het opkomen zijn, wordt er verwacht dat de frameworks nog zullen verbeteren en uitbreiden. Echter zal het niet meer zeker zijn dat er nog veel goede services gratis worden aangeboden.
Sleutelwoorden Machine learning en AI. Chatbots — NLP — Applicatieontwikkeling — Retail
1Student 3e bachelor Toegepaste Informatica, Hogeschool Gent, Valentyn Vaerwyckweg 1, 9000 Gent *Contact:[email protected]
Inhoudsopgave
1 Introductie 2 State-of-the-art 3 Methodologie 4 Verwachte resultaten 5 Verwachte conclusies
Referenties
bestaan chatbots al veel langer. Het zijn de recente ontwik-
kelingen in natural language processing (NLP) en artificie��le
1 intelligentie (AI) die ertoe leiden dat bots slim genoeg zijn om
2
in gesprek te gaan met een gebruiker en namens hem acties uit te voeren.
2
3 Er zijn twee soorten chatbots: scriptgebaseerde chatbots en de
3 nieuwe AI chatbots. Scriptgebaseerde chatbots kunnen enkel maar letterlijk ingegeven patronen herkennen terwijl AI bots
3 de input kan interpreteren.
1. Introductie
Chatbots zijn enorm populair de laatste maanden en domineren zelfs het marketings- en technologiedomein. Maar toch
Opdat chatbots gebruikt zouden worden, moeten deze menselijk ‘gedrag’ vertonen en begrijpen wat de gebruiker zegt. Dit is hetgene wat het moeilijkste te implementeren is. Met
Onderzoek naar het gebruik van frameworks voor het opzetten van een chatbot voor retailbedrijven �� 2/3
de lancering van Facebook Bot engine moet dit deel van de implementatie niet meer zelf gecodeerd worden. Op die manier stelt het bedrijven in staat om zelf snel en gemakkelijk een chatbot te maken.
Messaging apps hebben zich momenteel ontwikkeld tot de meest populaire applicaties op smartphones (BI Intelligence, 2016). Voor retailbedrijven zou het dus interessant kunnen zijn om via deze platforms diensten aan te bieden omdat ze zo een enorm bereik hebben.
Maar biedt het framework, waarop Facebook Bot Engine is gebasseerd, voldoende om klantenproblemen af te handelen zodoende dat de chatbot kan fungeren als klantendienst? Er bestaan verschillende frameworks maar welke is het meest geschikt voor een retailbedrijf? Ter beantwoording worden volgende deelvragen opgesteld:
�� Wat is het beste framework voor een chatbot op te zetten voor een bepaald profiel?
�� Wat is de invloed van de training op de nauwkeurigheid van de chatbot?
�� Wat zijn de meest voorkomende problemen? Hoe zouden we deze eventueel kunnen oplossen?
�� Via welke kanalen kan de chatbot gebruikt worden? �� Welke rol kunnen chatbots spelen binnen retailbedrij-
ven?
Het onderzoek zal een antwoord bieden aan retailbedrijven. Er wordt nagegaan of deze een goed werkende chatbot kunnen opzetten via een framework en welk framework hiervoor best gekozen wordt. Het is mogelijk dat het beste resultaat zou verkregen worden door verschillende frameworks te combineren. Uit dit onderzoek zal blijken of dit mogelijk is en welke frameworks samen voor de beste oplossing zorgen.
2. State-of-the-art
2016 werd omschreven als jaar van de chatbot revolutie (Bruner, 2016). Met de lancering van Facebook Bot Engine en Microsoft Bot Framework in april 2016 werd er gericht op de massaproductie van bots. En zo geschiedde het ook. Chatbots zijn momenteel nog in hun kinderjaren waardoor en nog niet veel onderzoek beschikbaar is. Frameworks zijn continu aan het verbeteren en aan het uitbreiden. Er komen er ook steeds nieuwe bij. Berman (2016) heeft een vergelijking gemaakt over de meest gebruikte frameworks. De vergelijking gaat over de mogelijkheden die een framework te bieden heeft en of deze vriendelijk is in gebruik. In dit onderzoek wordt er niet zozeer gefocust op de mogelijkheden van een framework maar op hoe goed deze is in het herkennen van de acties ingegeven door de gebruiker. De frameworks viv.ai en Aspect NLU die Berman (2016) heeft aangehaald komen in dit onderzoek niet aan bod. In dit onderzoek wordt wel init.ai opgenomen. Het onderzoek wordt toegepast binnen e��e��n specifiek domein: retail.
3. Methodologie
Voor de uitvoering van het onderzoek wordt er gebruik gemaakt van enkele bot frameworks voor natural language processing (NLP) en machine learning. In het bijzonder gaat het om Wit.ai (waarop Facebook Bot Engine gebasseerd is), API.ai, init.ai en Language Understanding Intelligent Service (LUIS). LUIS wordt gebruikt door Microsoft Bot Framework.
Er zullen vier chatbots worden opgezet, elk gebruikmakend van e��e��n van de frameworks. Om te kijken welk framework het beste scoort, gaan we kijken of de chatbot de ingevoerde tekst herkent en de juiste actie genereert.
Het onderzoek wordt uitgevoerd voor twee verschillende toepassingen in de retail:
�� chatbot om te assisteren in het aankopen/bekijken van producten (command-action)
�� chatbot die fungeert als klantendienst (conversational interface)
Hiervoor worden er vier veschillende testprofielen opgesteld. Het eerste profiel bestaat uit een aantal eenvoudige zinnen die zouden kunnen gezegd worden bij een aankoopproces. Voor elk van deze zinnen, zijn er een aantal analoge zinnen met dezelfde betekenis maar anders geformuleerd. In het tweede profiel worden de variaties vervangen door zinnen met spellingsfouten, speciale tekens en zinnen die geschreven zijn in chattaal. In het derde profiel wordt er gewerkt met complexe input. Dit gaat zowel over lange zinnen als over meerdere zinnen en vragen als input. Het laatste profiel doorloopt dan een volledige story flow waarbij een conversatie zal worden opgebouwd.
In eerste instantie worden enkel de basiszinnen geleerd aan de chatbot. Op deze manier zullen er betere resultaten verkregen worden voor de herkenning van de input. Hierdoor wordt het framework gee��valueerd in hoe goed het de intenties van een gebruiker kan begrijpen voor een bepaald profiel.
In tweede instantie wordt de chatbot getraind en worden de testen opnieuw uitgevoerd met extra variaties. Op die manier is er nagegaan hoe accuraat de frameworks worden na enige training. Dit simuleert hoe goed een chatbot zal leren uit eerdere conversaties en hoe deze zal evalueren na verloop van tijd.
Op basis van de verkregen resultaten zal er nagegaan worden wat de meest voorkomende problemen zijn. In dit onderzoek wordt er gekeken hoe deze problemen kunnen worden opgelost.
Naast het implementeren, trainen en testen van de chatbots, zullen deze ook ge��integreerd worden in een aantal platforms zoals Facebook Messenger, Skype en in een webapplicatie.
Onderzoek naar het gebruik van frameworks voor het opzetten van een chatbot voor retailbedrijven �� 3/3
4. Verwachte resultaten
Voor het eerste profiel wordt er verwacht dat er geen grote verschillen zullen zijn tussen de verschillende frameworks. De ene bot zal de ene variatie beter herkennen terwijl de andere, een andere variatie herkent maar in het totaal scoren ze vrijwel gelijk. Init.ai zou de betere scoren hebben voor de spellingsfouten terwijl de anderen hier vrij gelijk op scoren. Voor het derde en vierde profiel scoort API.ai het beste, gevolgd door LUIS. Bij het laatse profiel wordt ook init.ai met een goede score verwacht. Deze service is nog in beta fase maar is vooral gericht op conversaties. LUIS zou het beste scoren na training omdat het alle binnenkomende expressies opslaat en hieruit semi-automatisch kan leren.
API.ai Inc. (2016). Conversational User Experience Platform. https://api.ai/. Laatst geraadpleegd op 06/12/2016.
Berman, V. (2016). Comparison of Bot Frameworks on the Market. http://blogs.aspect.com/bot- framework- scomparison/. Blog. Laatst geraadpleegd op 06/12/2016.
BI Intelligence. (2016). Messaging apps are now bigger than social networks. http://uk.businessinsider.com/themessaging-app-report-2015-11?r=US&IR=T. Online artikel.
Bruner, J. (2016). Why 2016 is shaping up to be the Year of the Bot. https://www.oreilly.com/ideas/why-2016-isshaping-up-to-be-the-year-of-the-bot. Online artikel.
Er wordt verwacht dat alle frameworks het moeilijker hebben bij complexere input. Ook het ontbreken van een geheugen is een minpunt. Chatbots kunnen tijdens het afhandelen van een probleem de context moeilijk interpreteren. Indien er verwezen wordt naar reeds aangehaalde zaken, heeft de chatbot hier geen kennis van.
5. Verwachte conclusies
Retailbedrijven die enkel een chatbot willen opzetten voor Facebook Messenger, met als doel het aankopen en/of opzoeken van producten mogelijk te maken, kiezen het best voor Wit.ai. Dit is het framework waarop het Facebook bot platform gebasseerd is en zorgt dus voor de makkelijkste integratie. Daarnaast scoort deze ook goed in het herkennen van eenvoudige input en wordt de juiste output hieraan gekoppeld. Wanneer het bedrijf zijn chatbot ook in andere platforms wil integreren, kan er best de keuze worden gemaakt voor API.ai. Er moet echter wel rekening gehouden worden dat buiten de integratie naar Skype en Cortana geen andere Microsoft platforms worden ondersteund. Als het bedrijf zijn chatbot wil lanceren op andere Microsoft platforms, moet de bot gemaakt worden in Microsoft Bot Framework met LUIS.
Bedrijven in de retail die hun chatbot willen uitbreiden naar een helpdesk om problemen, vragen en klachten af te handelen, maken best gebruik van API.ai. Deze scoorde zowel goed op herkenning met complexe input als op het doorlopen van de story flows. Ook hier geldt er dat er voor het Microsoft Bot Framework met LUIS moet gekozen worden indien men naast Skype en Cortana ook andere Microsoft platforms wil bereiken.
Facebook. (g.d.). Messenger Platform. https : / / developers . facebook.com/docs/messenger-platform. Laatst geraadpleegd op 06/12/2016.
Messina, C. (2016). 2016 will be the year of conversational commerce. https://medium.com/chris- messina/ 2016-will-be-the-year-of-conversational-commerce1586e85e3991. Online artikel.
Microsoft. (2016a). Build a great conversationalist. https : / / dev . botframework . com/. Laatst geraadpleegd op 06/12/2016.
Microsoft. (2016b). Language Understanding Intelligent Service (LUIS). https://luis.ai/. Laatst geraadpleegd op 06/12/2016.
Wealth Inc. (2016). The most powerful way to build, train, and deploy intelligent conversational apps. https://init.ai/. Laatst geraadpleegd op 06/12/2016.
Weigt, P. (2016). How to Choose the Right Framework to Develop Your Enterprise Bot. https://blogs.sap.com/ 2016/05/17/how- to- choose- the- right- frameworkto-develop-your-enterprise-bot/. Blog. Laatst geraadpleegd op 06/12/2016.
Wit.ai Inc. (2016). Natural Language for Developers. https: //wit.ai/. Laatst geraadpleegd op 06/12/2016.
Uit het onderzoek wordt er verwacht dat het gebruik van frameworks om taal te analyseren en antwoorden te genereren een degelijke chatbot oplevert.
Referenties
Ameloot, T. (2016). Van FAQ naar chatbot. https : / / www. smalsresearch.be/van-faq-naar-chatbot/. Online artikel.