Evaluarea statistică a sistemelor de recomandare în streaming și magazine online

Abstract

Lucrarea vizează domeniul tehnologiei informației, în special explorarea domeniului recomandărilor pentru o experiență online al unui utilizator. Se vor cerceta sistemele de recomandare care stau la baza a mai multor platforme online și modelele care pot fi utilizate în crearea acestora. Se va determina importanța existenței recomandărilor atât pentru un utilizator simplu, cât și impactul care îl poate juca un sistem de recomandare asupra unei afaceri. La fel, se va cerceta necesitatea personalizării recomandărilor, dar și pericolele ce pot apărea în cazul când sistemul devine prea bun în a cunoaște utilizatorul și preferințele acestuia.

Pentru un sistem de recomandare, este important ca atât utilizatorul să se simtă valoros prin recomandările care i se fac, economisind timp din a căuta un timp îndelungat un produs, dar și pentru o afacere online este important de a folosi informațiile despre preferințele utilizatorilor în mod eficient. Cu acest scop există o mulțime de metrici, care, în dependență de tipul de platformă, setul de date și specificul afacerii, pot fi utilizați pentru a evalua eficiența sistemului de recomandare. Se vor analiza unii dintre cei mai populari metrici și se va cerceta cum și în ce context pot fi aplicați. La fel, în dependență de setul de date disponibil se vor analiza tipurile de metode de evaluare ale acestora utilizând metricii. Baza unui sistem de recomandare fiind modelul acestuia, se vor cerceta diferite tipuri de modele matematice existente și specificul fiecăruia.

Pentru partea practică a lucrării a fost utilizat Jupyter Notebook și limbajul de programare Python. Aceste intrumente sunt destul pentru a gestiona, procesa și analiza volume de date, ceea ce a permis explorarea într-un mod interactiv a două seturi de date cu care s-a lucrat ulterior.

Lucrarea analizează 2 seturi de date: unul cu feedback implicit și cu altul feedback explicit, pentru a putea forma o opinie despre provocările fiecăruia. Fiecare set va trece printr-o analiză exploratorie pentru a identifica specificul acestora. În dependență de set, se vor analiza modelele care ar putea fi aplicate în crearea unui sistem de recomandare. Spre final, sistemele create vor fi evaluate statistic și, unde posibil, se vor adăuga optimizări pentru a primi un răspuns al eficienței cât mai bun.

The paper focuses on the field of information technology, specifically exploring the field of content recommendations for a user's online experience. Will be explored multiple recommendation systems used on several online big known platforms and the models that are used at the base for their creation. A focus will be on determining the importance of a recommendation to both a simple user and the impact one recommandation can have on a business, depending if it was an inspired one or not. Similarily, the necessity of personalizing the recommendations will be researched, but also the dangers that may arise if the system becomes too good at knowing the user and predicting his preferences.

For a recommendation system, it is important that the user feels valuable through the recommendations that are made to him, saving time from searching for a long time for a product, but also for an online business it is important to use information about user preferences in an efficient way. Because of this there are a lot of metrics, which, depending on the type of platform, the dataset and the specifics of the business, can be used to evaluate the effectiveness of the recommendation system. The paper will investigate some of the most popular metrics and explore how and in what context they can be applied. Likewise, depending on the available dataset, different types of evaluation methods using the researched metrics will be analyzed. Considering that at basis of a recommendation system exists a model, different types of existing mathematical models and the specifics of each will be researched.

For the practical part of the work, Jupyter Notebook and the Python programming language were used. These tools are enough to manage, process and analyze volumes of data, which allowed the exploration in an interactive way of two data sets that were worked with later.

The paper analyzes 2 data sets: one with implicit feedback and another with explicit feedback, in order to form an opinion about the challenges of each. Each set will go through an exploratory analysis to identify their specifics. Depending on the data set, models that could be applied in creating a recommender system will be analyzed. Towards the end, the created systems will be statistically evaluated and, where possible, optimizations will be added to get the best efficiency response.