Retrieval-augmented generation using domain-specific text: a pilot study

Abstract

The natural language processing (NLP) field has witnessed remarkable advancements with the advent of large language models (LLMs) like GPT, Gemini, Claude, etc. These models are trained on vast amounts of text data, allowing them to generate human-like responses for various tasks. However, despite their impressive capabilities, LLMs have limitations in their ability to incorporate and reason over external knowledge that is not in their training data. This limitation of LLMs is particularly evident in the case of specific domain knowledge. This situation has given rise to the concept of retrieval augmented generation (RAG), an approach that combines the generative power of LLMs with the ability to retrieve and integrate relevant information from external knowledge sources. This research attempts to use RAG as a module in an application designed to answer questions concerning a specific domain, namely social philosophy/philosophy of management, using a published book from the respective domain as an external source. The paper analyzes the mentioned application output, draws conclusions, and traces future directions to improve the accuracy of the output.

Domeniul procesării limbajului natural (NLP) a fost martorul unor progrese remarcabile odată cu apariția modelelor de limbaj mari (LLM) precum GPT, Gemini, PaLM, Claude și altele. Aceste modele sunt antrenate pe cantități mari de date text, permițându-le să genereze răspunsuri asemănătoare omului pentru diferite sarcini. Cu toate acestea, în ciuda capacităților lor impresionante, LLM-urile au limitări în capacitatea lor de a încorpora și raționa cunoștințele externe care nu sunt în datele lor de formare. Această limitare a LLMurilor este deosebit de evidentă în cazul cunoștințelor specifice domeniului. Această situație a dat naștere conceptului de retrieval augmented generation (RAG), o abordare care combină puterea generativă a LLM-urilor cu capacitatea de a prelua și integra informații relevante din surse externe de cunoștințe. Această cercetare încearcă să utilize ze RAG ca modul întro aplicație menită să răspundă la întrebări referitoare la un anumit domeniu, și anume filosofia socială/filosofia managementului, folosind ca sursă externă o carte publicată din domeniul respectiv. Lucrarea analizează rezultatul aplicației menționate, trage concluzii și urmărește direcțiile viitoare pentru a îmbunătăți acuratețea rezultatelor.