RAG என்றால் என்ன — உங்கள் வணிகத்துக்கு அது உண்மையில் எப்போது தேவை?

Large language model-கள் அற்புதமான எழுத்தாளர்கள், ஆனால் மோசமான நூலகர்கள். உங்கள் விடுப்புக் கொள்கை, உங்கள் தயாரிப்பின் warranty விதிமுறைகள் அல்லது கடந்த காலாண்டு விலைகள் பற்றிக் கேட்டால், அது நம்பிக்கையான, சரளமான — ஆனால் அடிக்கடி தவறான — பதிலைத் தரும். Retrieval-augmented generation (RAG) பதில் சொல்லும் முன் மாடலுக்குப் படிக்கச் சரியான பக்கங்களைக் கொடுத்து இதைச் சரிசெய்கிறது.

RAG எப்படி வேலை செய்கிறது — எளிமையாக

ஒரு RAG அமைப்புக்கு இரண்டு பகுதிகள் உண்டு. Indexing பகுதி உங்கள் ஆவணங்களைப் படித்து, அவற்றைப் பத்திகளாகப் பிரித்து, ஒவ்வொரு பத்திக்கும் ஒரு எண்ணியல் "பொருள் கைரேகையை" (embedding) pgvector உடன் கூடிய PostgreSQL போன்ற vector database-இல் சேமிக்கிறது. பதிலளிக்கும் பகுதி பயனரின் கேள்வியை எடுத்து, பொருளில் மிக நெருக்கமான பத்திகளைக் கண்டறிந்து, ஒரே அறிவுறுத்தலுடன் மாடலிடம் ஒப்படைக்கிறது: இவற்றிலிருந்து மட்டுமே பதில் சொல், அவற்றை மேற்கோள் காட்டு.

1. Ingest: PDF-கள், Word கோப்புகள், spreadsheet-கள், வலைப்பக்கங்கள் மற்றும் database row-கள் சுத்தம் செய்யப்பட்டு chunk-களாகப் பிரிக்கப்படுகின்றன.
2. Embed: ஒவ்வொரு chunk-உம் அது எதைப் பற்றியது என்பதைப் பிடிக்கும் vector ஆக மாறுகிறது.
3. Retrieve: கேள்வியும் அதே முறையில் embed செய்யப்படுகிறது; மிக நெருக்கமான chunk-கள் எடுக்கப்படுகின்றன — பெரும்பாலும் keyword search-உடன் இணைத்து.
4. Generate: மாடல் அந்த chunk-களை அடிப்படையாகக் கொண்டு, மூலத்துக்கான மேற்கோள்களுடன் பதிலை எழுதுகிறது.

ஒரு மாடலை fine-tune செய்தால் போதாதா?

Fine-tuning ஒரு மாடலுக்கு ஒரு பாணியை அல்லது குறுகிய திறனைக் கற்பிக்கிறது. மாறிக்கொண்டே இருக்கும் உண்மைகளை — விலைகள், கொள்கைகள், inventory, ஒப்பந்தங்கள் — கற்பிக்க அது மோசமான வழி. RAG அறிவை நீங்கள் கட்டுப்படுத்தும் database-இல் வைக்கிறது: ஒரு ஆவணத்தைப் புதுப்பித்தால், அடுத்த பதிலிலேயே அது பிரதிபலிக்கும். மேற்கோள்கள், ஒவ்வொரு ஆவணத்துக்குமான access control, எதையும் மீண்டும் train செய்யாமல் மாடலை மாற்றும் வசதி — இவையும் கிடைக்கும்.

உங்கள் வணிகம் RAG-க்குத் தயார் என்பதற்கான ஐந்து அறிகுறிகள்

• உங்கள் குழு ஒவ்வொரு வாரமும் அதே ஆவணங்களிலிருந்து அதே கேள்விகளுக்குப் பதில் சொல்கிறது.
• முக்கியமான அறிவு யாரும் சரியாகத் தேடாத PDF-களிலும் shared drive-களிலும் கிடக்கிறது.
• உங்கள் manual-களில் ஏற்கனவே இருக்கும் பதில்களுக்காக வாடிக்கையாளர்கள் மணிக்கணக்கில் காத்திருக்கிறார்கள்.
• "எல்லாம் எங்கேயோ இருக்கிறது" என்பதால் புதிய ஊழியர்கள் திறம்படச் செயல்பட மாதங்கள் ஆகின்றன.
• பதில்கள் அனுமதிகளை மதிக்க வேண்டும் — எல்லோரும் எல்லாவற்றையும் பார்க்கக் கூடாது.

ஒரு RAG அமைப்பை production-grade ஆக்குவது எது

ஒரு வார இறுதி prototype டெமோவில் கவரலாம், மூன்றாம் நாளில் தோல்வியடையலாம். வித்தியாசம் engineering ஒழுக்கத்தில்தான்: உங்கள் ஆவண வகைகளுக்கு ஏற்ப tune செய்யப்பட்ட chunking, hybrid retrieval, query நேரத்தில் பயன்படுத்தப்படும் permission filter-கள், மூலங்கள் இல்லாதபோது பதில் மறுப்பு — மிக முக்கியமாக, தெரிந்த சரியான பதில்களுடன் கூடிய உண்மையான கேள்விகளின் evaluation set, ஒவ்வொரு முறை prompt அல்லது மாடல் மாறும்போதும் மீண்டும் இயக்கப்படும்.

எங்கிருந்து தொடங்குவது

அதிக அளவிலான, நன்கு ஆவணப்படுத்தப்பட்ட ஒரு workflow-ஐத் தேர்ந்தெடுங்கள் — HR கொள்கைக் கேள்விகள், தயாரிப்பு support அல்லது உள் SOP-கள். ஐம்பது உண்மையான கேள்விகளைச் சேகரியுங்கள். உருவாக்குங்கள், அளவிடுங்கள், பிறகு விரிவாக்குங்கள். எங்கள் RAG திட்டங்களை நாங்கள் இப்படித்தான் நடத்துகிறோம் — அதனால்தான் எங்கள் assistant-கள் launch-க்குப் பிறகும் துல்லியமாக இருக்கின்றன.