பெரும்பாலான நிறுவன சாட்பாட்கள் ஏன் பதில்களைக் கற்பனை செய்கின்றன — மூலங்களைக் காட்டும் ஒன்றை நாங்கள் எப்படி உருவாக்கினோம்

ஒவ்வொரு நிறுவனத்துக்கும் ஒரே பிரச்சினை. பதில்கள் இருக்கின்றன — ஒரு விடுப்புக் கொள்கையில், உத்தரவாத PDF-இல், 2023-இன் ஒரு SOP-இல் — ஆனால் யாராலும் கண்டுபிடிக்க முடியவில்லை, அதனால் சக ஊழியரிடம் கேட்கிறார்கள், ஊகிக்கிறார்கள் அல்லது டிக்கெட் திறக்கிறார்கள். சாட்பாட் வெளிப்படையான தீர்வாகத் தெரிகிறது. பெரும்பாலானவை ஒரு காரணத்தால் ஏமாற்றுகின்றன: தெரியாதபோதும் அவை நம்பிக்கையுடன் பதில் சொல்கின்றன, பதில் எங்கிருந்து வந்தது என்று யாராலும் சரிபார்க்க முடிவதில்லை.

மாற்று எப்படி இருக்கும் என்று காட்ட AIVCJ Knowledge-ஐ உருவாக்கினோம். இன்றே திறக்கக்கூடிய நேரலை டெமோ இது: ஒரு மாதிரி நூலகத்தைத் தேர்ந்தெடுத்து, உண்மையான கேள்வியைக் கேளுங்கள்; பதிலின் ஒவ்வொரு வாக்கியமும் அது வந்த சரியான பகுதியைச் சுட்டுகிறது.

பிரச்சினை: சரளமாகப் பேசுவது சரியாகப் பேசுவது அல்ல

தனியாக ஒரு மொழி மாதிரி நினைவிலிருந்து பதில் சொல்கிறது. உங்கள் விடுப்பு முன்கொண்டு செல்லும் விதியைப் பற்றிக் கேட்டால், ஆயிரக்கணக்கான பிற நிறுவனங்களின் கொள்கைகளிலிருந்து நம்பத்தகுந்த ஒன்றை உருவாக்கும். எளிய தேடல் (RAG) உதவுகிறது, ஆனால் எளிமையான பதிப்புகள் கணிக்கக்கூடிய வழிகளில் தோல்வியடைகின்றன:

• பல பகுதிக் கேள்விகள். “இரண்டு மாதங்களுக்கு முன் Finance-இல் சேர்ந்தேன் — வாரத்தில் இரண்டு நாள் வீட்டிலிருந்து வேலை செய்யலாமா?” — இதற்கு ஹைப்ரிட் கொள்கை மற்றும் தகுதிகாண் விதி இரண்டும் தேவை. ஒரே தேடல் இரண்டையும் அரிதாகவே கண்டுபிடிக்கும்.
• அட்டவணைகளும் தலைப்புகளும் பிரிகின்றன. ஆவணத்தை ஒவ்வொரு 900 எழுத்துக்கும் வெட்டினால், படி அட்டவணை அது எதைப் பற்றியது என்று சொல்லும் தலைப்பிலிருந்து பிரிந்துவிடும்.
• நேர்மையான “தெரியாது” இல்லை. சரியான பகுதி கிடைக்காதபோது மாதிரி இடைவெளியைத் தானே நிரப்புகிறது.
• சரிபார்க்க வழியில்லை. மேற்கோள் இல்லாமல், தவறான பதில் சரியான பதில் போலவே தெரியும்.

AIVCJ Knowledge எப்படி வேலை செய்கிறது

1. கட்டமைப்பை அறிந்த உள்ளீடு. ஆவணங்கள் (PDF, DOCX, TXT) அவற்றின் சொந்தக் கட்டமைப்பின்படி பிரிக்கப்படுகின்றன: தலைப்புகள் தங்கள் உள்ளடக்கத்துடன் இருக்கும், அட்டவணைகள் முழுமையாக இருக்கும், ஒவ்வொரு பகுதியும் தன் ஆவணத்தையும் பிரிவையும் நினைவில் கொள்கிறது. அந்தச் சூழல் பகுதியுடன் சேர்த்து எம்பெட் செய்யப்படுவதால், ஒரு அட்டவணை வரிசைக்கும் அது பயணக் கொள்கையின் படிப் பிரிவைச் சேர்ந்தது என்று “தெரியும்”.
2. வினவல் திட்டமிடல். ஒரு சிறிய, வேகமான மாதிரி ஒவ்வொரு கேள்வியையும் அதற்குத் தேவையான தனித்தனி உண்மைகளாகப் பிரிக்கிறது — ஊழியரின் தரம், நகரத்தின் அடுக்கு, படி அட்டவணை — ஒவ்வொன்றும் தனித் தேடலாகிறது.
3. ஹைப்ரிட் தேடல். ஒவ்வொரு தேடலும் PostgreSQL-க்குள் இரண்டு வழிகளில் இயங்குகிறது: பொருளின்படி (pgvector எம்பெடிங்) மற்றும் சரியான சொற்களின்படி (முழு உரைத் தேடல்). முடிவுகள் reciprocal-rank fusion மூலம் இணைக்கப்படுகின்றன; கேள்வியின் ஒவ்வொரு பகுதிக்கும் ஓர் இடம் உறுதி.
4. மூலங்களிலிருந்து மட்டுமே பதில். Claude கண்டெடுத்த பகுதிகளிலிருந்து மட்டுமே பதிலை எழுதுகிறது, ஒவ்வொரு கூற்றுக்கும் [1], [2]… என மேற்கோள் காட்டி. ஆவணங்களில் இல்லையென்றால் தெளிவாகச் சொல்கிறது.
5. அடிப்படைச் சரிபார்ப்பு. இரண்டாவது சுற்று முடிந்த பதிலை அதன் மூலங்களுடன் ஒப்பிட்டு முழு ஆதாரமுள்ளது, பகுதியளவு ஆதாரமுள்ளது அல்லது ஆவணங்களில் இல்லை எனக் குறிக்கிறது — பயனருக்குத் தெரியும்.

டெமோவில் நீங்கள் பார்ப்பவை

• கிளிக் செய்யக்கூடிய மேற்கோள்கள் — மூலப் பக்கத்தைத் திறந்து சரியான பகுதியை முன்னிலைப்படுத்தும்.
• “ஏன் இந்தப் பதில்?” — கண்டெடுக்கப்பட்ட ஒவ்வொரு பகுதியும் அதன் பொருள், முக்கியச்சொல், இணைப்பு மதிப்பெண்களுடன்; எவை மேற்கோள் காட்டப்பட்டன, அடிப்படைத் தீர்ப்பு, எடுத்த நேரம், பயன்படுத்திய டோக்கன்கள்.
• உங்கள் சொந்த ஆவணம். ஒரு PDF அல்லது Word கோப்பைப் பதிவேற்றுங்கள் (உங்களுக்கு மட்டும், ஒவ்வொரு இரவும் நீக்கப்படும்), சில விநாடிகளில் அதைப் பற்றிக் கேள்வி கேளுங்கள்.
• ஒரு தரப் பக்கம் — கேள்வி வாரியாக முழுச் சோதனை முடிவுகளுடன்.

ஊகம் அல்ல, அளவீடு — வரம்புகள் பற்றி நேர்மையாக

ஒவ்வொரு மாதிரி நூலகத்துக்கும் இரண்டு சோதனைத் தொகுப்புகள் உள்ளன; ஒவ்வொரு பதிலும் மூலங்களுக்கு விசுவாசம் மற்றும் கேள்விக்குப் பொருத்தம் என்பதில் சரிபார்க்கப்படுகிறது.

• கோல்டன் தொகுப்பு (45 கேள்விகள்). ஆவணங்களுடன் சேர்த்து எழுதப்பட்டது; பல ஆவணக் கேள்விகளும், ஆவணங்கள் வேண்டுமென்றே பதில் தராத கேள்விகளும் உள்ளன. சரிசெய்யும்போது இதைப் பயன்படுத்தினோம், எனவே இது எங்களை உயர்த்திக் காட்டுகிறது. எங்கள் முதல் பதிப்பு — நிலையான அளவுத் துண்டுகள், ஒரு கேள்விக்கு ஒரு தேடல் — 45-க்கு 40, 91–93% விசுவாசம்; தவறுகள் அனைத்தும் பல பகுதிக் கேள்விகளில். கட்டமைப்பு அடிப்படைத் துண்டுகள், சூழல் எம்பெடிங், வினவல் திட்டமிடல் ஆகியவை அதை ஓட்டங்களில் 45-க்கு 42–45, 98–100% விசுவாசம் வரை உயர்த்தின.
• மறைமுகத் தொகுப்பு (20 கேள்விகள்). பின்னர் வேறொரு ஆசிரியர் மக்கள் உண்மையில் தட்டச்சு செய்வது போல எழுதியது — ஹிங்கிலிஷ், எழுத்துப் பிழைகள், தெளிவற்ற வார்த்தைகள், இரண்டு ஆவணங்கள் தேவைப்படும் கேள்விகள் — சரிசெய்யப் பயன்படுத்தவே இல்லை: ஓட்டங்களில் 20-க்கு 19–20, 95–96% விசுவாசம். ஒரு ஓட்டத்தின் தவறு கற்றுக்கொள்ளத் தக்கது: நிறுவன லேப்டாப்பை கேபில் மறந்துவிட்டால் என்ன செய்வது என்று (ஹிங்கிலிஷில்) கேட்டபோது, 24×7 IT Security எண்ணுக்குப் பதிலாக வழக்கமான IT உதவி மையத்தைச் சொன்னது, காவல் புகார் படியை விட்டுவிட்டது — மறைமுகத் தொகுப்பு கண்டுபிடிக்கவே இருக்கும் இடைவெளி இது.

மறைப்பதைவிடச் சொல்வதையே விரும்பும் இரண்டு எச்சரிக்கைகள்: மதிப்பீட்டை ஒரு AI நடுவர் (Claude) குறிப்புப் பதில்களுடன் ஒப்பிட்டுச் செய்கிறது — உதவியாளரின் அதே மாதிரிக் குடும்பம் — முடிவுகள் மனிதர்களால் சரிபார்க்கப்படவில்லை; மேலும் எங்கள் மாதிரி ஆவணங்கள் பெரும்பாலான உண்மையான நிறுவனக் கோப்புகளைவிடச் சுத்தமானவை. எண்களைக் குறிப்பாகக் கருதுங்கள். ஒவ்வொரு கேள்வியும் பதிலும் மதிப்பெண்ணும் தரப் பக்கத்தில் பொதுவில் உள்ளன.

அதே அளவு முக்கியம்: ஆவணங்களில் இல்லாத கேள்விகளுக்கு நேர்மையான “இதை ஆவணங்களில் கண்டுபிடிக்க முடியவில்லை” கிடைக்கிறது — கற்பனை அல்ல.

இதே ஒழுங்கை வாடிக்கையாளர் திட்டங்களுக்குக் கொண்டு வருகிறோம்: முதல் நாளிலிருந்தே உண்மையான கேள்விகளின் சோதனைத் தொகுப்பு, prompt, மாதிரி அல்லது ஆவணம் மாறும்போதெல்லாம் மீண்டும் இயக்கப்படும் — தரம் ஓர் உணர்வு அல்ல, கண்காணிக்கக்கூடிய எண்ணாக இருக்க.

உங்கள் தரவில் இயக்குதல்

டெமோ நாங்கள் வாடிக்கையாளர்களுக்கு நிறுவும் அதே ஸ்டாக்கில் இயங்குகிறது: Next.js, pgvector உடன் PostgreSQL, Claude — நீங்கள் தேர்ந்தெடுக்கும் உள்கட்டமைப்பில், உணர்திறன் மிக்க ஆவணங்களுக்கு உங்கள் சொந்த சர்வர்கள் உட்பட. வழக்கமாக ஒரு அதிக அளவுப் பணிப்பாய்வு (HR கேள்விகள், தயாரிப்பு ஆதரவு அல்லது உள் SOP-கள்), ஐம்பது உண்மையான கேள்விகள், மாதங்கள் அல்ல வாரங்களில் அளவிடப்பட்ட ஒரு முன்னோட்டத்துடன் தொடங்குகிறது. வளரும்போது இணைப்பிகள் (Google Drive, SharePoint, Notion), ஆவண அளவிலான அனுமதிகள், WhatsApp சேனல் சேர்க்கலாம்.

AIVCJ Knowledge-ஐ நேரலையில் முயற்சிக்கவும் →