ज़्यादातर कंपनी चैटबॉट गलत जवाब क्यों गढ़ते हैं — और हमने स्रोत बताने वाला चैटबॉट कैसे बनाया

हर कंपनी की एक ही समस्या है। जवाब मौजूद होते हैं — किसी लीव पॉलिसी में, वारंटी की PDF में, 2023 की किसी SOP में — लेकिन कोई उन्हें ढूँढ नहीं पाता, इसलिए लोग किसी सहकर्मी से पूछते हैं, अंदाज़ा लगाते हैं या टिकट खोलते हैं। चैटबॉट इसका सीधा इलाज लगता है। ज़्यादातर एक ही वजह से निराश करते हैं: जब उन्हें नहीं पता होता, तब भी वे पूरे भरोसे से जवाब दे देते हैं, और कोई जाँच नहीं सकता कि जवाब आया कहाँ से।

विकल्प कैसा दिखता है, यह दिखाने के लिए हमने AIVCJ Knowledge बनाया। यह एक लाइव डेमो है जिसे आप आज ही खोल सकते हैं: कोई सैंपल लाइब्रेरी चुनिए, असली सवाल पूछिए, और जवाब का हर वाक्य उस सटीक अंश की ओर इशारा करता है जहाँ से वह आया है।

समस्या: धाराप्रवाह होना सही होना नहीं है

अकेला भाषा मॉडल याददाश्त से जवाब देता है। उससे आपके कैरी-फ़ॉरवर्ड नियम के बारे में पूछिए, और वह हज़ारों दूसरी कंपनियों की पॉलिसियों से कुछ विश्वसनीय-सा बना देगा। सादा रिट्रीवल (RAG) मदद करता है, लेकिन सीधे-सादे संस्करण अनुमानित तरीकों से फ़ेल होते हैं:

• कई हिस्सों वाले सवाल। "मैंने दो महीने पहले Finance में जॉइन किया — क्या मैं हफ़्ते में दो दिन घर से काम कर सकता हूँ?" — इसके लिए हाइब्रिड पॉलिसी और प्रोबेशन नियम दोनों चाहिए। एक सर्च क्वेरी शायद ही दोनों ढूँढ पाती है।
• टेबल और हेडिंग टूट जाते हैं। दस्तावेज़ को हर 900 अक्षर पर काटिए, तो अलाउंस टेबल उस हेडिंग से अलग हो जाती है जो बताती है कि वह किस बारे में है।
• ईमानदार "मुझे नहीं पता" नहीं। जब सही अंश नहीं मिलता, मॉडल खाली जगह ख़ुद भर देता है।
• जाँचने का कोई तरीका नहीं। स्रोत के बिना गलत जवाब बिल्कुल सही जवाब जैसा दिखता है।

AIVCJ Knowledge कैसे काम करता है

1. संरचना समझकर इनजेशन। दस्तावेज़ (PDF, DOCX, TXT) उनकी अपनी संरचना के हिसाब से बाँटे जाते हैं: हेडिंग अपनी सामग्री के साथ रहती है, टेबल पूरी रहती है, और हर अंश को याद रहता है कि वह किस दस्तावेज़ और सेक्शन का है। यह संदर्भ अंश के साथ एम्बेड होता है, ताकि टेबल की एक पंक्ति भी "जानती" है कि वह ट्रैवल पॉलिसी के अलाउंस सेक्शन की है।
2. क्वेरी प्लानिंग। एक छोटा, तेज़ मॉडल हर सवाल को उन अलग-अलग तथ्यों में बाँटता है जो उसे चाहिए — कर्मचारी का ग्रेड, शहर का टियर, अलाउंस टेबल — और हर एक अपनी अलग सर्च बनता है।
3. हाइब्रिड रिट्रीवल। हर सर्च PostgreSQL के अंदर दो तरह से चलती है: अर्थ से (pgvector एम्बेडिंग) और सटीक शब्दों से (फ़ुल-टेक्स्ट सर्च)। नतीजे reciprocal-rank fusion से मिलाए जाते हैं, और सवाल के हर हिस्से को एक जगह की गारंटी मिलती है।
4. सिर्फ़ स्रोतों से जवाब। Claude सिर्फ़ खोजे गए अंशों से जवाब लिखता है, हर दावे पर [1], [2]… का हवाला देकर। अगर दस्तावेज़ों में बात नहीं है, तो साफ़ कह देता है।
5. ग्राउंडिंग जाँच। एक दूसरा चरण तैयार जवाब की तुलना उसके स्रोतों से करता है और उसे पूरी तरह समर्थित, आंशिक रूप से समर्थित या दस्तावेज़ों में नहीं के रूप में चिह्नित करता है — जो उपयोगकर्ता को दिखता है।

डेमो में आप क्या देखते हैं

• क्लिक करने लायक हवाले जो स्रोत पेज खोलते हैं और सटीक अंश हाइलाइट करते हैं।
• "यह जवाब क्यों?" — हर खोजा गया अंश, उसके अर्थ, कीवर्ड और फ़्यूज़न स्कोर के साथ; कौन-से अंश उद्धृत हुए, ग्राउंडिंग का फ़ैसला, लगा समय और इस्तेमाल हुए टोकन।
• आपका अपना दस्तावेज़। PDF या Word फ़ाइल अपलोड कीजिए (सिर्फ़ आपके लिए निजी, हर रात मिटा दी जाती है) और कुछ ही सेकंड में उस पर सवाल पूछिए।
• एक क्वालिटी पेज जिस पर पूरे टेस्ट नतीजे, सवाल-दर-सवाल।

अंदाज़ा नहीं, माप — और सीमाओं के बारे में ईमानदारी

हर सैंपल लाइब्रेरी के दो टेस्ट सेट हैं, और हर जवाब को स्रोतों के प्रति निष्ठा और सवाल से प्रासंगिकता पर जाँचा जाता है।

• गोल्डन सेट (45 सवाल)। दस्तावेज़ों के साथ लिखा गया, जिसमें कई दस्तावेज़ों वाले सवाल और ऐसे सवाल भी हैं जिनका जवाब दस्तावेज़ जानबूझकर नहीं देते। ट्यूनिंग में हमने इसका इस्तेमाल किया, इसलिए यह हमें बढ़ा-चढ़ाकर दिखाता है। हमारे पहले संस्करण — तय आकार के टुकड़े और हर सवाल पर एक सर्च — ने 45 में से 40 अंक पाए, 91–93% निष्ठा के साथ; सारी चूकें कई हिस्सों वाले सवालों में थीं। संरचना-आधारित टुकड़ों, संदर्भ वाले एम्बेडिंग और क्वेरी प्लानिंग ने इसे अलग-अलग रन में 45 में से 42–45, 98–100% निष्ठा तक पहुँचाया।
• ब्लाइंड सेट (20 सवाल)। बाद में एक दूसरे लेखक ने उसी तरह लिखा जैसे लोग सच में टाइप करते हैं — हिंग्लिश, टाइपो, अस्पष्ट शब्द, ऐसे सवाल जिनके लिए दो दस्तावेज़ चाहिए — और ट्यूनिंग में कभी इस्तेमाल नहीं हुआ: अलग-अलग रन में 20 में से 19–20, 95–96% निष्ठा के साथ। एक रन की चूक सीखने लायक है: (हिंग्लिश में) पूछा गया कि कंपनी का लैपटॉप कैब में छूट जाए तो क्या करें, और इसने 24×7 IT Security लाइन की जगह सामान्य IT हेल्पडेस्क बता दिया और पुलिस रिपोर्ट वाला कदम छोड़ दिया — ठीक वैसी कमी जिसे पकड़ने के लिए ब्लाइंड सेट होता है।

दो बातें जो हम छिपाने के बजाय बताना पसंद करेंगे: जाँच एक AI जज (Claude) रेफ़रेंस जवाबों के मुक़ाबले करता है, जो असिस्टेंट वाली ही मॉडल फ़ैमिली है, और नतीजे इंसानों ने वेरिफ़ाई नहीं किए; और हमारे सैंपल दस्तावेज़ ज़्यादातर असली कंपनी फ़ाइलों से ज़्यादा साफ़-सुथरे हैं। आँकड़ों को संकेत की तरह देखें। हर सवाल, जवाब और ग्रेड क्वालिटी पेज पर सार्वजनिक है।

उतना ही अहम: जिन सवालों का जवाब दस्तावेज़ों में नहीं है, उन्हें ईमानदार "मुझे यह दस्तावेज़ों में नहीं मिला" मिलता है — कोई गढ़ी हुई बात नहीं।

यही अनुशासन हम क्लाइंट प्रोजेक्ट्स में लाते हैं: पहले दिन से असली सवालों का टेस्ट सेट, जो हर बार प्रॉम्प्ट, मॉडल या दस्तावेज़ बदलने पर दोबारा चलता है, ताकि क्वालिटी एक संख्या हो जिसे आप ट्रैक कर सकें, कोई अहसास नहीं।

इसे आपके डेटा पर चलाना

डेमो उसी स्टैक पर चलता है जो हम क्लाइंट्स के लिए लगाते हैं: Next.js, pgvector के साथ PostgreSQL, और Claude, आपके चुने हुए इंफ़्रास्ट्रक्चर पर — संवेदनशील दस्तावेज़ों के लिए आपके अपने सर्वर समेत। आम तौर पर काम एक ज़्यादा इस्तेमाल वाले वर्कफ़्लो (HR सवाल, प्रोडक्ट सपोर्ट या अंदरूनी SOP), पचास असली सवालों और कुछ हफ़्तों के मापे गए पायलट से शुरू होता है, महीनों से नहीं। बढ़ते हुए कनेक्टर (Google Drive, SharePoint, Notion), दस्तावेज़-स्तर की अनुमतियाँ और WhatsApp चैनल जोड़िए।

AIVCJ Knowledge लाइव आज़माएँ →