LiveKit உடன் AI interviewer-ஐ self-host செய்வது: கட்டமைப்பு

ஒரு text chatbot பதில் சொல்ல இரண்டு வினாடிகள் எடுத்தாலும் யாரும் கவலைப்படுவதில்லை. ஆனால் குரல் உரையாடலில், இரண்டு வினாடி இடைவெளி அழைப்பே துண்டிக்கப்பட்டது போல் தோன்றும். எனவே வேட்பாளர்களுக்கு இயல்பாகத் தோன்றும் AI interviewer-ஐ உருவாக்குவது பெரும்பாலும் latency-ஐக் குறைக்கும் பணியே — அதே நேரத்தில் உணர்திறன் மிக்க ஆடியோவை நீங்கள் கட்டுப்படுத்தும் உள்கட்டமைப்புக்குள்ளேயே வைத்திருக்க வேண்டும்.

LiveKit-ஐ ஏன் self-host செய்ய வேண்டும்?

LiveKit ஒரு open-source WebRTC media server. அதை நீங்களே host செய்தால், வேட்பாளரின் ஆடியோ மற்றும் வீடியோ எந்த மூன்றாம் தரப்பு media cloud வழியாகவும் செல்லாது; data-centre பகுதியை நீங்களே தேர்வு செய்யலாம்; SaaS கருவியைத் தடுக்கக்கூடிய privacy மதிப்பாய்வுகளையும் பூர்த்தி செய்யலாம். அதிக அளவில் பயன்படுத்தும்போது நிமிடத்துக்கான media கட்டணங்களும் இல்லை.

Pipeline

1. Room: வேட்பாளர் browser-இலிருந்தே LiveKit room-இல் இணைகிறார் — எதையும் install செய்ய வேண்டாம்.
2. Agent: ஒரு server-side agent அதே room-இல் ஒரு பங்கேற்பாளராக இணைந்து, வேட்பாளரின் audio track-க்கு subscribe செய்கிறது.
3. கேட்டல்: வேட்பாளர் பேசிக்கொண்டிருக்கும்போதே streaming speech-to-text பகுதி transcript-களை உருவாக்குகிறது; அவர் பேசி முடித்தாரா என்பதை voice-activity detection தீர்மானிக்கிறது.
4. சிந்தித்தல்: LLM transcript-உடன் role rubric மற்றும் உரையாடல் நிலையைப் பெற்று, அடுத்த கேள்வியை stream செய்கிறது.
5. பேசுதல்: முழு வாக்கியமும் உருவாகும் முன்பே streaming text-to-speech முதல் வார்த்தைகளை ஒலிக்கத் தொடங்குகிறது.

மில்லி வினாடிகள் எங்கே செலவாகின்றன

End-of-turn detection, மாடலின் முதல் token, speech synthesis-இன் முதல் audio byte — இவையே உணரப்படும் latency-ஐ அதிகம் தீர்மானிக்கின்றன. ஒவ்வொரு மொழிக்கும் turn detection-ஐ நாங்கள் tune செய்கிறோம், prompt-களைச் சுருக்கமாகவும் cache-க்கு ஏற்றதாகவும் வைக்கிறோம், ஒவ்வொரு கட்டத்தையும் stream செய்து வரிசையில் காத்திருக்காமல் ஒன்றோடொன்று இணைந்து இயங்கச் செய்கிறோம்.

நியாயமாகவும் தணிக்கை செய்யக்கூடியதாகவும்

ஒவ்வொரு கேள்வியும் கட்டமைக்கப்பட்ட rubric-ஐ அடிப்படையாகக் கொண்டது, ஒவ்வொரு மதிப்பெண்ணும் அதை நியாயப்படுத்தும் transcript தருணத்தைச் சுட்டுகிறது, மனித மதிப்பாய்வுக்காக recording-கள் வைக்கப்படுகின்றன. AI screen செய்து ஆவணப்படுத்துகிறது; முடிவை மனிதர்களே எடுக்கிறார்கள்.

Production-ல் இயக்குதல்

LiveKit, agent worker-கள் மற்றும் application ஆகியவை Nginx பின்னால் இயங்குகின்றன — கட்டுப்பாடான network-களுக்கு TURN, interview அதிகரிப்புகளுக்கு horizontal agent scaling, turn latency மீது observability — இதனால் வேட்பாளர்கள் கவனிக்கும் முன்பே regression-கள் கண்டறியப்படுகின்றன.