LiveKit ഉപയോഗിച്ച് AI ഇന്റർവ്യൂവർ self-host ചെയ്യൽ: ആർക്കിടെക്ചർ

ഒരു ടെക്സ്റ്റ് ചാറ്റ്ബോട്ട് മറുപടി നൽകാൻ രണ്ട് സെക്കൻഡ് എടുത്താലും ആരും ശ്രദ്ധിക്കില്ല. എന്നാൽ ഒരു വോയ്സ് സംഭാഷണത്തിൽ രണ്ട് സെക്കൻഡ് നിശ്ശബ്ദത കോൾ കട്ടായതുപോലെ തോന്നും. അതിനാൽ ഉദ്യോഗാർത്ഥികൾക്ക് സ്വാഭാവികമായി തോന്നുന്ന ഒരു AI ഇന്റർവ്യൂവർ നിർമ്മിക്കുക എന്നത് പ്രധാനമായും ലേറ്റൻസി കുറയ്ക്കുന്ന ജോലിയാണ് — അതേസമയം സെൻസിറ്റീവ് ഓഡിയോ നിങ്ങളുടെ നിയന്ത്രണത്തിലുള്ള ഇൻഫ്രാസ്ട്രക്ചറിനുള്ളിൽ തന്നെ സൂക്ഷിക്കുകയും വേണം.

എന്തുകൊണ്ട് LiveKit സെൽഫ്-ഹോസ്റ്റ് ചെയ്യണം?

LiveKit ഒരു ഓപ്പൺ-സോഴ്സ് WebRTC മീഡിയ സെർവറാണ്. ഇത് സ്വയം ഹോസ്റ്റ് ചെയ്യുമ്പോൾ ഉദ്യോഗാർത്ഥിയുടെ ഓഡിയോയും വീഡിയോയും ഒരു തേർഡ്-പാർട്ടി മീഡിയ ക്ലൗഡിലൂടെ കടന്നുപോകുന്നില്ല, ഡാറ്റാ സെന്റർ റീജിയൻ നിങ്ങൾക്ക് തിരഞ്ഞെടുക്കാം, ഒരു SaaS ടൂളിനെ തടയുമായിരുന്ന പ്രൈവസി റിവ്യൂകൾ എളുപ്പത്തിൽ പാസാകാം. വലിയ തോതിൽ ഉപയോഗിക്കുമ്പോൾ മിനിറ്റിനുള്ള മീഡിയ ഫീസും ഒഴിവാകും.

പൈപ്പ്‌ലൈൻ

1. റൂം: ഉദ്യോഗാർത്ഥി ബ്രൗസറിൽ നിന്ന് നേരിട്ട് ഒരു LiveKit റൂമിൽ ചേരുന്നു — ഇൻസ്റ്റാൾ ആവശ്യമില്ല.
2. ഏജന്റ്: ഒരു സെർവർ-സൈഡ് ഏജന്റ് അതേ റൂമിൽ ഒരു പങ്കാളിയായി ചേർന്ന് ഉദ്യോഗാർത്ഥിയുടെ ഓഡിയോ ട്രാക്ക് സബ്സ്ക്രൈബ് ചെയ്യുന്നു.
3. കേൾക്കൽ: ഉദ്യോഗാർത്ഥി സംസാരിച്ചുകൊണ്ടിരിക്കുമ്പോൾ തന്നെ സ്ട്രീമിംഗ് സ്പീച്ച്-ടു-ടെക്സ്റ്റ് ഭാഗിക ട്രാൻസ്ക്രിപ്റ്റുകൾ തയ്യാറാക്കുന്നു; അവർ സംസാരിച്ചു തീർന്നോ എന്ന് വോയ്സ്-ആക്ടിവിറ്റി ഡിറ്റക്ഷൻ തീരുമാനിക്കുന്നു.
4. ചിന്തിക്കൽ: ട്രാൻസ്ക്രിപ്റ്റും റോൾ റൂബ്രിക്കും സംഭാഷണത്തിന്റെ നിലവിലെ അവസ്ഥയും LLM-ന് ലഭിക്കുന്നു, അത് അടുത്ത ചോദ്യം സ്ട്രീം ചെയ്ത് നൽകുന്നു.
5. സംസാരിക്കൽ: മുഴുവൻ വാചകം തയ്യാറാകുന്നതിന് മുമ്പുതന്നെ സ്ട്രീമിംഗ് ടെക്സ്റ്റ്-ടു-സ്പീച്ച് ആദ്യ വാക്കുകൾ പ്ലേ ചെയ്തു തുടങ്ങുന്നു.

മില്ലിസെക്കൻഡുകൾ എവിടെ പോകുന്നു

എൻഡ്-ഓഫ്-ടേൺ ഡിറ്റക്ഷൻ, മോഡലിൽ നിന്നുള്ള ആദ്യ ടോക്കൺ, സ്പീച്ച് സിന്തസിസിൽ നിന്നുള്ള ആദ്യ ഓഡിയോ ബൈറ്റ് — ഇവയാണ് അനുഭവപ്പെടുന്ന ലേറ്റൻസിയുടെ പ്രധാന ഭാഗം. ഓരോ ഭാഷയ്ക്കും അനുസരിച്ച് ടേൺ ഡിറ്റക്ഷൻ ട്യൂൺ ചെയ്യുന്നു, പ്രോംപ്റ്റുകൾ ചെറുതും കാഷെ-ഫ്രണ്ട്‌ലിയുമായി സൂക്ഷിക്കുന്നു, ഓരോ ഘട്ടവും ക്യൂവിൽ കാത്തുനിൽക്കാതെ ഒന്നിനൊന്ന് ഓവർലാപ്പ് ചെയ്യുന്ന രീതിയിൽ സ്ട്രീം ചെയ്യുന്നു.

നീതിയുക്തവും ഓഡിറ്റ് ചെയ്യാവുന്നതും

ഓരോ ചോദ്യവും ഒരു ഘടനാപരമായ റൂബ്രിക്കിൽ അധിഷ്ഠിതമാണ്, ഓരോ സ്കോറും അതിനെ ന്യായീകരിക്കുന്ന ട്രാൻസ്ക്രിപ്റ്റ് ഭാഗം ഉദ്ധരിക്കുന്നു, റെക്കോർഡിംഗുകൾ മനുഷ്യ പരിശോധനയ്ക്കായി സൂക്ഷിക്കുന്നു. AI സ്ക്രീൻ ചെയ്യുകയും രേഖപ്പെടുത്തുകയും ചെയ്യുന്നു; തീരുമാനം എടുക്കുന്നത് മനുഷ്യരാണ്.

പ്രൊഡക്ഷനിൽ പ്രവർത്തിപ്പിക്കൽ

LiveKit, ഏജന്റ് വർക്കറുകൾ, ആപ്ലിക്കേഷൻ എന്നിവ Nginx-ന് പിന്നിൽ പ്രവർത്തിക്കുന്നു — നിയന്ത്രിത നെറ്റ്‌വർക്കുകൾക്കായി TURN, ഇന്റർവ്യൂ തിരക്കുകൾക്കായി ഹൊറിസോണ്ടൽ ഏജന്റ് സ്കെയിലിംഗ്, ടേൺ ലേറ്റൻസിയിൽ ഒബ്സർവബിലിറ്റി എന്നിവയോടെ. അതിനാൽ ഉദ്യോഗാർത്ഥികൾ ശ്രദ്ധിക്കുന്നതിന് മുമ്പുതന്നെ പ്രശ്നങ്ങൾ കണ്ടെത്താനാകും.