LiveKit দিয়ে AI ইন্টারভিউয়ার সেলফ-হোস্ট করা: আর্কিটেকচার

একটা টেক্সট চ্যাটবট উত্তর দিতে দুই সেকেন্ড নিলে কেউ কিছু মনে করে না। কিন্তু ভয়েস কথোপকথনে দুই সেকেন্ডের বিরতি মনে হয় যেন লাইন কেটে গেছে। তাই প্রার্থীদের কাছে স্বাভাবিক লাগে এমন AI ইন্টারভিউয়ার বানানো মূলত লেটেন্সি কমানোর কাজ — আর সেই সঙ্গে সংবেদনশীল অডিও আপনার নিয়ন্ত্রণাধীন ইনফ্রাস্ট্রাকচারের ভেতরেই রাখা।

কেন LiveKit সেলফ-হোস্ট করবেন?

LiveKit একটি ওপেন-সোর্স WebRTC মিডিয়া সার্ভার। নিজে হোস্ট করলে প্রার্থীর অডিও ও ভিডিও কখনও কোনো থার্ড-পার্টি মিডিয়া ক্লাউডের মধ্য দিয়ে যায় না, ডেটা-সেন্টারের রিজিয়ন আপনি নিজেই বেছে নেন, এবং এমন প্রাইভেসি রিভিউও পার করতে পারেন যেখানে কোনো SaaS টুল আটকে যেত। বড় ভলিউমে প্রতি-মিনিট মিডিয়া ফি-ও আর লাগে না।

পাইপলাইন

1. রুম: প্রার্থী ব্রাউজার থেকেই একটি LiveKit রুমে যোগ দেন — কিছু ইনস্টল করতে হয় না।
2. এজেন্ট: একটি সার্ভার-সাইড এজেন্ট অংশগ্রহণকারী হিসেবে একই রুমে যোগ দেয় এবং প্রার্থীর অডিও ট্র্যাক সাবস্ক্রাইব করে।
3. শোনা: প্রার্থী কথা বলার সময়েই স্ট্রিমিং স্পিচ-টু-টেক্সট আংশিক ট্রান্সক্রিপ্ট তৈরি করে; ভয়েস-অ্যাক্টিভিটি ডিটেকশন ঠিক করে কখন তাঁর কথা শেষ হয়েছে।
4. ভাবা: LLM ট্রান্সক্রিপ্টের সঙ্গে রোলের রুব্রিক ও কথোপকথনের অবস্থা পায়, এবং পরের প্রশ্নটি স্ট্রিম করে ফেরত পাঠায়।
5. বলা: পুরো বাক্য তৈরি হওয়ার আগেই স্ট্রিমিং টেক্সট-টু-স্পিচ প্রথম শব্দগুলো বাজাতে শুরু করে।

মিলিসেকেন্ডগুলো কোথায় যায়

কথা শেষ হওয়ার ডিটেকশন, মডেলের প্রথম টোকেন এবং স্পিচ সিন্থেসিসের প্রথম অডিও বাইট — এগুলোই অনুভূত লেটেন্সির বড় অংশ। আমরা প্রতিটি ভাষার জন্য টার্ন ডিটেকশন টিউন করি, প্রম্পট ছোট ও ক্যাশ-ফ্রেন্ডলি রাখি, এবং প্রতিটি ধাপ স্ট্রিম করি যাতে সেগুলো লাইনে অপেক্ষা না করে একসঙ্গে চলে।

ন্যায্য ও অডিটযোগ্য রাখা

প্রতিটি প্রশ্ন একটি কাঠামোবদ্ধ রুব্রিকের সঙ্গে যুক্ত, প্রতিটি স্কোর ট্রান্সক্রিপ্টের সেই মুহূর্তটি উল্লেখ করে যা তার যৌক্তিকতা প্রমাণ করে, এবং মানুষের রিভিউয়ের জন্য রেকর্ডিং সংরক্ষিত থাকে। AI স্ক্রিন করে ও ডকুমেন্ট করে; সিদ্ধান্ত নেন মানুষ।

প্রোডাকশনে চালানো

LiveKit, এজেন্ট ওয়ার্কার এবং অ্যাপ্লিকেশন চলে Nginx-এর পেছনে — কড়া নেটওয়ার্কের জন্য TURN, ইন্টারভিউয়ের চাপ সামলাতে এজেন্টের হরাইজন্টাল স্কেলিং, এবং টার্ন লেটেন্সির ওপর অবজার্ভেবিলিটি, যাতে প্রার্থীরা টের পাওয়ার আগেই যেকোনো রিগ্রেশন ধরা পড়ে।