∞सीधा उत्तर
सीधा उत्तर
स्टार्टअप के एआई उत्पाद के अंकों के पीछे का सबूत माँगें। देखें कि किन मामलों से मॉडल को सिखाया गया। देखें कि किन मामलों से बदलाव तय हुए। जाँचें कि अंतिम टेस्ट के मामले इन कदमों में नहीं आए। अगर टेस्ट के जवाब बदलाव तय करते हैं, तो अंतिम टेस्ट स्वतंत्र नहीं है। [1] [2] एक तकनीकी जाँचकर्ता का नाम तय करें। उनसे अलग रखे नए मामलों की जाँच कराएँ। ट्रेनिंग डेटा का पता न हो, तो उसे अज्ञात लिखें। ऊँचे अंक अच्छी निवेश संभावना का सबूत नहीं हैं।
अंकों के हर दावे को उसके टेस्ट से जोड़ें
ड्यू डिलिजेंस का मतलब निवेश से पहले की जाँच है। यह गाइड स्टार्टअप के एआई उत्पाद की जाँच करती है। यह आपके शोध के साधन की जाँच नहीं है। इसे प्री-सीड से सीरीज़ ए तक इस्तेमाल करें। शुरुआत उसके निवेश प्रस्ताव में किए गए सही-सही दावे से करें। पूछें कि इन अंकों से उपयोगकर्ता का कौन-सा काम जाँचा गया।
दावे को टेस्ट से जोड़ने वाला सबूतों का पैक बनाएँ। इसमें उस दावे का समर्थन करने वाली फाइलें हों। काम और प्रॉम्प्ट का पूरा पाठ रखें। प्रॉम्प्ट वह पाठ है जो मॉडल को निर्देश देता है। मॉडल और उत्पाद के कोड का संस्करण जोड़ें। टेस्ट की तारीख भी जोड़ें। लिखें कि उत्पाद किन स्रोत फाइलों और साधनों का इस्तेमाल कर सकता था।
अंक देने वाले व्यक्ति या साधन का नाम लिखें। उसी ने जवाबों को परखा है। पास होने के नियम और अंक दिए गए सभी मामलों की गिनती रखें। पास होने की दर निकालते समय इसी कुल गिनती से भाग देते हैं। इसे हर कहते हैं। असफल कॉल, छोड़े गए मामले और उनके कारण भी दिखाएँ। मॉडल कार्ड, मॉडल के टेस्ट, उपयोग और सीमाओं का ब्यौरा देते हैं। [4]
- दावा और उपयोगकर्ता का काम, सिर्फ मॉडल के सामान्य अंक नहीं।
- पूरा प्रॉम्प्ट, मॉडल और कोड के संस्करण, फाइलें और तारीख।
- अंक देने वाला, पास होने के नियम, कुल मामले और हटाए गए मामले।
ट्रेनिंग, ट्यूनिंग और अंतिम टेस्ट को अलग समझें
टीम से मामलों के हर समूह की पहचान बताने को कहें। ट्रेनिंग के मामले मॉडल को सिखाते हैं। ट्यूनिंग के मामले मॉडल या प्रॉम्प्ट के बदलाव चुनने में मदद करते हैं। अंतिम टेस्ट के मामले चुने गए संस्करण को जाँचते हैं। उनसे उस संस्करण के बदलाव तय न करें। Google इन भूमिकाओं को समझाता है। [2] तारीख वाले रिकॉर्ड माँगें, सिर्फ फोल्डर के नाम नहीं।
टेस्ट डेटा का रिसाव यानी टेस्ट के संकेत मॉडल बनाते समय पहुँच गए। इन संकेतों में जवाब भी हो सकते हैं। इससे नए काम के लिए अंक असल से बेहतर दिख सकते हैं। यह गलती हो सकती है, सुरक्षा में सेंध होना ज़रूरी नहीं। डेटा साफ करने के कदम भी टेस्ट के संकेत अंदर ला सकते हैं। [1]
पूछें कि टीम ने खुद क्या सिखाया या बदला। पूछें कि बाहरी मॉडल कंपनी अपनी ट्रेनिंग के बारे में क्या कहती है। अगर उन ट्रेनिंग फाइलों का पता नहीं है, तो अज्ञात लिखें। टीम की फाइलों की जाँच बाहरी फाइलों को रिसाव से मुक्त साबित नहीं करती। अंकों के साथ यह सीमा भी दिखाएँ।
- ट्रेनिंग, ट्यूनिंग और अंतिम टेस्ट के मामलों के तारीख वाले रिकॉर्ड।
- प्रॉम्प्ट के बदलाव, मॉडल का चुनाव और डेटा तैयार करने के कदम।
- स्टार्टअप का ज्ञात डेटा और बाहरी ट्रेनिंग की अज्ञात सामग्री।
असली काम के अनुसार मामलों को बाँटें
डेटा बाँटने का मतलब मामलों के अलग काम वाले समूह बनाना है। तरीका उस काम के लिए चुनें जिसे हल करने का दावा है। Google कहता है कि टेस्ट के मामले असली काम जैसे होने चाहिए। वह हर समूह के लिए तय हिस्सा नहीं देता। [2] बिना क्रम के बाँटना हर काम के लिए सही नहीं है।
अगर दावा नए ग्राहकों के बारे में है, तो हर ग्राहक के मामले साथ रखें। बहुत मिलती-जुलती प्रतियाँ ट्रेनिंग और अंतिम टेस्ट में अलग-अलग न डालें। इसे समूह के आधार पर बाँटना कहते हैं। यह उन समूहों पर काम जाँचता है जो ट्रेनिंग में नहीं थे। scikit-learn बताता है कि जुड़े मामलों में यह ध्यान क्यों चाहिए। [3]
अगर काम बाद की घटनाओं का अनुमान लगाता है, तो समय के आधार पर बाँटें। पुराने डेटा से बनाएँ और बाद के मामलों पर टेस्ट करें। भविष्य के तथ्य उत्पाद को दी जाने वाली जानकारी में न आने दें। scikit-learn चेतावनी देता है कि समय से जुड़े डेटा को बिना क्रम के बाँटना गुमराह कर सकता है। [3] तकनीकी प्रमुख से पूछें कि चुना तरीका काम के लिए सही क्यों है।
- नए ग्राहकों का दावा: जहाँ ज़रूरी हो, पूरे ग्राहक समूह अलग रखें।
- भविष्य की घटनाओं का दावा: बनाने के लिए पुराना डेटा, टेस्ट के लिए बाद के मामले।
- काम से मेल: बाँटने का तरीका और उससे क्या नहीं जाँचा जा सकता, समझाएँ।
नतीजों पर भरोसे से पहले दोहराए गए मामले खोजें
मामलों के समूहों के बीच दोहराव की जाँच माँगें। दोहराव यानी वही मामला एक से अधिक समूह में है। हूबहू प्रतियाँ और उसी मामले के थोड़े बदले हुए रूप खोजें। Google चेतावनी देता है कि टेस्ट में ट्रेनिंग की प्रतियाँ होने से टेस्ट निष्पक्ष नहीं रहता। [2] जाँच का तरीका रखें। यह भी लिखें कि वह किन फाइलों को देख सकता था।
यह एक काल्पनिक उदाहरण है, किसी असली स्टार्टअप का नतीजा नहीं। एक उत्पाद के टेस्ट में 100 मामलों को अंक मिले। तकनीकी प्रमुख को ट्रेनिंग के मामलों की 20 प्रतियाँ मिलती हैं। यह 20% दोहराव है: 20 को 100 से भाग देकर, 100 से गुणा करें। यह प्रतियों की गिनती है, पास होने की नई दर नहीं।
उन नतीजों को हटाकर बाकी को साफ न कहें। इससे यह नहीं दिखता कि टेस्ट ट्यूनिंग से अलग रहा। बाँटने का तरीका ठीक करें। नए मामलों पर नए अंक पाएँ। उन मामलों को ट्रेनिंग और ट्यूनिंग से बाहर रखें। लिखें कि जाँच किन डेटा तक नहीं पहुँच सकी।
- हूबहू प्रतियाँ, थोड़े बदले हुए रूप और साझा स्रोत रिकॉर्ड।
- जाँच का तरीका, उसमें शामिल डेटा और बिना जाँचा डेटा।
- नया टेस्ट ज़रूरी है; पास होने की दर में बाद में काट-छाँट न करें।
तय जाँचकर्ता के साथ नया टेस्ट करें
होल्डआउट वह समूह है जिसे बनाने और ट्यूनिंग से अलग रखा जाता है। एक तकनीकी जाँचकर्ता का नाम तय करें। उनसे नए होल्डआउट मामलों की देखरेख कराएँ। उस व्यक्ति को काम और उसकी जाँच का तरीका आना चाहिए। सिर्फ वे फाइलें इस्तेमाल करें जिनके टेस्ट का हक टीम के पास है। मामलों और जवाबों को सुरक्षित रखें। किसे पहुँच मिलेगी, इसके नियम साफ हों।
टेस्ट से पहले उत्पाद, प्रॉम्प्ट और पास होने के नियम तय कर दें। टेस्ट के दौरान इन्हें न बदलें। सही जवाबों की सूची उत्पाद को दी जाने वाली जानकारी से बाहर रखें। स्रोत फाइलें तभी दें जब असली काम में उनकी अनुमति हो। सामान्य मामले, कठिन मामले और अधूरी जानकारी वाले मामले शामिल करें। इस काम के लिए पास होने के नियम तय करें। सभी कामों के लिए एक ही अंक न रखें।
हर जवाब और उसके अंक रखें, सिर्फ सबसे अच्छा प्रयास नहीं। विवाद वाले अंक हाथ से जाँचें। एआई के दिए अंक भी जाँचें। अगर अंतिम नतीजे बदलाव तय करते हैं, तो वे मामले ट्यूनिंग डेटा बन जाते हैं। वे अब स्वतंत्र अंतिम टेस्ट नहीं कहलाते। Google चेतावनी देता है कि बार-बार इस्तेमाल से टेस्ट समूहों की जाँच क्षमता घट सकती है। [2]
- तय जाँचकर्ता, नए होल्डआउट मामले और सुरक्षित सही जवाबों की सूची।
- उत्पाद का तय संस्करण, तय प्रॉम्प्ट, अनुमत जानकारी और अंक देने वाला।
- सभी जवाब, अंकों पर विवाद और टेस्ट के बाद कोई भी बदलाव।
नाकामियाँ और कारोबार के सबूत सामने रखें
मुख्य अंकों के साथ असफल मामले भी देखने को कहें। लिखें कि किन कामों और भाषाओं को नहीं जाँचा गया। बताएँ कि उत्पाद जवाब न दे पाए तो क्या होता है। Google कहता है कि मॉडल कार्ड में उपयोग और सीमाएँ दिखनी चाहिए। कमज़ोर हिस्से भी दिखने चाहिए। [4] औसत के भीतर कोई बड़ी खामी न छिपाएँ।
दावा, तारीख वाले सबूत और खुली कमी साथ रखें। तकनीकी प्रमुख का नाम और अगला ज़रूरी टेस्ट जोड़ें। टेस्ट रिकॉर्ड का न मिलना धोखाधड़ी साबित नहीं करता। दावे पर लिखें कि उसकी जाँच अभी नहीं हुई है। अगर एआई पैक पढ़ने में मदद करे, तो सिर्फ मंज़ूर फाइलें दें। फैसले की ज़िम्मेदारी किसी व्यक्ति के पास रखें।
अच्छा टेस्ट अपनी सीमा के भीतर उत्पाद के एक दावे को समर्थन देता है। वह माँग, कम लागत या बार-बार बिक्री साबित नहीं करता। कारोबार के उन दावों को उनके अपने सबूतों से जाँचें। वह स्टार्टअप को अच्छा निवेश भी साबित नहीं करता। कोई टेस्ट अंक भविष्य में धन जुटने या निवेश का लाभ मिलने का सबूत नहीं हैं।
- साफ दिखती नाकामियाँ, बिना जाँचे काम और अज्ञात ट्रेनिंग डेटा।
- दावा, सबूत, कमी, जाँचकर्ता और अगला टेस्ट।
- माँग, लागत और बिक्री के लिए अलग सबूत।
FAQ
अक्सर पूछे जाने वाले प्रश्न
क्या टेस्ट डेटा का रिसाव सुरक्षा में सेंध है?
अपने आप में नहीं। यहाँ टेस्ट के संकेत या जवाब मॉडल बनाते समय पहुँच गए। इससे अंक असल से बेहतर दिख सकते हैं। [1] सेंध अलग सवाल है: डेटा तक पहुँच या उसका खोना। अगर निजी डेटा बाहर गया हो सकता है, तो उसे भी जाँचें।
क्या निवेशक साबित कर सकता है कि बाहरी मॉडल ने मामले कभी नहीं देखे?
सिर्फ स्टार्टअप की फाइलों की जाँच से नहीं। मॉडल कंपनी की ट्रेनिंग फाइलें अज्ञात हो सकती हैं। यह साफ कहें। सुरक्षित रखे नए मामले उत्पाद के मौजूदा दावे को जाँचने में मदद करते हैं। वे पहले की सारी ट्रेनिंग सामग्री को रिसाव से मुक्त साबित नहीं करते।
अंतिम टेस्ट के लिए कितना डेटा अलग रखना चाहिए?
हर काम के लिए कोई तय हिस्सा नहीं है। Google प्रतिशत का कोई नियम नहीं देता। [2] तकनीकी प्रमुख से दावे को जाँचने के लिए पर्याप्त मामले माँगें। वे असली काम जैसे हों। जहाँ ज़रूरी हो, जुड़े मामले अलग रखें। छोटा टेस्ट अधिक संदेह छोड़ता है।
क्या टीम अंतिम टेस्ट के जवाबों से प्रॉम्प्ट बदल सकती है?
टीम उन मामलों से उत्पाद सुधार सकती है। पर वे तब ट्यूनिंग के मामले बन जाते हैं। वे साथ ही स्वतंत्र अंतिम टेस्ट नहीं बन सकते। नए दावे को अलग रखे नए मामलों पर जाँचें। टेस्ट से निर्देशित बार-बार के बदलाव अनदेखे काम के बारे में सबूत कमज़ोर करते हैं। [1] [2]
REF
स्रोत
- 1
- 2
- 3
- 4
