अगले कुछ हफ़्तों में, OpenAI O3 मिनी का अनावरण करने के लिए तैयार हैगणित, विज्ञान और कोडिंग में उन्नत तर्क क्षमताओं के साथ इसकी o3 श्रृंखला का छोटा संस्करण। सीईओ सैम ऑल्टमैन का दावा है कि मॉडल “बहुत अच्छा” है, जो संभावित रूप से चैटजीपीटी निर्माता की ओ1 श्रृंखला के प्रदर्शन को मात दे रहा है। कंपनी ने यह भी घोषणा की कि वह मॉडल के लिए एप्लिकेशन प्रोग्रामिंग इंटरफ़ेस (एपीआई) और चैटजीपीटी एक साथ लॉन्च करेगी।
हालाँकि AI मॉडल के बारे में विवरण कम हैं, रिपोर्ट से पता चलता है कि OpenAI ने गुप्त रूप से फ्रंटियरमैथ बेंचमार्किंग डेटा को वित्त पोषित किया और एक्सेस किया, जिससे इस बात पर चिंता बढ़ गई कि क्या कंपनी ने डेटा का उपयोग o3 को प्रशिक्षित करने के लिए किया था (के माध्यम से) खोज इंजन जर्नल). एआई मॉडल को बेंचमार्क की एक विस्तृत श्रृंखला में उच्च अंक प्राप्त हुए, लेकिन अगर बढ़ती चिंताओं को देखा जाए, तो साझा किए गए परिणाम मॉडल की वास्तविकता का निर्माण हो सकते हैं।
शायद अधिक चिंता की बात यह है कि ओपनएआई ने गुप्त रूप से फ्रंटियरमैथ के विकास को वित्त पोषित किया, जिससे गणितज्ञों को अंधेरे में रखा गया। कथित तौर पर एपोच एआई ने Arxiv.org पर प्रकाशित बेंचमार्क वाले अंतिम पेपर में गणितज्ञों को गुप्त फंडिंग के विवरण का खुलासा किया।
जैसा कि हाल ही में प्रकाश डाला गया है Reddit का r/singularity सबरेडिट:
“फ्रंटियर मैथ, हालिया अत्याधुनिक गणित बेंचमार्क, ओपनएआई द्वारा वित्त पोषित है। ओपनएआई के पास कथित तौर पर समस्याओं और समाधानों तक पहुंच है। यह निराशाजनक है क्योंकि बेंचमार्क को प्रसिद्ध लोगों के समर्थन के साथ फ्रंटियर मॉडल का मूल्यांकन करने के साधन के रूप में जनता को बेचा गया था। गणितज्ञ। वास्तव में, एपोच एआई ओपनएआई के लिए डेटासेट बना रहा है। उन्होंने पहले कभी ओपनएआई के साथ किसी भी संबंध का खुलासा नहीं किया।
इस संबंध में, फ्रंटियरमैथ परियोजना की वैधता प्रश्न में है। इसका उपयोग एआई मॉडल का परीक्षण करने के लिए किया जाना चाहिए, लेकिन यदि ओपनएआई के पास पहले से ही प्रश्न और उत्तर हैं, तो यह बात को मात देता है। इसे अन्य मॉडलों के तर्क और आउटपुट को मापने के लिए एक मानक के रूप में उपयोग नहीं किया जा सकता है, क्योंकि वे प्रतिस्पर्धी नुकसान में होंगे।
एक के अनुसार मीमी के शॉर्टफॉर्म पर पोस्ट करें फ्रंटियरमैथ परियोजना और ओपनएआई की भागीदारी के बारे में:
“फ्रंटियरमैथ के लिए समस्याएं पैदा करने वाले गणितज्ञों को ओपनएआई से फंडिंग के बारे में (सक्रिय रूप से) सूचित नहीं किया गया था। ठेकेदारों को अभ्यास और उनके समाधानों के बारे में सुरक्षित रहने का निर्देश दिया गया था, जिसमें ओवरलीफ या कोलाब का उपयोग न करना या समस्याओं के बारे में ईमेल न करना और एनडीए पर हस्ताक्षर करना शामिल था।” “यह सुनिश्चित करने के लिए कि प्रश्न गोपनीय रहें” और लीक से बचने के लिए ठेकेदारों को 20 दिसंबर को ओपनएआई फंडिंग के बारे में सूचित नहीं किया गया था। मेरा मानना है कि पेपर के नामित लेखक थे जिन्हें ओपनएआई फंडिंग के बारे में कोई जानकारी नहीं थी।
दिलचस्प बात यह है कि एपोच एआई के एसोसिएट डायरेक्टर टैमे बेसिरोग्लू प्रतीत होते हैं मंडित ऊपर हाइलाइट किए गए विवरण लेकिन दावा किया गया कि एक “होल्डआउट” था, जो संभावित रूप से दर्शाता है कि ओपनएआई के पास फ्रंटियरमैथ के डेटासेट तक असीमित पहुंच नहीं थी:
“प्रशिक्षण उपयोग के संबंध में: हम स्वीकार करते हैं कि ओपनएआई के पास फ्रंटियरमैथ समस्याओं और समाधानों के एक बड़े हिस्से तक पहुंच है, एक अनदेखी-बाय-ओपनएआई होल्ड-आउट सेट के अपवाद के साथ जो हमें मॉडल क्षमताओं को स्वतंत्र रूप से सत्यापित करने में सक्षम बनाता है। हालांकि, हमारे पास एक है मौखिक सहमति है कि इन सामग्रियों का उपयोग मॉडल प्रशिक्षण में नहीं किया जाएगा।
ओपनएआई एक अलग, अदृश्य होल्डआउट सेट बनाए रखने के हमारे फैसले का भी पूरी तरह से समर्थन करता रहा है – ओवरफिटिंग को रोकने और सटीक प्रगति माप सुनिश्चित करने के लिए एक अतिरिक्त सुरक्षा। पहले दिन से, फ्रंटियरमैथ की कल्पना की गई और उसे एक मूल्यांकन उपकरण के रूप में प्रस्तुत किया गया, और हमारा मानना है कि ये व्यवस्थाएं उस उद्देश्य को दर्शाती हैं।”
दूसरी ओर, एपोच एआई के प्रमुख गणितज्ञ इलियट ग्लेज़र का प्रतीत होता है अलग राय “ओएआई का स्कोर वैध है (यानी, उन्होंने डेटासेट पर प्रशिक्षण नहीं लिया) का हवाला देते हुए कहा कि आंतरिक बेंचमार्किंग प्रदर्शन के बारे में झूठ बोलने के लिए उनके पास कोई प्रोत्साहन नहीं है।” एपोच एआई ओपनएआई के ओ3 मॉडल का परीक्षण करने के लिए एक होल्ड-आउट डेटासेट विकसित कर रहा है, क्योंकि इसमें समस्याओं या समाधानों तक पहुंच नहीं होगी। ग्लेज़र ने कहा, “हालांकि, जब तक हमारा स्वतंत्र मूल्यांकन पूरा नहीं हो जाता, हम उनकी पुष्टि नहीं कर सकते।”