एआई और बिग डेटा एक्सपो यूरोप से पहले, एआई न्यूज ने सीनियर सॉल्यूशंस आर्किटेक्ट इवो एवर्ट्स से मुलाकात की डेटाब्रिक्सओपन-सोर्स एआई और डेटा गवर्नेंस के भविष्य को आकार देने के लिए निर्धारित कई प्रमुख विकासों पर चर्चा करने के लिए।
डेटाब्रिक्स की उल्लेखनीय उपलब्धियों में से एक डीबीआरएक्स मॉडल है, जिसने ओपन लार्ज लैंग्वेज मॉडल (एलएलएम) के लिए एक नया मानक स्थापित किया है।
एवर्ट्स बताते हैं, “रिलीज होने पर, डीबीआरएक्स ने मानक बेंचमार्क पर अन्य सभी प्रमुख ओपन मॉडलों से बेहतर प्रदर्शन किया और लामा2-70बी जैसे मॉडलों की तुलना में 2 गुना तेज अनुमान लगाया।” “विभिन्न प्रकार की तकनीकी प्रगति के कारण इसे अधिक कुशलता से प्रशिक्षित किया गया।
“गुणवत्ता के दृष्टिकोण से, हमारा मानना है कि डीबीआरएक्स सबसे अच्छे ओपन-सोर्स मॉडल में से एक है और जब हम ‘सर्वश्रेष्ठ’ का उल्लेख करते हैं तो इसका मतलब भाषा समझ (एमएमएलयू), प्रोग्रामिंग (ह्यूमनएवल) सहित उद्योग बेंचमार्क की एक विस्तृत श्रृंखला है। और गणित (GSM8K)।”
ओपन-सोर्स एआई मॉडल का लक्ष्य “कुछ मुट्ठी भर मॉडल प्रदाताओं से परे कस्टम एलएलएम के प्रशिक्षण का लोकतंत्रीकरण करना और संगठनों को यह दिखाना है कि वे लागत प्रभावी तरीके से अपने डेटा पर विश्व स्तरीय एलएलएम को प्रशिक्षित कर सकते हैं।”
खुले पारिस्थितिकी तंत्र के प्रति अपनी प्रतिबद्धता के अनुरूप, डेटाब्रिक्स ने भी ओपन-सोर्स किया है एकता सूची.
एवर्ट्स नोट करते हैं, “ओपन-सोर्सिंग यूनिटी कैटलॉग क्लाउड प्लेटफ़ॉर्म (उदाहरण के लिए, एडब्ल्यूएस, एज़्योर) और ऑन-प्रिमाइस इन्फ्रास्ट्रक्चर में अपनी स्वीकार्यता को बढ़ाता है।” “यह लचीलापन संगठनों को डेटा प्रशासन नीतियों को समान रूप से लागू करने की अनुमति देता है, भले ही डेटा कहाँ संग्रहीत या संसाधित किया गया हो।”
यूनिटी कैटलॉग विभिन्न विशेषताओं के माध्यम से डेटा फैलाव और असंगत पहुंच नियंत्रण की चुनौतियों का समाधान करता है:
- केंद्रीकृत डेटा एक्सेस प्रबंधन: एवर्ट्स का कहना है, “यूनिटी कैटलॉग डेटा परिसंपत्तियों के प्रशासन को केंद्रीकृत करता है, जिससे संगठनों को एकीकृत तरीके से एक्सेस नियंत्रण प्रबंधित करने की अनुमति मिलती है।”
- भूमिका-आधारित अभिगम नियंत्रण (आरबीएसी): एवर्ट्स के अनुसार, यूनिटी कैटलॉग “भूमिका-आधारित एक्सेस कंट्रोल (आरबीएसी) लागू करता है, जो संगठनों को उपयोगकर्ता प्रोफाइल के आधार पर भूमिकाएं और अनुमतियां आवंटित करने की इजाजत देता है।”
- डेटा वंशावली और ऑडिटिंग: एवर्ट्स बताते हैं, “यह सुविधा संगठनों को डेटा उपयोग और निर्भरता की निगरानी करने में मदद करती है, जिससे अनावश्यक या पुराने डेटा की पहचान करना और उसे खत्म करना आसान हो जाता है।” उन्होंने आगे कहा कि यह “डेटा सुरक्षा नीतियों के अनुपालन को सुनिश्चित करने के लिए एक विस्तृत ऑडिट ट्रेल प्रदान करते हुए, सभी डेटा एक्सेस और परिवर्तनों को भी लॉग करता है।”
- क्रॉस-क्लाउड और हाइब्रिड समर्थन: एवर्ट्स बताते हैं कि यूनिटी कैटलॉग को “मल्टी-क्लाउड और हाइब्रिड वातावरण में डेटा गवर्नेंस को प्रबंधित करने के लिए डिज़ाइन किया गया है” और “यह सुनिश्चित करता है कि डेटा समान रूप से नियंत्रित हो, चाहे वह कहीं भी हो।”
कंपनी ने पेश किया है डेटाब्रिक्स एआई/बीआईएक नया बिजनेस इंटेलिजेंस उत्पाद जो डेटा अन्वेषण और विज़ुअलाइज़ेशन को बढ़ाने के लिए जेनरेटिव एआई का लाभ उठाता है। एवर्ट्स का मानना है कि “वास्तव में बुद्धिमान बीआई समाधान को व्यावसायिक उपयोगकर्ताओं के प्रश्नों का प्रभावी ढंग से उत्तर देने के लिए व्यवसाय के अद्वितीय शब्दार्थ और बारीकियों को समझने की आवश्यकता है।”
AI/BI प्रणाली में दो प्रमुख घटक शामिल हैं:
- डैशबोर्ड: एवर्ट्स ने इसे “तेज़, इंटरैक्टिव डैशबोर्ड बनाने और वितरित करने के लिए एक एआई-संचालित, कम-कोड इंटरफ़ेस” के रूप में वर्णित किया है। इनमें “अतिरिक्त प्रबंधन सेवाओं की आवश्यकता के बिना विज़ुअलाइज़ेशन, क्रॉस-फ़िल्टरिंग और आवधिक रिपोर्ट जैसी मानक बीआई सुविधाएँ शामिल हैं।”
- जिन्न: एवर्ट्स इसे “प्राकृतिक भाषा के माध्यम से तदर्थ और अनुवर्ती प्रश्नों को संबोधित करने के लिए एक संवादात्मक इंटरफ़ेस” के रूप में समझाते हैं। वह कहते हैं कि यह “उपयोगकर्ता के प्रश्नों के जवाब में अनुकूली विज़ुअलाइज़ेशन और सुझाव उत्पन्न करने के लिए अंतर्निहित डेटा से सीखता है, फीडबैक के माध्यम से समय के साथ सुधार करता है और विश्लेषकों को अपने आउटपुट को परिष्कृत करने के लिए टूल प्रदान करता है।”
एवर्ट्स का कहना है कि डेटाब्रिक्स एआई/बीआई को “आपके डेटा के शब्दार्थ की गहरी समझ प्रदान करने, एक संगठन में सभी के लिए स्वयं-सेवा डेटा विश्लेषण को सक्षम करने” के लिए डिज़ाइन किया गया है। उन्होंने कहा कि यह “एक मिश्रित एआई सिस्टम द्वारा संचालित है जो ईटीएल पाइपलाइनों, वंशावली और अन्य प्रश्नों सहित संगठन के संपूर्ण डेटा स्टैक में उपयोग से लगातार सीखता है।”
डेटाब्रिक्स का भी अनावरण किया गया मोज़ेक ए.आईजिसे एवर्ट्स ने “मशीन लर्निंग और जेनेरिक एआई अनुप्रयोगों के निर्माण, तैनाती और प्रबंधन के लिए एक व्यापक मंच के रूप में वर्णित किया है, जो बेहतर प्रदर्शन और प्रशासन के लिए एंटरप्राइज़ डेटा को एकीकृत करता है।”
मोज़ेक एआई कई प्रमुख घटक प्रदान करता है, जिन्हें एवर्ट्स रेखांकित करता है:
- एकीकृत टूलींग: “एआई और एमएल समाधानों के निर्माण, तैनाती, मूल्यांकन और संचालन के लिए उपकरण प्रदान करता है, पूर्वानुमानित मॉडल और जेनरेटिव एआई अनुप्रयोगों का समर्थन करता है।”
- जनरेटिव एआई पैटर्न: “त्वरित इंजीनियरिंग, पुनर्प्राप्ति संवर्धित पीढ़ी (आरएजी), फाइन-ट्यूनिंग और पूर्व-प्रशिक्षण का समर्थन करता है, जो व्यवसाय की जरूरतों के अनुसार लचीलापन प्रदान करता है।”
- केंद्रीकृत मॉडल प्रबंधन: “मॉडल सर्विंग कस्टम एमएल मॉडल और फाउंडेशन मॉडल सहित एआई मॉडल की केंद्रीकृत तैनाती, प्रशासन और क्वेरी की अनुमति देता है।”
- निगरानी और शासन: “लेकहाउस मॉनिटरिंग और यूनिटी कैटलॉग एआई जीवनचक्र में व्यापक निगरानी, प्रशासन और वंशावली ट्रैकिंग सुनिश्चित करते हैं।”
- लागत प्रभावी कस्टम एलएलएम: “विशिष्ट संगठनात्मक डोमेन के अनुरूप, काफी कम लागत पर कस्टम बड़े भाषा मॉडल को प्रशिक्षित करने और परोसने में सक्षम बनाता है।”
एवर्ट्स इस बात पर प्रकाश डालते हैं कि मोज़ेक एआई के फ़ाइन-ट्यूनिंग और फ़ाउंडेशन मॉडल को अनुकूलित करने के दृष्टिकोण में “क्लस्टर बेस मॉडल कैशिंग का उपयोग करके”, “लाइव प्रॉम्प्ट मूल्यांकन” द्वारा “तेज़ स्टार्टअप समय” जैसी अनूठी विशेषताएं शामिल हैं, जहां उपयोगकर्ता “ट्रैक कर सकते हैं कि मॉडल की प्रतिक्रियाएं कैसे बदलती हैं” प्रशिक्षण प्रक्रिया,” और “कस्टम पूर्व-प्रशिक्षित चौकियों” के लिए समर्थन।
इन नवप्रवर्तनों के मूल में यही निहित है डेटा इंटेलिजेंस प्लेटफ़ॉर्मजो एवर्ट्स का कहना है, “एंटरप्राइज़ डेटा के शब्दार्थ में गहरी अंतर्दृष्टि प्राप्त करने के लिए एआई मॉडल का उपयोग करके डेटा प्रबंधन को बदल देता है।” प्लेटफ़ॉर्म डेटा लेक और डेटा वेयरहाउस की सुविधाओं को जोड़ता है, वास्तविक समय डेटा प्रोसेसिंग के लिए डेल्टा लेक तकनीक का उपयोग करता है, और संगठनात्मक सीमाओं के पार सुरक्षित डेटा विनिमय के लिए डेल्टा शेयरिंग को शामिल करता है।
एवर्ट्स बताते हैं कि डेटा इंटेलिजेंस प्लेटफ़ॉर्म नई एआई और डेटा-शेयरिंग पहल का समर्थन करने में महत्वपूर्ण भूमिका निभाता है:
- एक एकीकृत डेटा और एआई प्लेटफ़ॉर्म यह “डेटा झीलों और डेटा वेयरहाउस की विशेषताओं को एक एकल वास्तुकला में जोड़ता है।”
- वास्तविक समय डेटा प्रोसेसिंग के लिए डेल्टा लेक“विश्वसनीय डेटा प्रशासन, ACID लेनदेन और वास्तविक समय डेटा प्रोसेसिंग” सुनिश्चित करना।
- सहयोग और डेटा साझाकरण डेल्टा शेयरिंग के माध्यम से, “संगठनात्मक सीमाओं के पार सुरक्षित और खुला डेटा साझाकरण” सक्षम करना।
- मशीन लर्निंग और एआई मॉडल विकास के लिए एकीकृत समर्थन MLflow, PyTorch, और TensorFlow जैसी लोकप्रिय लाइब्रेरी के साथ।
- स्केलेबिलिटी और प्रदर्शन अपने क्लाउड-नेटिव आर्किटेक्चर और फोटॉन इंजन के माध्यम से, “एक अनुकूलित क्वेरी निष्पादन इंजन।”
के प्रमुख प्रायोजक के रूप में एआई और बिग डेटा एक्सपो यूरोपडेटाब्रिक्स ने इवेंट के दौरान अपने ओपन-सोर्स एआई और डेटा गवर्नेंस समाधान प्रदर्शित करने की योजना बनाई है।
“हमारे स्टैंड पर, हम यह भी दिखाएंगे कि कैसे बनाएं और तैनात करें – लेकहाउस ऐप्स के साथ – हगिंग फेस के ओपन-सोर्स मॉडल और यूनिटी कैटलॉग के डेटा का उपयोग करके स्क्रैच से एक कस्टम जेनएआई ऐप,” एवर्ट्स कहते हैं।
“हमारे GenAI ऐप से आप अपना खुद का कार्टून चित्र बना सकते हैं, यह सब डेटा इंटेलिजेंस प्लेटफ़ॉर्म पर चल रहा है।”
डेटाब्रिक्स इस वर्ष में वे अपनी और अधिक विशेषज्ञता साझा करेंगे एआई और बिग डेटा एक्सपो यूरोप. ओपन एआई और डेटा गवर्नेंस में सुधार के बारे में अधिक सुनने के लिए स्टैंड #280 पर डेटाब्रिक्स के बूथ पर जाएं।
TechForge द्वारा संचालित अन्य आगामी उद्यम प्रौद्योगिकी कार्यक्रमों और वेबिनार का अन्वेषण करें यहाँ.
पोस्ट इवो एवर्ट्स, डेटाब्रिक्स: ओपन-सोर्स एआई को बढ़ाना और डेटा गवर्नेंस में सुधार करना पहली बार एआई न्यूज़ पर दिखाई दिया।