এআই এবং মেশিন লার্নিং প্রবর্তন
আমরা ভাগ করে নিতে পেরে গর্বিত যে আমরা আমাদের পরামর্শমূলক প্ল্যাটফর্মে প্রযুক্তি বৃদ্ধির জন্য অধ্যবসায়ের সাথে কাজ করছি। যুক্তরাজ্যের একটি মর্যাদাপূর্ণ বিশ্ববিদ্যালয়ের সাথে আমাদের সর্বশেষ কৌশলগত অংশীদারিত্বের ফলে একটি 2-বছরের প্রকল্প বাস্তবায়ন হয়েছে, যা শেষ পর্যন্ত আমাদের পণ্য বিশ্লেষণে কৃত্রিম বুদ্ধিমত্তা এবং মেশিন লার্নিং প্রবর্তন করে। আপনি নীচের প্রকল্প সম্পর্কে আরও তথ্য পেতে পারেন।
অক্টোবর 2022 প্রকৃত মূল্যের বিরুদ্ধে আমাদের বর্তমান মডেল দ্বারা মূল্য পূর্বাভাস
M.D.র একটি নোট
১৮০০-এর দশকে যখন তুলার উপর আমাদের ডেটা শুরু হয়েছিল, তখন ফিরে তাকালে, ঋতু এবং আবহাওয়া উচ্চতর শক্তির ফলাফল বলে মনে করা হত। একবিংশ শতাব্দীর দিকে এগিয়ে যান, আধুনিক বিজ্ঞান এবং তথ্য বিশ্বজুড়ে ছড়িয়ে পড়েছে এবং এর সাথে মনোভাববিকশিত হয়েছে। যা একসময় একটি রহস্যময় ঘটনা হিসাবে বিবেচিত হত তা এখন সাধারণত পদার্থবিজ্ঞান এবং গণিতে রাখা হয়। প্যাটার্নগুলি আমাদের চারপাশে প্রদর্শিত হয় এবং কম্পিউটিং শক্তি যেমন বৃদ্ধি পেয়েছে তেমনি এই নিদর্শনগুলি সনাক্ত এবং মডেল করার জন্য আমাদের ক্ষমতাও রয়েছে। সোশ্যাল মিডিয়া অ্যালগরিদমগুলি থেকে যা 'আপনার কথা শুনছে' বলে মনে হচ্ছে স্টক মার্কেট ট্রেডিং অ্যালগরিদমগুলিতে যা বিশ্বব্যাপী স্কেলে প্রবণতা বিশ্লেষণ করে। সমস্ত ঘটনা ইনপুট এবং কাছাকাছি-নির্দিষ্ট প্রতিক্রিয়াগুলিতে হ্রাস করার আগে এটি কেবল সময়ের ব্যাপার।
পণ্য বাজার এবং স্টক মার্কেট গ্রহের বৃহত্তম ডেটা প্রসেসর। তারা বিশ্বব্যাপী ঘটনা থেকে ব্যবসায়ীদের আবেগ থেকে ম্যাক্রো এবং মাইক্রো কারণগুলির আধিক্য থেকে তথ্য গ্রহণ করে এবং এই তথ্যটিকে একক মেট্রিকে হ্রাস করে: মূল্য। একটি পণ্য বা স্টকের মূল্য যুক্তি এবং নিদর্শন অনুসরণ করে। মূল্যের বিজ্ঞান হাজার হাজার বছর ধরে অধ্যয়ন করা হয়েছে এবং কেউ কেউ এটির ভবিষ্যদ্বাণী করার কাছাকাছি এসেছেন, তবে বেশিরভাগই পুরো চিত্রটি বোঝার কাছাকাছি আসেননি।
তাহলে কী পরিবর্তন হয়েছে?
প্রথমত, খুব কম লোকই যারা এত মনোযোগ সহকারে মূল্য অধ্যয়ন করেছে তারা মূল্য অজ্ঞেয়বাদী হয়েছে। উদাহরণস্বরূপ তুলা নিন, কৃষক থেকে শুরু করে উৎপাদক উভয়েরই একটি দিক রয়েছে যা তারা আশা করে যে দাম চলে যাবে। সাম্প্রতিক সময়ে ইএপি বাজারের ভবিষ্যদ্বাণী করতে এত সফল হওয়ার অন্যতম কারণ এটি। তারা যে বাজারগুলিতে পরামর্শ দেয় সেখানে তারা কোনও অবস্থান ধরে রাখে না, তাই তারা দিকনির্দেশের একটি নির্দিষ্ট ধারণা ছাড়াই নিদর্শনগুলি পড়ে। এটি ইএপিকে তাদের নিজস্ব মডেল এবং নিয়মগুলি বিকাশ করতে এবং কোনও মূল্য অজ্ঞেয়বাদী বাজার বিশ্লেষকের মতো নিয়ম এবং মডেলগুলিকে সম্মান করার দিকে পরিচালিত করেছে। তবুও, ইএপি তাদের ধরণের প্রথম বাজার বিশ্লেষক নয়, বা তারা তাদের নিজস্ব মডেলগুলি বিকাশ ের জন্য প্রথম নয়। এটি কৃত্রিম বুদ্ধিমত্তার প্রবর্তন যা ইএপিকে পরবর্তী স্তরে নিয়ে যাচ্ছে।
আর্টিফিশিয়াল ইন্টেলিজেন্স একটি buzzword যা বিজ্ঞানী এবং সাংবাদিকদের দ্বারা একইভাবে ব্যবহৃত হয়, কিন্তু সহজ ভাষায় এর অর্থ কী এবং এটি কীভাবে EAP এর সাথে সম্পর্কিত? এটি তত্ত্বগুলি পরীক্ষা করার একটি উপায় এবং প্রশ্নে তত্ত্বটি তুলা এবং অন্যান্য নরম পণ্য এবং শস্যের দামের ভবিষ্যদ্বাণী। কোনও এআই পরীক্ষার নির্ভুলতা এবং উপযোগিতা দুটি কারণের গুণমান দ্বারা নির্ধারিত হয়: তথ্য এবং এটি বিশ্লেষণ করার জন্য ব্যবহৃত মডেল। ইএপিতে পণ্য বাজারে 100 বছরেরও বেশি মানের তথ্য রয়েছে এবং তাদের চেষ্টা করা এবং পরীক্ষিত বিশ্লেষণ মডেলগুলি সঠিক সময় এবং সময় বার প্রমাণিত হয়েছে। মূল্য, সরবরাহ এবং চাহিদা এবং ম্যাক্রো ইভেন্টগুলিতে সংগৃহীত হাজার হাজার ডেটা পয়েন্ট ইএপি এক বিশ্লেষক বা বিশ্লেষকের দলের জন্য প্রতিবার বাজারগুলি সরানোর সময় স্মরণ এবং পরামর্শ করার জন্য অনেকগুলি, তবে আমরা একটি ভবিষ্যদ্বাণী প্রদানের জন্য কয়েক সেকেন্ডের মধ্যে ঐতিহাসিক বাজারের নিদর্শনগুলি প্রক্রিয়া এবং পরীক্ষা করার জন্য একটি কম্পিউটার প্রোগ্রাম তৈরি করেছি, দিন বা সপ্তাহের পরিবর্তে এটি প্রক্রিয়া করতে একজন ব্যক্তির সময় লাগবে। এই মডেলটি প্রতিদিন উন্নত করা হচ্ছে। এটি এই ঐতিহাসিক প্যাটার্ন টেস্টিং সিস্টেম ব্যবহার করে ইএপি এর বাজার তত্ত্বগুলি সঠিক এবং ভুল প্রমাণ করছে এবং এটি যে ভবিষ্যদ্বাণীগুলি সরবরাহ করে তার নির্ভুলতা পরিমার্জন করছে।
বর্তমানে মডেলটি 80% নির্ভুলতার হারের সাথে ভবিষ্যদ্বাণী তৈরি করছে, এটি ইএপি-তে অভিজ্ঞ বিশ্লেষক দল দ্বারা ডেটা প্রসেসিং মডেলটি পরিমার্জিত হওয়ার সাথে সাথে উন্নত হয়েছে এবং অব্যাহত থাকবে। এআই দক্ষতা ছাড়া এটি সম্ভব নয় এবং এই কারণেই ইএপি লিভারপুল বিশ্ববিদ্যালয়ের সাথে অংশীদারিত্ব করছে যারা 30 বছরেরও বেশি সময় ধরে কৃত্রিম বুদ্ধিমত্তার দক্ষতা নিয়ে আসে এবং এই প্রাথমিক পর্যায়ে মডেল এবং তার চিত্তাকর্ষক নির্ভুলতার প্রতি দুর্দান্ত আগ্রহ প্রকাশ করেছে। ইএপি প্রমাণ করছে যে বাজারগুলি এলোমেলো নয় এবং তারা যে নিদর্শনগুলি অনুসরণ করে তা মডেলিং করে। আমরা তাদের ভবিষ্যদ্বাণী করার পরিবর্তে ভবিষ্যতের দামগুলি গণনা করছি এবং আমরা আগামী দশকে মূল্য ভবিষ্যদ্বাণী বিজ্ঞানের নেতা হওয়ার আশা করি।
প্রকল্পের সারসংক্ষেপ
Earlam and Partners (EAP) তুলা বাজারের প্রেক্ষাপটে কমোডিটি কনসালটেন্সি প্রদান করে। ইএপি-র দামের গতিবিধি বিশ্লেষণের জন্য একটি গাণিতিক মডেল রয়েছে, যা বাজারের তথ্য ধারণ করে, যা ওজনগুলি ভবিষ্যদ্বাণী করার জন্য ম্যানুয়ালি বরাদ্দ করা হয়, সাপ্তাহিক বাজার প্রতিবেদনগুলিতে বিতরণ করা হয়।
স্কেলে EAP এর পরিষেবাগুলি সরবরাহ করতে, অটোমেশন এবং বর্ধিত নির্ভুলতা প্রয়োজন। লাইটওয়েট ব্যাখ্যাযোগ্য এআই ব্যবহার করে তথ্যের ওজনের উপর ভিত্তি করে নিদর্শনগুলি সনাক্ত করা যেতে পারে। প্যাটার্নগুলি যা তখন একটি কমোডিটি প্রাইস প্রেডিকশন (সিপিপি) সিস্টেম তৈরি করতে ব্যবহার করা যেতে পারে যা লাইটওয়েট (একটি স্ট্যান্ডার্ড ডেস্কটপ মেশিনে চালানো হয়) এবং ব্যাখ্যাযোগ্য (ব্যবহারকারীদের বলে যে কীভাবে ভবিষ্যদ্বাণীগুলি প্রাপ্ত হয়েছিল)। প্রস্তাবিত সিপিপি সিস্টেম ব্যবহার করে লাইভ ভবিষ্যদ্বাণী বিতরণ সরবরাহ শৃঙ্খল জুড়ে ক্লায়েন্টদের আরও স্থিতিস্থাপক হয়ে উঠতে এবং বাজারের অস্থিরতা বৃদ্ধির মুখে তাদের ক্রিয়াকলাপগুলি আরও ভালভাবে পরিচালনা করতে সহায়তা করবে।
লক্ষ্যটি হ'ল তুলার বাইরে অন্যান্য পণ্যগুলিতে (সয়াবিন, ভুট্টা, গম, কফি, চিনি এবং কোকো) প্রসারিত করা যেখানে কৃষক এবং নির্মাতারা জলবায়ু পরিবর্তন, যুদ্ধ এবং অন্যান্য কারণগুলি থেকে উদ্বায়ীতা দ্বারা ক্রমবর্ধমানভাবে প্রভাবিত হয়। তুলার জন্য একটি বিশ্লেষণ মডেল বিকাশ এবং পরিমার্জন করার 10 বছর পরে, ইএপিকে একাডেমিক এআই দক্ষতা আনতে হবে, আরও বাজার জুড়ে প্রসারিত করতে হবে এবং তারা একা কী করতে পারে তার চেয়ে বেশি লোককে সহায়তা করতে হবে, তাই প্রস্তাবিত কেটিপি।
কৌশলগত লক্ষ্য
ইএপি সফলভাবে 13 বছরেরও বেশি সময় ধরে কমোডিটি কনসালটেন্সি পরিষেবা সরবরাহ করেছে। EAP তথ্য সংগ্রহ এবং 5 এলাকায় অন্তর্দৃষ্টি প্রদানের জন্য প্রসেস প্রমাণিত হয়েছে: তুলা বাজার মৌলিক (1), তুলা (2) হেজ ফান্ড পজিশন, কটন চার্ট নিদর্শন (3), তুলা মৌসুমী পরিসংখ্যানগত বিশ্লেষণ (4) এবং সামগ্রিক ম্যাক্রো বিশ্লেষণ (5) পড়া। আজ সংস্থার পরামর্শদাতাদের একটি প্রশিক্ষিত দল রয়েছে যার কাজ হল বিদ্যমান ক্লায়েন্টদের সু-জ্ঞাত অপারেশনাল এবং আর্থিক সিদ্ধান্তগুলি নিশ্চিত করার জন্য সহায়তা প্রদান করা। EAP তথ্য ("1 থেকে 5" উপরে উল্লিখিত) ওজন করে তাদের সিদ্ধান্তগুলি পরিচালনা করে অভিজ্ঞতা এবং আন্তর্জাতিক বাজারে সঠিক চলমান এবং জো ইয়ারলাম দ্বারা পরিচালিত হয়।
এই অংশীদারিত্বের দৃষ্টিভঙ্গি হল লিভারপুল বিশ্ববিদ্যালয় থেকে কৃত্রিম বুদ্ধিমত্তা মডেলিংয়ের দক্ষতা আনা এবং ইএপি গাণিতিক মডেলপরীক্ষা এবং উন্নত করার জন্য এটি ব্যবহার করা, যা বর্তমান এবং ঐতিহাসিক উভয়ই মাইক্রো এবং ম্যাক্রো তথ্য ধারণ করে। আরও কার্যকর পণ্য মূল্যের ভবিষ্যদ্বাণী, পণ্যগুলির বিস্তৃত পরিসরের জন্য, গভীর শিক্ষার সরঞ্জাম এবং কৌশলগুলি ব্যবহার করে তৈরি করা যেতে পারে। ইএপি বিশ্লেষকের সিদ্ধান্ত গ্রহণের প্রতিফলন ঘটায় এমন একটি সফ্টওয়্যার থাকা আরও সামঞ্জস্যপূর্ণ অন্তর্দৃষ্টি সরবরাহ করতে সহায়তা করবে এবং কোম্পানির বিশ্লেষকদের আরও অ্যালগরিদমএবং তাই আরও ভালভাবে বাজারগুলি বোঝার জন্য শেখাবে। আর্টিফিশিয়াল ইন্টেলিজেন্স মার্কেট প্রেডিকশন মডেলের উন্নয়নের মাধ্যমে, মূল্যভবিষ্যদ্বাণী এবং অন্তর্দৃষ্টি ক্রমবর্ধমানভাবে স্বয়ংক্রিয়, নির্ভুল এবং সময়োপযোগী হয়ে উঠবে এবং স্বতন্ত্র দক্ষতার উপর নির্ভরতা হ্রাস পাবে।
ইএপি-র একটি ঐতিহ্যবাহী পরামর্শদাতা হিসাবে নয় বরং সফ্টওয়্যারের মাধ্যমে তার পরিষেবাগুলি সরবরাহ করার উচ্চাকাঙ্ক্ষা রয়েছে যা কেবলমাত্র ফোন কল এবং ইমেলগুলির মাধ্যমে ক্লায়েন্টদের সাথে যোগাযোগ করে। সম্প্রতি, ইএপি তাদের পরিষেবাগুলির স্কেলেবিলিটি উন্নত করার জন্য একটি ওয়েব প্ল্যাটফর্ম তৈরি করেছে। যাইহোক, বিশ্লেষণ তাদের অভ্যন্তরীণ বিশ্লেষকদের ক্ষমতা দ্বারা সীমাবদ্ধ। ইএপিতে ইনহাউস মেশিন লার্নিং এবং কৃত্রিম বুদ্ধিমত্তার দক্ষতা নেই এবং তাই একটি মর্যাদাপূর্ণ ব্রিটিশ বিশ্ববিদ্যালয়ের সাথে অংশীদার হতে চায়। এই প্রকল্পের শেষে, ইএপি এমন একটি সিস্টেম ের পরিকল্পনা করেছে যা স্বয়ংক্রিয় বাজারের ভবিষ্যদ্বাণী সরবরাহ করে যা ঘড়ির চারপাশে অ্যাক্সেস করা যেতে পারে। ভবিষ্যদ্বাণীগুলি সমর্থন করবে, তবে ইএপি বিশ্লেষকদের কাছ থেকে সরাসরি পরামর্শ এবং অন্তর্দৃষ্টিগুলির উপর নির্ভর করবে না।
দ্বি-সাপ্তাহিক রিপোর্টিং হল বর্তমান উপায় যার মাধ্যমে ইএপি ক্লায়েন্টরা অন্তর্দৃষ্টি পায়, এই প্রতিবেদনগুলি তুলা সরবরাহ শৃঙ্খলের প্রতিটি অংশ জুড়ে ক্লায়েন্টদের সাথে ভাগ করা হয়। এই অংশীদারিত্ব শেষ পর্যন্ত EAP এর ভবিষ্যদ্বাণী মডেলকে আরও সঠিক এবং অন-ডিমান্ড উপলব্ধ করে তুলবে, যা বিঘ্নিত এবং মহাকাশে অন্য কোনও পরামর্শের মতো নয়। এই অংশীদারিত্বের মধ্যে ইএপিকে তুলা এবং কৃষি পণ্য পরামর্শের উদ্ভাবনী নেতাদের মধ্যে রূপান্তরিত করার সম্ভাবনা রয়েছে।
হারিয়ে যাওয়া জ্ঞান
ইএপি একটি অনলাইন পরিবেশ, কমোডিটি প্রাইস প্রেডিকশন (সিপিপি) সিস্টেম ব্যবহার করে তাদের পরিষেবাগুলি সরবরাহ করতে আগ্রহী, যা একটি এআই ভবিষ্যদ্বাণী মডেল বৈশিষ্ট্যযুক্ত যা লাইটওয়েট এবং ব্যাখ্যাযোগ্য উভয়ই। পরিবেশটি একটি ওয়েব-ভিত্তিক প্ল্যাটফর্মে হোস্ট করা হবে (তাই মডেলটি "লাইটওয়েট" হওয়া দরকার) এআই প্রক্রিয়াগুলির দ্বারা ভিত্তি করে যা একটি ব্যাখ্যাযোগ্য পদ্ধতিতে পণ্য মূল্য সূচকের ভবিষ্যদ্বাণী করবে। লক্ষ্যটি হ'ল সারা বিশ্ব জুড়ে উৎপাদকদের, বিশেষ করে তুলা উৎপাদকদের জন্য সহায়তা প্রদান করা। শুধু বড় উৎপাদকরাই নয়, ক্ষুদ্র উৎপাদকরাও মাত্র কয়েক একর জমিতে চাষ করেন।
ইএপি একটি এআই সমাধানকে প্রস্তাবিত প্ল্যাটফর্মের বিতরণের কেন্দ্রীয় হিসাবে দেখে। প্ল্যাটফর্মের উপলব্ধি করার জন্য বেশ কয়েকটি এআই প্রযুক্তির প্রয়োজন হবে যা ইএপি বর্তমানে নেই, যার মধ্যে রয়েছে: (i) ডেটা ক্লিনিং (প্রজেক্ট স্টেজ 1), (ii) ভবিষ্যদ্বাণী (প্রকল্প পর্যায় 1), (iii) ব্যাখ্যাযোগ্য এআই এবং লাইটওয়েট এআই (প্রজেক্ট স্টেজ 2), (iv) ডেটা ভিজ্যুয়ালাইজেশন (প্রজেক্ট স্টেজ 4) এবং (iv) মডেলগুলির ভবিষ্যদ্বাণীর রক্ষণাবেক্ষণ (প্রকল্প পর্যায় 5) ). এআই-এর সমস্ত ক্ষেত্র যেখানে জ্ঞান বেস অংশীদারের দক্ষতা রয়েছে। এআই লিভারপুলের দুটি গবেষণা স্তম্ভের কম্পিউটার সায়েন্স বিভাগের মধ্যে একটি, যার মধ্যে কেবি সুপারভাইজার এবং একাডেমিক লিড সহ প্রায় বিশ জন শিক্ষাবিদ রয়েছে। ব্যাখ্যাযোগ্য এআই, বা EXAI হিসাবে এটি প্রায়শই উল্লেখ করা হয়, লাইটওয়েট এআই এবং ভবিষ্যদ্বাণী মডেলের রক্ষণাবেক্ষণ জ্ঞান বেস অংশীদারের আগ্রহের কম্পিউটার বিজ্ঞান গবেষণার সমস্ত বর্তমান ক্ষেত্র। এক্সএআই এআই সিস্টেমের শেষ ব্যবহারকারীদের বিশ্বাস অর্জনের জন্য বিশ্বব্যাপী প্রয়োজনীয়তা দ্বারা অনুপ্রাণিত হয় যাতে এআইয়ের সম্ভাব্যতা সম্পূর্ণরূপে উপলব্ধি করা যায়। এটি অর্জনের একটি উপায় হ'ল এআই সিস্টেমগুলি কীভাবে সিদ্ধান্ত নেয় তার ব্যাখ্যা সরবরাহ করা। EAP বিশ্বাস করে যে ব্যাখ্যাযোগ্যতা তাদের কল্পিত সিপিপি সিস্টেমের জন্য একটি অপরিহার্য বৈশিষ্ট্য; ইএপি এর গ্রাহকরা বুঝতে চাইবেন যে সিপিপি সিস্টেমের দ্বারা করা ভবিষ্যদ্বাণীগুলি কীভাবে পৌঁছেছে। লাইটওয়েট এআই গভীর শেখার ভবিষ্যদ্বাণী মডেলগুলি তৈরি করার সাথে সম্পর্কিত যা কেবলমাত্র সীমিত পরিমাণে প্রক্রিয়াকরণ শক্তি প্রয়োজন। প্রেরণা শুধুমাত্র সীমিত ক্ষমতা সঙ্গে ডিভাইস ব্যবহার করে গভীর শেখার অ্যাক্সেস অনুমতি দেওয়া হয় এবং, একটি পরিবেশগত দৃষ্টিকোণ থেকে, গভীর শেখার সিস্টেম ব্যবহার করে যে শক্তি পরিমাণ কমাতে। মৌলিক ধারণাটি হ'ল গভীর শেখার মডেলগুলি তৈরি করা এবং তারপরে তাদের সংকুচিত করা যাতে অন্তর্নিহিত নেটওয়ার্ক আকারে হ্রাস পায়। ইএপি বিশ্বাস করে যে লাইটওয়েট এআই অপরিহার্য হবে কারণ তারা একটি অনলাইন প্ল্যাটফর্ম ব্যবহার করে ভবিষ্যদ্বাণী সরবরাহ করতে চায়। ভবিষ্যদ্বাণী মডেলগুলির রক্ষণাবেক্ষণ এই ধারণাদ্বারা অনুপ্রাণিত হয়ে ক্রমবর্ধমান উদ্বেগের বিষয় হয়ে উঠেছে যে আমরা যখনই নতুন ডেটা উপলব্ধ হয় তখন গভীর শেখার মডেলগুলি পুনরায় শিখতে চাই না; পরিবর্তে আমরা শুধুমাত্র মডেলের প্রাসঙ্গিক অংশগুলি আপডেট করতে চাই।