Yapay Zeka ve Makine Öğrenimine Giriş
Danışmanlık platformumuzda teknoloji geliştirmeleri üzerinde özenle çalıştığımızı paylaşmaktan gurur duyuyoruz. İngiltere'deki prestijli bir üniversite ile yaptığımız son stratejik ortaklık, emtia analizlerimize Yapay Zeka ve Makine Öğrenimini ekleyen 2 yıllık bir projenin uygulanmasıyla sonuçlandı. Proje hakkında daha fazla bilgiyi aşağıda bulabilirsiniz.
Ekim 2022'de mevcut modelimiz tarafından öngörülen fiyatlar ile gerçekleşen fiyatlar
Doktordan bir not
Pamukla ilgili verilerimizin başladığı 1800'lü yıllara baktığımızda, mevsimlerin ve hava durumunun daha yüksek bir gücün sonucu olduğuna inanılıyordu. 21. yüzyıla geldiğimizde modern bilim ve bilgi tüm dünyaya yayıldı ve bununla birlikte tutumlar da değişti. Bir zamanlar mistik bir olgu olarak kabul edilen şey artık yaygın olarak fizik ve matematiğe dayandırılıyor. Etrafımızda örüntüler beliriyor ve bilgi işlem gücü arttıkça bu örüntüleri tanımlama ve modelleme becerimiz de artıyor. 'Sizi dinliyor' gibi görünen sosyal medya algoritmalarından, küresel ölçekteki eğilimleri analiz eden borsa ticaret algoritmalarına kadar. Tüm olguların girdilere ve neredeyse kesin yanıtlara indirgenmesi sadece bir zaman meselesi.
Emtia piyasası ve borsa, gezegendeki en büyük veri işlemcileridir. Küresel olaylardan tüccarların duygularına kadar çok sayıda makro ve mikro faktörden bilgi alırlar ve bu bilgileri tek bir ölçüye indirgerler: fiyat. Bir emtia ya da hisse senedinin fiyatı mantık ve kalıpları takip eder. Fiyat bilimi binlerce yıldır incelenmektedir ve bazıları bunu tahmin etmeye yaklaşmış olsa da, büyük çoğunluk resmin tamamını anlamaya yaklaşamamıştır.
Peki ne var Değişti mi?
İlk olarak, fiyatı bu kadar yakından inceleyen insanların çok azı fiyat agnostiği olmuştur. Örneğin pamuğu ele alalım, çiftçilerden üreticilere kadar her ikisinin de fiyatın gitmesini umdukları bir yön vardır. Bu, EAP'nin son zamanlarda piyasayı tahmin etmede bu kadar başarılı olmasının nedenlerinden biri olmuştur. Danışmanlığını yaptıkları piyasalarda pozisyon sahibi olmadıkları için, yön konusunda sabit bir fikirleri olmadan kalıpları okuyorlar. Bu durum EAP'nin kendi model ve kurallarını geliştirmesine ve her fiyattan bağımsız piyasa analistinin yapacağı gibi söz konusu kural ve modellere saygı göstermesine yol açmıştır. Bununla birlikte, EAP kendi türünün ilk piyasa analisti olmadığı gibi kendi modellerini ilk geliştiren de değildir. EAP'yi bir sonraki seviyeye taşıyan Yapay Zekanın devreye girmesidir.
Yapay Zeka hem bilim insanları hem de gazeteciler tarafından kullanılan bir terimdir, ancak basit bir ifadeyle ne anlama gelir ve EAP ile nasıl bir ilişkisi vardır? Yapay Zeka teorileri test etmenin bir yoludur ve söz konusu teori pamuk ve diğer yumuşak emtia ve tahılların fiyat tahminidir. Herhangi bir AI testinin doğruluğu ve kullanışlılığı iki faktörün kalitesiyle belirlenir: bilgi ve onu analiz etmek için kullanılan model. EAP, emtia piyasalarına ilişkin 100 yılı aşkın kaliteli veriye sahiptir ve denenmiş ve test edilmiş analiz modellerinin doğruluğu defalarca kanıtlanmıştır. EAP'nin fiyat, arz ve talep ve makro olaylar hakkında topladığı binlerce veri noktası, bir analistin veya analist ekibinin piyasalar her hareket ettiğinde ezberleyip danışamayacağı kadar çoktur, ancak geçmiş piyasa modellerini işlemek ve test etmek için bir bilgisayar programı geliştirdik ve bir kişinin işlemesi günler veya haftalar yerine bir tahmin sunmak için birkaç saniye içinde. Bu model her geçen gün geliştiriliyor. Bu tarihsel model test sistemini kullanarak EAP'nin piyasa teorilerinin doğruluğunu ve yanlışlığını kanıtlıyor ve sunduğu tahminlerin doğruluğunu geliştiriyor.
Şu anda model %80 doğruluk oranıyla tahminler üretmektedir, veri işleme modeli EAP'deki deneyimli analist ekibi tarafından rafine edildikçe bu oran geliştirilmiştir ve geliştirilmeye devam edecektir. Yapay zeka uzmanlığı olmadan bu mümkün değildir ve bu nedenle EAP, 30 yılı aşkın Yapay Zeka uzmanlığına sahip olan ve modele ve bu erken aşamadaki etkileyici doğruluğuna büyük ilgi duyduğunu ifade eden Liverpool Üniversitesi ile ortaklık yapmaktadır. EAP, piyasaların rastgele olmadığını kanıtlıyor ve izledikleri kalıpları modelliyor. Gelecekteki fiyatları tahmin etmek yerine hesaplıyoruz ve önümüzdeki on yıl içinde fiyat tahmin biliminde lider olmayı umuyoruz.
Proje Özeti
Earlam and Partners (EAP) pamuk piyasaları bağlamında emtia danışmanlığı sağlamaktadır. EAP, fiyat hareketlerini analiz etmek için piyasa bilgilerini tutan, tahminler yapmak için ağırlıkların manuel olarak atandığı ve haftalık piyasa raporlarında sunulan matematiksel bir modele sahiptir.
EAP'nin hizmetlerini geniş ölçekte sunmak için otomasyon ve gelişmiş doğruluk gereklidir. Hafif Açıklanabilir Yapay Zeka kullanılarak bilgilerin ağırlıklandırılmasının altında yatan kalıplar belirlenebilir. Bu kalıplar daha sonra hem Hafif (standart bir masaüstü makinede çalışır) hem de açıklanabilir (kullanıcılara tahminlerin nasıl elde edildiğini anlatır) bir Emtia Fiyat Tahmini (CPP) sistemi oluşturmak için kullanılabilir. Önerilen CPP sistemi kullanılarak canlı tahminlerin sunulması, tedarik zincirindeki müşterilerin artan piyasa oynaklığı karşısında daha dirençli olmalarına ve operasyonlarını daha iyi yönetmelerine yardımcı olacaktır.
Vizyon, pamuğun ötesinde, çiftçilerin ve üreticilerin iklim değişikliği, savaş ve diğer faktörlerden kaynaklanan dalgalanmalardan giderek daha fazla etkilendiği diğer emtialara (Soya fasulyesi, Mısır, Buğday, Kahve, Şeker ve Kakao) genişlemektir. Pamuk için bir analiz modeli geliştirip rafine ettikten 10 yıl sonra, EAP'nin daha fazla pazara yayılmak ve tek başına yapabileceğinden daha fazla insana yardım etmek için akademik yapay zeka uzmanlığını getirmesi gerekiyor, bu nedenle önerilen KTP.
Stratejik Amaç
EAP, 13 yılı aşkın süredir başarılı bir şekilde emtia danışmanlığı hizmetleri sunmaktadır. EAP, veri toplama ve 5 alanda içgörü sunma konusunda kanıtlanmış süreçlere sahiptir: Pamuk piyasası temelleri (1), Pamukta hedge fon pozisyonları (2), Pamuk grafik desenlerinin okunması (3), Pamuk mevsimsel istatistiksel analizi (4) ve genel makro analiz (5). Bugün kuruluşun, iyi bilgilendirilmiş operasyonel ve finansal kararlar alınmasını sağlamak üzere mevcut müşterilere destek sağlamakla görevli eğitimli bir danışman ekibi bulunmaktadır. EAP, kararlarını deneyime ve uluslararası pazarda tam olarak neler olup bittiğine göre bilgileri ağırlıklandırarak ("1'den 5'e" yukarıda bahsedilen) yönetir ve Jo Earlam tarafından yönetilir.
Bu ortaklığın vizyonu, Liverpool Üniversitesi'nden Yapay Zeka modelleme uzmanlığını getirmek ve bunu hem güncel hem de tarihsel mikro ve makro bilgileri içeren EAP matematiksel modelini test etmek ve geliştirmek için kullanmaktır. Derin öğrenme araç ve tekniklerinden yararlanılarak daha geniş bir emtia yelpazesi için daha etkili emtia fiyat tahminleri yapılabilir. EAP analistinin karar verme sürecini yansıtan bir yazılıma sahip olmak, daha tutarlı içgörüler sunmaya yardımcı olacak ve şirketteki analistlere piyasaları daha algoritmik ve dolayısıyla daha iyi anlamayı öğretecektir. Yapay Zeka piyasa tahmin modelinin geliştirilmesi sayesinde, fiyat tahmini ve içgörüler giderek daha otomatik, doğru ve zamanında hale gelecek ve bireysel uzmanlığa olan güven azalacaktır.
EAP, müşterilerle yalnızca telefon görüşmeleri ve e-postalar yoluyla etkileşime giren geleneksel bir danışmanlık yerine hizmetlerini yazılım aracılığıyla sunmayı hedeflemektedir. Yakın zamanda EAP, hizmetlerinin ölçeklenebilirliğini artırmak için bir web platformu oluşturmuştur. Ancak analiz, kurum içi analistlerinin kapasitesi ile sınırlıdır. EAP'nin kurum içi makine öğrenimi ve yapay zeka uzmanlığı yoktur ve bu nedenle prestijli bir İngiliz Üniversitesi ile ortaklık kurmak istemektedir. Bu projenin sonunda EAP, günün her saati erişilebilecek otomatik piyasa tahminleri sunan bir sisteme sahip olmayı planlamaktadır. Tahminler, EAP analistlerinin doğrudan istişareleri ve içgörüleri ile desteklenecek, ancak bunlara bağlı olmayacaktır.
İki haftada bir yapılan raporlama, EAP müşterilerinin içgörü elde etmesinin mevcut yoludur ve bu raporlar pamuk tedarik zincirinin her bölümündeki müşterilerle paylaşılmaktadır. Bu ortaklık nihayetinde EAP'nin tahmin modelini daha doğru ve talep üzerine kullanılabilir hale getirecek, bu da yıkıcı ve bu alandaki diğer hiçbir danışmanlık teklifine benzemiyor. Bu ortaklık, EAP'yi pamuk ve tarımsal emtia danışmanlığında inovasyon liderlerine dönüştürme potansiyeline sahiptir.
Eksik Bilgi
EAP, hizmetlerini hem Hafif hem de Açıklanabilir bir yapay zeka tahmin modeline sahip çevrimiçi bir ortam olan Emtia Fiyat Tahmini (CPP) sistemini kullanarak sunmakla ilgilenmektedir. Ortam, emtia fiyat endekslerini açıklanabilir bir şekilde tahmin edecek yapay zeka mekanizmaları tarafından desteklenen web tabanlı bir platformda barındırılacaktır (bu nedenle modelin "hafif" olması gerekir). Vizyon, yetiştiricilere, özellikle de dünya genelindeki pamuk yetiştiricilerine destek sağlamaktır. Sadece büyük yetiştiricilere değil, aynı zamanda sadece birkaç dönümlük arazide tarım yapan küçük yetiştiricilere de.
EAP, önerilen platformun hayata geçirilmesinde yapay zeka çözümünü merkezi bir rol olarak görmektedir. Platformun hayata geçirilmesi, EAP'nin şu anda sahip olmadığı bir dizi yapay zeka teknolojisini gerektirecektir: (i) veri temizleme (Proje Aşama 1), (ii) tahmin (Proje Aşama 1), (iii) Açıklanabilir YZ ve Hafif YZ (Proje Aşama 2), (iv) veri görselleştirme (Proje Aşama 4) ve (iv) modellerin tahminlerinin sürdürülmesi (Proje Aşama 5). Bilgi Bankası ortağının uzmanlığa sahip olduğu tüm yapay zeka alanları. YZ, Liverpool'daki Bilgisayar Bilimleri Bölümü'nün iki araştırma ayağından biridir ve KB Süpervizörleri ve Akademik Lider de dahil olmak üzere yaklaşık yirmi akademisyeni vardır. Açıklanabilir YZ ya da sıklıkla atıfta bulunulan adıyla EXAI, Hafif YZ ve tahmin modellerinin bakımı, Bilgi Tabanı ortağının ilgi duyduğu bilgisayar bilimleri araştırmalarının güncel alanlarıdır. ExAI, YZ'nin potansiyelinin tam olarak gerçekleştirilebilmesi için YZ sistemlerinin son kullanıcılarının güvenini kazanmaya yönelik küresel ihtiyaçtan kaynaklanmaktadır. Bunu başarmanın bir yolu, YZ sistemlerinin nasıl karar verdiğine dair açıklamalar sağlamaktır. EAP, açıklanabilirliğin öngördükleri CPP sistemi için temel bir özellik olduğuna inanmaktadır; EAP'nin müşterileri CPP sistemi tarafından yapılan tahminlere nasıl ulaşıldığını anlamak isteyecektir. Hafif yapay zeka, yalnızca sınırlı miktarda işlem gücü gerektiren derin öğrenme tahmin modelleri oluşturmakla ilgilidir. Motivasyon, yalnızca sınırlı güce sahip cihazlar kullanarak derin öğrenmeye erişim sağlamak ve çevresel bir bakış açısıyla derin öğrenme sistemlerinin kullandığı güç miktarını azaltmaktır. Temel fikir, derin öğrenme modelleri oluşturmak ve daha sonra bunları sıkıştırarak altta yatan ağın boyutunu küçültmektir. EAP, çevrimiçi bir platform kullanarak tahminler sunmak istedikleri için Hafif Yapay Zekanın gerekli olacağına inanmaktadır. Tahmin modellerinin bakımı, her yeni veri geldiğinde derin öğrenme modellerini yeniden öğrenmek istemediğimiz, bunun yerine sadece modelin ilgili kısımlarını güncellemek istediğimiz fikrinden hareketle artan bir endişe kaynağı haline gelmiştir.