In today’s world, information is just a few clicks away. With the vast amount of data available on the internet, it’s no wonder that people turn to search engines to find answers to their questions. But what if we could automate this process and make it more efficient?

That’s where knowledgegpt comes in. It’s a library designed to gather information from various sources and create prompts that can be used by OpenAI’s GPT-3 model to generate answers. With this library, you can build a chatbot that can answer questions on any topic.

Today we’ll try to explain to you how to create a CLI bot using knowledgegpt with just a couple of lines, our example covers the case when you either have the target PDF available in your local or when it’s an arxiv paper online waiting to be downloaded.

We can start with the installation, you can either use the command

pip install knowledgegpt

to install from the PyPI address or you can visit our Github address to install from the source.

Once everything is set we can create a Python file and then start importing the necessary libraries and configs.

The only thing that doesn’t come from our installment step here is the SECRET_KEY, to access it you can create an account from OpenAI get an API key, and place it under a file called “local_example_config” into a variable called SECRET_KEY.

Then into a function called main() we can add this code, this part here basically reads in the pdf name or the arxiv id, sets up a condition for quitting, takes in the index_path ( is only needed when you want to save your indexes after the initial calculation ), also the load_index variable is used to check if we are loading the index in our extract method ( that we will see in a minute )

The code above is pretty trivial, if the file is given directly, then go use it, if not, download from arxiv and use it.

Then we set our max context length and finally initialize our class, we want a paragraph-based extraction, an English model, and we want to use the turbo model for our main engine :) (turbo is the one behind chatgpt)

If the context we encapsulated at the beginning is not good enough we can reset it by using the key restrat_context in our message, then the message sent along with it is going to be used to create another context.

Then if it’s our initial load we make 1 type of query if not the other one, the difference here is the in the initial query we’ll certainly have a fresh context so no need to call the context_restarter.

Finally, we print our answer and the loop goes on until we break it, now let’s take a look at a real use case, below we download a pdf from arxiv, first, we give the file name or the link then the path, if the path is empty, knowledgegpt will calculate and fill if is full already it’ll use directly. Then we specify the max # of tokens to then finally enter our prompt.

Finally, we have our answer ready, we can keep asking if we have questions related to VOS’s internals and how it works, if not we can use the flag restart_context and ask another question to update the context. Below we see our answer.

That mostly concludes what we were aiming to cover today, however, if you need the source code please see the link to find the source code.

Okay, that’s pretty much it. Thank you very much for reading and following along, friends. If you want to access content like this and spend time with curious, intelligent, and hardworking colleagues, we also welcome you to our Discord server. 🚀 Link

Create ChatGPT CLI Bot to Make Q&A on PDFs Using knowledge-gpt was originally published in Geeks-of-Data on Medium, where people are continuing the conversation by highlighting and responding to this story.

İngilizce bir yazı olan önceki yazımızda knowledgegpt nedir ve nasıl kullanılır bunu anlatmıştık. Buradan ulaşabilirsiniz. Bu yazı knowledgegpt’yi kurduğunuzu ve kullanıma hazır olduğunu varsaymaktadır.

Yakın zamanda kütüphanemizde toplu halde Youtube oynatma listelerinden bilgi çıkartma ve promptlarda kullanma özelliği eklemiştik. Bu özelliği çok sevdiğim bir spor programı olan Socrates Dergi’de Caner Eler’in sunduğu “Sıkça Sorulan Sorular” programıyla test etmek istedim.

İlk iş bir extractor oluşturuyoruz, tek ihtiyacımız olan soruları sormak istediğimiz playlist’i belirtmek, indexleri kaydetmek istiyorsak ( bu kadar uzun bir iş için iyi bir fikir, tekrar kullanırken büyük kolaylık ) bir index_path veriyoruz, model dilini de seçip işe koyulabiliriz. Ben biraz zor olacağı için sadece 2. sezonu aldım :D Bu ve diğer örnekleri GitHub repomuzda bulabilirsiniz.

Artık istediğimiz soruyu sorup cevap almaya başlayabiliriz, (ufak bir not, mevcut ayarların aksine ben her paragraf 10 cümle kadar olacak şekilde ayarladım yukarıda, isterseniz kütüphanenin ayarlarından buna müdahele edebilirsiniz.) Burada da tek ihtiyacımız soracağımız soruyu vermek, bir max_tokens parametresi belirlemek (bu Promp’ta ne kadar bilgi sokacağımıza karar veriyor, ne kadar yüksekse o kadar para harcatır, üst sınırı 4096 suan için default değer.), ve eğer mevcutta indexlerimiz varsa onu kullanıp isteyip istemediğimizi belirtmek için kullanabiliriz.

Yukarıda anlatılan şekilde ilk sorumu sordum:

Kar yağdığında normal halinden daha zevkli olan sporlar hangileridir?

Yukarıdaki gibi bir prompt oluştu ve cevap şu şekilde geldi:

Kar yağdığında normal halinden daha zevkli olan sporlar Amerikan futbolu ve yağmurlu futbol maçlarıdır.

İyi görünüyor, başka bir soru soralım:

Tenisciler ve marka iş birlikleriyle ilgili bilgi verir misin?

Soru epey geniş kapsamlı, ve biz de içerik hazırlarken çok iyi bir bölme işlemi yapmadık rasgele 10ar 10ar böldük, bakalım cevap nasıl?

Tenisçiler ve marka işbirlikleriyle ilgili bilgi veriliyor. Özellikle Ivan Landel’in Adidas’la yaptığı işbirliği ve John McEnroe’nun Nike’ın tenise girmesini sağlaması örnek olarak veriliyor. Ayrıca birçok giyim markasının tenis ürünleri tasarlamaktan hoşlandığı ve tasarladıkları giysilerin direkt ekranda görüntülendiği belirtiliyor. Tenisçilerin pahalı saatleri takması ve markalarla özdeşleşmesi de bahsediliyor. Fred Perry, Lacoste ve Stan Smith gibi markaların da tenisçilerle ikonikleştiği ifade ediliyor.

Yani, baya bilgi var gibi duruyor, çok sevdiğim örneklerden birisine geçelim:

Tarihin en estetik futbolcusu kimdir? Sebebini açıklar mısın?

Yanıt güzel ve ilginç:

Thierry Henry, çünkü Emre\’nin cevabı olarak verilmiştir. Sebebi ise metinde açıklanmıştır: “Thierry Henry diyorum ben. Tam benlik soru aslında. Muhtemelen de ben varım diye alınmış bile olabilir bir set değil mi? Olabilir. Thierry Henry diyorum ben. Tabii ler dediği için çoğul bir soru olduğu için elbette devamını getiririz ama benim için bu sorunun cevabı açık halde Thierry Henry.

Cevap böyle geliyor, çünkü soruyu soran o bölümlük sunucu Emre Özcan ve büyük bir Henry (Anri :D) hayranı, aralarındaki konuşmaya binaen böyle bir cevap gelmiş.

Başka bir sürü soru ve cevap yaptım, son olarak yine subjektif sonuçlar içerebilecek şu soruyu paylaşayım:

Sporda vegan beslenme hakkında bir şeyler söyler misin?

Cevap çok ortada ve bir yere ulaşmıyor:

Metinde, vegan beslenmenin son dönemde spor dünyasında daha fazla dahil olmaya başladığı ve bazı sporcuların vegan beslenme tercihinde bulunduğu belirtiliyor. Ancak, sporda vegan beslenmenin caiz olup olmadığı veya gelecekteki beslenme alışkanlıkları hakkında yorum yapılmıyor.

Bu yukarıdaki gibi pek bir yere ulaşmayan ve hatta hiç cevaplanmayan sorular da oldu, bunun ana muhtemel sebeplerinden birisi uzun cevaplar ve bizim bu cevapları tek seferde içeri alamamız olabilir, onları da GPT-4 API erişimi alınca cevaplarız :D

Evet arkadaşlar okuyup eşlik ettiğiniz için çok teşekkür ederiz, bu ve bunun gibi içeriklere ulaşmak, meraklı, zeki ve çalışkan meslektaşlarınızla zaman geçirmek isterseniz Discord sunucumuza da bekleriz. 🚀 Link

knowledge-gpt Kullanarak Sevdiğim Bir Spor Programıyla Alakalı Soru Cevap Yapmak. was originally published in Geeks-of-Data on Medium, where people are continuing the conversation by highlighting and responding to this story.

Find the code used in this tutorial here.

In various scenarios, it is necessary for GPT-3 to generate informative responses to user inquiries. This can include situations such as a chatbot for customer service that needs to provide solutions to frequently asked questions. Although GPT models have gained extensive knowledge during their training, there is often a need to incorporate and utilize a vast collection of specialized information.

In this tutorial, we offer a notebook to follow and a comprehensive explanation of how to provide this specialized information to LLMs (Large Language Models ) such as text-davinci-003 from OpenAI.

(The core of this tutorial is based on the OpenAI cookbook example here. We are just changing the information source and offering an alternative way of creating embeddings)

First, we need to install the dependencies using pip, we don’t provide here the installment part directly since this is somewhat of an advanced tutorial. The modules we need are; numpy, spacy, pandas, sentence_transformers, PyPDF2, and tiktoken.

Load NLP Module

First, we start by loading the NLP module we need from spacy, later on, this one is used for dividing the context into sentences.

Extract Text

We have 2 ways of extracting text from PDFs here, the first one is a sentence-by-sentence approach and the second one is page-by-page.

Above we also use another NLP module called spacy to extract sentences, however explaining this part in detail is not the main concern of this tutorial.

This time we’ll use the page-by-page approach, when the tail is checked we see that the text is extracted and is aligning with our page numbers ( you can use whatever pdf you want, no PDFs will be provided here )

Embedding Extraction

In machine learning, embedding refers to a process of representing data, typically text or images, as numerical vectors in a high-dimensional space. This transformation is used to encode features of the data in a way that a machine learning model can effectively process and analyze.

For instance, word embeddings are a popular technique for representing words in natural language processing tasks. In this method, words are transformed into a high-dimensional vector, such that similar words are located close to each other in the vector space.

We first need to import the modules we need.

Then we can proceed to try our first embedding approach, this way we turn each of the pages into embeddings using OpenAI embedding API, one problem with this one is, no matter how good is the OpenAI models, rate-limiting makes it pretty hard to use. We had to put in a 5-second sleep here, and for 96 pages it takes way more than it’s supposed to. Finally, we return a dictionary with embeddings and ids.

Another way of extracting such features is using open-source language models, here we use an example from hugginface. This approach is faster and free but the problem here is we need to switch to another model if we want to use our system with another language.

After these steps are handled we should have our dictionaries in our hands.

Vector Similarity

The next step is to create functions so we can compare incoming queries against the embeddings we already created before so we can use the most relevant parts to create our prompts.

We use the dot product as our similarity metric here. The dot product is a simple method that calculates the product of the magnitudes of two vectors and the cosine of the angle between them. It ranges from -1 to 1, with 1 indicating the highest similarity, -1 indicating the highest dissimilarity, and 0 indicating no correlation. The dot product is computationally efficient but can be sensitive to the length of the vectors.

Above we see how the functions for similarity search are defined and how we use them to perform a similarity search to get the most relevant parts.

Prompt Preparation

The next thing to do is use it to define some constants and utilize tiktoken. tiktoken is the tokenizer used in OpenAI products therefore we can use it to measure the length of our prompt in terms of tokens.

Below we construct a prompt, basically what we do here is fill in the chosen sections part based on their similarity to our query. Our stop condition is when the chosen_sections_len is greater than MAX_SECTION_LEN. Finally, we inject the parts we selected into a predefined prompt and form up our prompts.

Below see how to use this function and what a finalized prompt looks like.

Making Knowledge-Injected Queries

Then, we create a function to ask questions to OpenAI DaVinci models using the context we just extracted and formed as a prompt.

Finally, we can use this function to ask questions about the information we provided using a PDF file. See the example below, we ask about the ingredients and the preparation process of a golden lentil soup and it explains it the way it was provided in the PDF we gave to it.

Okay, that’s pretty much it. Thank you very much for reading and following along, friends. If you want to access content like this and spend time with curious, intelligent, and hardworking colleagues, we also welcome you to our Discord server. 🚀 Link

Using PDF Documents as Knowledge Bases and Making Q&A with GPT was originally published in Geeks-of-Data on Medium, where people are continuing the conversation by highlighting and responding to this story.

Before starting the article, I want to mention our “Geeks of Data” Discord channel. You can join and say hello, and exchange ideas about data science, engineering, or analysis fields.🚀 Link

The Knowledge-gpt library is a valuable and user-friendly tool that can process diverse information sources and generate meaningful indexes to facilitate accurate and confident query responses about the source documents. It basically allows you to create your specialized GPT bot with a few lines of code.

This library employs multiple open-source models to support various languages and APIs to access OpenAI services. Currently, it can retrieve information by scraping websites, using YouTube transcripts as an information source, extracting text from raw audio to use as an information source, and querying documents such as pdf, ppt, and doc files.

Today we’ll walk you through its website scraping example.

The first thing to do is to install our library PyPI package provided here. Installing setups is as easy as running this command:

pip install knowledgegpt

Afterward, we need to import our OpenAI key and specify our secret key.

Then we can import the needed class for information extraction from a website. ( Currently doesn’t have wide coverage, mostly tested with Wikipedia. )

We can then create an instance from our class and start making API calls.

Above we see how to use our library, we just give a path/URL, select our extractor type, model language, and answering engine using the flag “is_turbo” (when is set to true uses chatgpt engine otherwise uses text-davinci-003). Then we make a call using the extract method, it takes in our query and a max_tokens limit, it first calculates embedding and creates indexes then sends a request to the selected engine.

The output from the cell above is shown below, it has some constant prompting parts inside as well as the Context we passed in. The length of the Context is dictated by the parameter “max_tokens”.

Afterward, we should be able to run the extract method over and over without calculating indexes again, it’ll just use the precomputed ones and will take only seconds to answer questions.

When the messages variable is checked ( when using turbo also known as the chatgpt model ) we see our chat history.

Alright, everyone, that’s pretty much how one can use knowledgegpt to create specialized bots for their use cases. You can find more examples in our GitHub repository in the examples section.

Thank you very much for reading and following along, friends. If you want to access content like this and spend time with curious, intelligent, and hardworking colleagues, we also welcome you to our Discord server. 🚀 Link

knowledge-gpt — a Library for Creating Specialized ChatGPT Bots with 2 Lines of Code was originally published in Geeks-of-Data on Medium, where people are continuing the conversation by highlighting and responding to this story.

Before starting the article, I want to mention our “Geeks of Data” Discord channel. You can join and say hello, and exchange ideas about data science, engineering, or analysis fields.🚀 Link

In this tutorial, we’ll show how can you have a model ready to use to make predictions on house prices trained on the “House Prices — Advanced Regression Techniques” competition from Kaggle.

Throughout this process, we’ll use MindsDB. MindsDB allows you to leverage your database’s valuable data to make predictions faster by integrating machine learning directly into the database. You can build, train, optimize, and deploy ML models without using additional platforms. Simply query your data to get forecasts/predictions. This tutorial doesn’t cover the installation part but you can use this link to learn how to start using MindsDB.

We are going to use the training data from the competition page, to summarize the goal of the project, let’s say you ask a home buyer about their ideal home, they likely won’t mention factors like the basement ceiling height or the distance from a railroad. However, this dataset from a playground competition demonstrates that many other factors besides bedroom count or white-picket fences impact price negotiations. The dataset consists of 79 features that describe nearly every aspect of residential homes in Ames, Iowa. The challenge is to predict the final price of each home using this information. These features consist of information like MSSubClass (The building class), LotArea, Street, Alley, etc.

To begin using our data it’s enough to upload it as a file to our MindsDB instance, if we had our data on another platform we could very well integrate it using MindsDB’s data-adding features.

Once the file upload is done we can access our data by merely using an SQL query. Since we uploaded it as a file it’s automatically placed under the “files” directory.

Training a model is equally trivial, yes you heard it right “training a model is as trivial as running a basic SELECT query”. :)

We use a special query called CREATE MODEL but CREATE PREDICTOR would also work for the same purpose, here what we’re doing is creating a model called “house_price_predictor” under the directory “mindsdb”, then we show the file that we want to train our model on and finally we specify what feature to predict, in our case it’s “SalePrice”.

We can use several other queries to check what models we have and we can get a detailed overview of the properties they carry.

As can be seen above we have an r2 score of .912 for this model, it also gives a score to each column based on their importance to the final results.

Finally, to get predictions we can basically query our model and see the result.

Above is an example query and isn’t too different than what one would expect, 2 special things to pay attention to here are;

We can query our model to get a prediction and the reasoning behind it using a syntax like

SELECT [target], [target_explain]

Another important aspect is to query our model directly rather than querying the data table we initially introduced.

As can be seen above our prediction looks reasonable and explains how it came to this conclusion.

Thank you very much for reading and following along, friends. If you want to access content like this and spend time with curious, intelligent, and hardworking colleagues, we also welcome you to our Discord server. 🚀 Link

Solving the famous “House Prices” Competition from Kaggle using SQL Queries on MindsDB was originally published in Geeks-of-Data on Medium, where people are continuing the conversation by highlighting and responding to this story.

Yazıya başlamadan önce “Geeks of Data” Discord kanalımızdan bahsetmek istiyorum, katılıp selam verebilir, veri bilimi, mühendisliği veya analizi alanlarında fikir alışverişi yapabilirsiniz. Link

MindsDB, çok sayıda veri kaynağına bağlanıp veri temini yapabilen, otomatik bir makine öğrenimi aracıdır ve veritabanınızdaki verileri kullanarak tahminler yapmanıza yardımcı olur. Bu araç, makine öğrenimi modelleri oluşturma, eğitme ve optimize etme süreçlerini veritabanına entegre eder, böylece tahminlerinizi oluşturmak için verileri başka bir platforma aktarmanıza gerek kalmaz.

Bütün bu sürecin otomatik ilerliyor olması işletmenizin verimliliğini artırırken, aynı zamanda zaman ve maliyet tasarrufu sağlar. Ayrıca, kullanıcı dostu arayüzü sayesinde, alanında uzman olmayan kişiler bile verilerini daha etkili bir şekilde kullanabilir.

MindsDB, birçok sektörde farklı kullanım alanlarına sahiptir. Örneğin, finansal tahminler yapmak, tedarik zinciri yönetimi, pazarlama analizi ve daha pek çok konuda kullanılabilir. Bu araç, şirketlerin daha akıllıca kararlar almalarına yardımcı olur ve rekabet avantajı elde etmelerini sağlar.

Yukarıda anlatılan faydaları sağlamak için MindsDB’nin “AI Tables” adında bir ürünü kullanmamız gereklidir. Kısaca özetlemek gerekirse AI Tables bir veritabanında depolanan makine öğrenimi modelleridir ve verilerinize dayalı tahminler yapmanıza yardımcı olurlar. Bu sanal tablolar, zaman serisi, regresyon ve sınıflandırma tahminlerini veritabanı içinde gerçekleştirmenizi sağlar ve basit SQL ifadeleriyle AI Tablolarını sorgulayarak neredeyse anında çıktı elde edebilirsiniz.

MindsDB, AI Tabloları kavramını kullanarak veritabanlarına makine öğrenimini getirir.

AI Tabloları, bir veritabanında depolanan makine öğrenimi modelleridir ve verilerinize dayalı tahminler yapmanıza yardımcı olurlar. Bu sanal tablolar, zaman serisi, regresyon ve sınıflandırma tahminlerini veritabanı içinde gerçekleştirmenizi sağlar ve basit SQL ifadeleriyle AI Tablolarını sorgulayarak neredeyse anında çıktı elde edebilirsiniz.

Yani, AI Tabloları sayesinde verilerinize dayalı tahminleri hızlı ve kolay bir şekilde veritabanınızda gerçekleştirebilirsiniz. Bu da işletmenizin verimliliğini artırırken, zaman ve maliyet tasarrufu sağlar. Ayrıca, AI Tabloları kullanımı kolaydır ve herkes tarafından kullanılabilir.

Kendi hazırladıkları tutorial anlaşılır ve güzel olduğu için burada tekrar anlatmayacağım, kurulumu buradan yapıp MindsDB’yi kullanabilirsiniz, ben bu yazıda bedava cloud hesabı üzerinden sundukları MindsDB arayüzünü kullanarak örnek çalışma yapacağım.

İlk önce üzerine çalışmak için bir veri setine ihtiyacımız var. Kaggle üzerinden Titanic veri setini indirip MindsDB’ye yüklemeye başlayabiliriz. MindsDB’ye veri yüklemenin temel 2 yolu var, mevcut sistemler üzerinden doğrudan yüklemek veya doğrudan dosya yüklemek.

Verileri yükledikten sonra aşağıdaki gibi basit bir SQL syntax’li sorguyla veriye göz atmaya başlayabiliriz. Verimiz (dosya yüklediğimiz için) files altında yüklerken verdiğimiz isimde bulunacak. Ben “titanic_train” adını kullanmıştım.

Hemen ardından tek bir sorguyla modelimizi eğitmeye başlayabiliriz.

MindsDB’de model eğitmek için CREATE MODEL yada CREATE PREDICTOR tarzında bir syntax kullanılıyor. Ardından istediğimiz dosya dizinini ve hangi dosyayı hedefleyeceğimizi belirtiyoruz, son olarak neyi tahmin etmek istediğimizi belirterek modeli eğitmeye başlamış oluyoruz.

Modellerimi inceleyerek her bir modelin bütün özelliklerini gözlemleyebilir, performansını ölçebiliriz. Bizim modelimiz 0.794 Accuracy sonucu vermiş.

Gerçek verilerle tahmin yapmak için de özel bir sorgu komutu çalıştırmamız gerekiyor. Aslına bakarsanız normal bir SQL tablosu üzerinde sorgu çalıştırmaktan farkı yokmuş gibi gözükse de burada doğrudan modelimiz üzerinde sorgu çalıştırıyoruz.

Cinsiyet, kardeş sayısı, ebeveyn sayısı, gemiye binip binmeme durumu, yaş, yolcu sınıfı ve ücret gibi bilgileri verip yaptığımız sorgu sonucunda Survived sınıfı ile ilgili bir tahmine ve bu tahminin açıklamasına erişebiliyoruz.

Geri kalan bütün veriler aynıyken cinsiyeti değiştirince tahmin 0'dan 1'e yani hayatta kaldı olarak değişiyor.

Sonuç olarak MindsDB’ yi kullanarak basit komutlarla da Kaggle’dan aldığımız veri seti üzerinde kolaylıkla çalışmalar yapabildik.

Evet arkadaşlar okuyup eşlik ettiğiniz için çok teşekkür ederiz, bu ve bunun gibi içeriklere ulaşmak, meraklı, zeki ve çalışkan meslektaşlarınızla zaman geçirmek isterseniz Discord sunucumuza da bekleriz. 🚀 Link

MindsDB — Makine Öğrenmesi Problemlerini SQL Sorguları Yazarak Çözmek was originally published in Geeks-of-Data on Medium, where people are continuing the conversation by highlighting and responding to this story.

Yazıya başlamadan önce “Geeks of Data” Discord kanalımızdan bahsetmek istiyorum, katılıp selam verebilir, veri bilimi, mühendisliği veya analizi alanlarında fikir alışverişi yapabilirsiniz. Link

LLM’ler (Large Language Model) yani büyük dil modelleri transformer mimarisinin “Attention is all you need” isimli makale ile hayatımıza girdi ve bütün dünyayı etkisi altına aldı. Bunun en gözle görülür sebeplerinden birisi insan benzeri dil anlama ve üretme yeteneklerine sahip olması ve/veya bize böyle hissettirmesidir. Arkasında yatan sebep her ne olursa olsun, bu dahiyane yaklaşım önümüzdeki on yıllarda dönüp baktığımız zaman teknolojinin evrimindeki en büyük kırılmalardan birisi olarak anılacak.

Herkesin gözünün önünde büyüyen bütün büyük teknolojiler gibi LLM’ler de firmaların en iyisini üretme konusunda çok büyük bir yarışa girmesine sebep oldu, özellikle kamuoyunda yarattığı etki ve erişilebilirliği ile OpenAI firmasına ait modeller bu alanda en çok bilinen ürünlerdir. 175 milyar parametreye sahip GPT-3.5 OpenAI’ın çeşitli versiyonlarını programlama bilen herkesin rahatlıkla kullanabileceği şekilde sunduğu modellerden birisi, okuduğunuz yazı da bu modellerle ilgili olacak.

Bahsedilen LLM’ler ile etkileşimde bulunmanın en temel yolu “prompting” yani bir yazı girdisi verip modelin verilen yazıyı en mantıklı şekilde tamamlamasına izin vermekten ibaret, bu tür modellerin gelişimine başlangıçtan beri tanıklık etmiş kişiler için bu süreç daha kolay ve doğalken ilk kez uğraşan insanlar için yorucu olabilir, ben her iki durumda da https://learnprompting.org/ adresinden modern LLM’ler için prompting nasıl yapılır öğrenmek gerektiğine inanıyorum. Yazının kalanında belirtmeden kullanacağımız “chain-of-thought” veya “knowledge base” gibi bazı tekniklerin neden ve nasıl kullanıldığını anlamanızı kolaylaştıracaktır.

Bugün üzerinde durup örneklerini paylaşacağımız LLM kullanım yöntemi, normalde çeşitli yapay zeka modelleri ve daha geniş eğitim verisi kullanarak çözdüğümüz problemleri doğal dil modeline basit örnekler vererek tek seferde çözdürme denemeleri üzerinden ilerleyecek, bunları yaparken de açık kaynak olarak geliştirilen Promptify kütüphanesinden yararlanacağız.

Promptify, Prompt Mühendisliği, LLM’lerle NLP Problemlerini Çözmek için çeşitli prompting şablonları, örnekler ve büyük modellerin wrapper’larını yapısında bulunduran bir kütüphane ve açık kaynak olarak bu Github adresinde mevcut.

İlk örneğimiz, her veri bilimcisinin çokça karşılaşıp çözdüğü tarzda bir binary classification problemi, her ne kadar birçok senaryoda artık çözülmesi oldukça kolay bir problem türü olsa da LLM kullanarak konuşarak istediğimiz tarzda yapısal çözüm üretebilmek başka bir sürü farklı olasılığın kapısını aralıyor.

Bu linkten kütüphaneyi kurup repository’yi de kopyaladıktan sonra, classification.ipynb dosyası ile başlayabiliriz, 2. hücrede istenen anahtar OpenAI API erişim anahtarınız, bu şekilde erişebilirsiniz.

Örnek verileri incelediğimizde bunların temelde birer hedef cümle ve bu cümlelerle eşleşen birer etiketten ibaret olduğunu görüyoruz. Promptify bu örnekleri düzgün bir komut kombinasyonu ile modele iletmemizi sağlayan altyapıyı bize sağlıyor. Bunu jinja yazı sablonlarıyla sağlıyoruz.

Yukaridaki prompt şablonu sırasıyla LLM’in amacını tanımlıyor, ardından çıktı için olabilecek etiketleri belirtiyor, çıktının ne formatta olması gerektiğini kesinleştirip örnek-etiket çiftlerini de sunduktan sonra verilen girdiyi yollayıp bütün bunlara göre bir çıktı istediğimizi anlatıyor. Bunu Promptify’ın prompter methodunu kullanarak yapıyoruz, ve sonuç aşağıdaki gibi oluyor.

Son olarak fit methodunu kullarak oluşturduğumuz promptu OpenAI’ya gönderip yanıt bekliyoruz.

Görüldüğü üzere hedef metnimiz olan “Amazing customer service” için umulduğu üzere positive çıktısı aldık üstelik bunu Promtify’ın diğer yaklaşımlardan ayrıştığı nokta olan yapısal sonuç verme özelliklerini kullarak yapabildik.

Aynı dosyadaki bir başka örnek aynı problemi daha geniş bir etiket yelpazesi arasından seçim yapmamıza olanak sağlayan bir multiclass classification örneği içeriyor.

Yine örnek verileri yükleyip sonra etiketlerimizi inceliyoruz. Örnekler dosyasından başka bir bilgiye ihtiyacımız yok bu sefer ön konuşma kısmını çok daha kısa tutacağız.

Örneklerimizi modelin anlayacağı tarzda bir promta çevirdikten sonra fit methodu ile LLM’e gönderiyoruz.

Aynı prompt için bu sefer sonuç “joy” olarak karşımıza çıkıyor, kaldı ki bunun da doğru olduğu ortada ve yine sonuçlar istediğimiz yapısal formatta çıkıyor.

Buraya kadar okuduğunuz için çok teşekkürler arkadaşlar, bu projeye “Geeks of Data” Discord kanalımızda da ilgilenen arkadaşlarla aktif bir şekilde katkıda bulunuyoruz(proje bize ait olmasa da). İlgilendiyseniz gelip geliştirmeye hep birlikte devam edebilirsiniz. 🚀 Link

Promptify-Yapay Zeka Problemlerini Büyük Dil Modelleriyle Konuşarak Çözmek was originally published in Geeks-of-Data on Medium, where people are continuing the conversation by highlighting and responding to this story.

June 24th, 2021

Hello everyone! Today, I’ll try to walk you through an application that would allow you to take an image file, upload it to a React frontend, apply OyCR (Optical Character Recognition) on it, send it to the Flask backend, and then the “gramformer” library will check and correct the grammar then we’ll create a new PDF with the corrected text.

You can find the source code here, I’ll not explain React and OCR part here again. You can find it in a former post of mine here. If you are interested, you can also follow along for React OCR — Sentiment Analysis application in the link I provided.

To be able to use “gramformer”, you can go the GitHub repo from the link here and follow the instructions. “Gramformer” is dependent on “pytorch”, you’ll also need to install it in advance. If you don’t already have it, use the link and install it.

After everything is ready, we can start working on our application.

We first set our manual seed to the torch then we initiate our “gramformer” class with corrector settings and GPU disabled, you can also enable it if you like but will work just fine without enabling it.

Then on a different folder, in my case that one was server.py, you should first import dependencies and then we can create our server. In this particular example, our “/graformer” endpoint will accept both “GET” and “POST” requests yet “GET” requests are not particularly important here. In our payload we can if there is an “ocr” field in the request, if so we do grammar correction and add the corrected ones from the corrected list to “to_return” string. Other than Flask, the only dependency we need is “fpdf” and you can get it here.

Then we create our “pdf” object, add a page into it, add our title. Handling longer strings is a bit trickier, I’ve chosen counting each character and then put a new line into the pdf after a certain amount of characters, to do that I created a list with a member for each line then looped over the list and created the PDF. I also returned the corrected text as well as a 200 status code.

Results: The input image I used is like this one below.

The output we get out of it is this one. The funny part is I realized that my hardcoded PDF title is also shit and could use a “gramformer” correction. :D

Either way, the result looked pretty decent to me, especially for such a low amount of effort. I hope that it is really useful for you too.

Until we see each other again, take care of yourselves and keep learning. :)

Originally published at https://blog.akbuluteren.com.

More content at plainenglish.io

Building a Grammar Corrector App with React, Python, Flask, Tesseract, and Gramformer was originally published in JavaScript in Plain English on Medium, where people are continuing the conversation by highlighting and responding to this story.

Hello everyone,

It has been a while since the last time I posted a tutorial, or something in general. Basically life happened and I decided not to share rather than sharing low quality content. Today, I’ll walk you through a computer vision project that takes your live video input and translates your blinks into Morse Alphabet so you can blink short and long to write messages.

The source code for the project is here, I also used this awesome tutorial as a boiler plate to start with, if you want to learn more about Computer Vision applications you can check the channel owner’s channel from the link I posted. So without further ado let’s dive right into it.

As for the beginning I want to explain MediaPipe library a little bit, “MediaPipe offers open source cross-platform, customizable ML solutions for live and streaming media.”, this definition is from their own website and explains what you can do with that library shortly and cleanly, they offer several other solutions that can run on different platforms and I’ll explain all of them in a different post in the future. The feature that we’ll use today is called “Face Mesh”, this solution provides us a face landmark map with the most important 468 landmarks that can be seen in a human’s face. Using that map we’ll calculate the ratio between some particular points in the face and with that information we’ll detect if the person on the camera blinked or not.

In the picture above you can see the point that I mentioned earlier, with that kind of an access to the landmarks in human face you can make all sorts of detection that are related to facial expressions, another cool library that offers all of them built-in is OpenFace you can also check out that library.

To be able to detect if an eye is blinked or not we use “ear” ratio which stands for “eye aspect ratio” to be able to calculate an eye’s “ear” value we need to access 6 landmarks at one’s face. You can see how “ear” is calculated and which landmarks we need from the link here.

Now let’s move on the coding part; first we need to do the imports that we need. I also defined a function to play around with frame size. We first define a previous time variable to detect FPS later on, then in order we define drawing object so we can draw between landmarks, we create FaceMesh object and finally we edit our drawing specs.

We then define 2 arrays to keep old ear values, 1 array to keep letters, 1 bool to keep if signal is long, 1 for keeping blinking duration, 1 for keeping non blinked margin, 1 to keep is blinked, 1 string to keep Morse Code string, and the last one is to keep found letter.

Dictionary to keep Morse Alphabet.

Main loop of our project, read source image, upscale input by 50%, convert from OpenCV’s BGR to RGB because it’s needed in this form from MediaPipe, then we calculate FPS via taking current time and dividing 1 with the difference of current time and previous time.

If there are landmarks for each landmarks first draw the connections between and then calculate ear values.

If count is bigger than 10 then make it zero, else increment by 1. If previous ear arrays are longer than 10 change the current element with the new ear value and make long check true.

If is long and current ear values to 9 older ear values check is holding, detect blink and increment “blinkedFor” by 1, inside the else if blink was longer than 0.8 secs then count it as a L(Long), else S(Short), otherwise increment the not blinked time by 1, if not blinked duration is longer than 2 seconds ( 2 times as FPS ), if the letter we found in MorseCode add it to letter array if not just clear the array.

Then finally take the found array, turn into string, and then put to the page, a small surprise though, if text has my GF’s name (Ece) inside than it automatically adds ❤ to the end. :D

So that’s it everyone, I hope that the tutorial was easy to understand and interesting. I’ll be keep publishing regularly again without a day restriction this time, I hope to see you in the next ones. :)

Originally published at https://blog.akbuluteren.com.

Morse Code Translator Detect Blinks — Python, OpenCV, MediaPipe was originally published in Analytics Vidhya on Medium, where people are continuing the conversation by highlighting and responding to this story.

Hello everyone, today I’ll briefly talk about the updates about my game dev learning journey and current plans. So let’s get started…

The situation of the Previous Learning Path

I’m happy to say that nearly everything is finished now about the series I follow. I now know lots of stuff about Phaser and Arcade physics provided from it. I’ll also finish the parts about the Facebook app upload.

The latest updates I did about the game is as following;

• The general game sounds added.
• The game sounds effects for other events added.
• Combat mechanics refined, like sliding and air sliding.
• Some code refactored.

Map Generation

For map generation with Phaser, I found an awesome online resource that can truly step up my progress. When that tutorial ends I hope that I’ll now have an extending understanding of the following things;

I already worked on 2 things at the time. Static and Dynamic Map generation, now I’ll briefly talk about that matter.

Static Map Generation

Before that one, I always worked on 2d platformers or flappy bird-like projects so working on some other concepts was really great for me. I just followed along with this tutorial. Here are some screenshots from that guide outputs.

Working on such a map improved my insight about the maps overall. But I’m also aware of the limitations of Phaser arcade physics at the moment, for example when working on such a project I’ll always need to create my tiles to fully fill the squares because Phaser always wants them as rectangles otherwise we need to convert them to sprites to change the shape and that’s painful.

Dynamic Map Generation

Dynamic map generation is quite promising from many aspects. In the example from this same series, I followed along with dynamic map generation and that mentioned collider generation I mentioned above.

Future Targets and Conclusion

I’m planning to move on procedural map generation part after that one. I guess it’ll be quite promising from many aspects if I can manage to understand it 100%, even I won’t use it regularly it could be really flexible for most cases with fun projects and stuff :).

Alright then, that’s it for today. I’m hoping to come here next time with something of my own but I guess until that moment my road map doesn’t suck that much either. Take care, see you next time :).

Originally published at https://blog.akbuluteren.com.