Idea ในการทำ Project นี้มาจากที่เห็นคนเริ่มใช้ ChatGPT ในการแปลภาษา รวมถึงใช้ในการแก้ประโยคต่าง ๆ ซึ่งมักจะได้การแปลที่มีคุณภาพกว่า Google Translate ดังนั้นเลยอยากลองพัฒนา Model แปลภาษาขึ้นมา และการมี Model ที่ Opensource ก็จะทำให้คนอื่นสามารถนำไปใช้งานและพัฒนาต่อยอดไปใน Application อื่น ๆ ได้

ซึ่ง model แปลภาษา th-en ตอนนี้ที่เป็น opensource ที่ดีที่สุดคือ SCB_1M-MT_OPUS+TBASE จาก airesearch ซึ่งได้ BLEU score บน IWSLT 2015 อยู่ที่ 28.3

ดังนั้นเป้าหมายของผมก็คือทำ model ที่ดีกว่าตัวที่ opensource อยู่ปัจจุบัน (ยังไม่หวังชนะพวก API เสียเงิน พวกนั้นเขามีเงินจ้างทีมวิจัย+ซื้อการ์ดจอแรง ๆ อาจจะเป็นเป้าหมายที่สูงไปหน่อย) พอมาพิจารณาความเป็นไปได้ก็คิดว่าด้วย Pretrained Model ในปัจจุบัน ถ้าเอามา finetune ก็น่าจะทำ BLEU score ที่ดีกว่า Model opensource เดิมได้

Metrics

จาก Intro ด้านบนก็น่าจะเห็นกันไปแล้วว่า Model แปลภาษาจะถูกวัดความสามารถโดยใช้ BLEU score (Bilingual Evaluation Understudy) ซึ่งเป็นการคำนวนว่าการแปลของ Model นั้นใกล้เคียงกับประโยคที่ถูกต้องมากแค่ไหน โดยเทียบคำที่เหมือนกันที่ n-gram = 1–4 และนำมาเฉลี่ยกัน

โดยสูตรนี้จะต่างจาก Precision ปกติตรง Clip(Num n-grams matches) โดยจำนวนคำที่ match จะต้องไม่เกินจำนวนคำที่อยู่ใน Reference

ตัวอย่างเช่น
Reference: I drive a car
model predict ออกมาว่า: car car car car
ถ้าใช้สูตร precision ปกติจะได้ = 4/4 = 1 หรือว่าถูกทั้งหมด
แต่ถ้าคำนวนตาม BLEU score จะได้ 1/4 เพราะ Reference มีคำว่า car แค่คำเดียว

Data Preparation

ตัว Dataset Machine Translation ภาษาไทย-อังกฤษมีหลัก ๆ อยู่ 2 ตัวก็คือ scb-mt-en-th-2020 และ OPUS ซึ่งตัว OPUS เป็น Dataset ที่มีอยู่เกือบทุกภาษา! โดยเราจะไปโหลดจากเว็บ OPUS โดยตรงก็ได้ หรือว่าถ้าอยากได้แบบง่าย ๆ ก็โหลดจาก Vistec ที่ปล่อยไว้เป็น CSV ให้เรียบร้อย

ก่อนจะเอา Data ไป Train model เราก็ต้อง Clean Data ซะก่อน โดยเฉพาะกับภาษาไทยที่บางครั้งอาจจะเห็นว่าเขียนเหมือนกัน แต่จริง ๆ แล้วเป็นตัวอักษรคนละตัว แต่เวลาเอาไป tokenize และแปลงเป็น input_ids จะออกมาเป็นคนละตัวกัน

ใช้ขั้นตอนดังนี้ (Code, Based on thai2nmt)

1. ตัด Whitespace หน้า/หลังประโยค
2. HTML unescape แปลง HTML Entities กลับมาเป็น Charactor ปกติ (ex: " —> “)
3. Normalize Unicode เนื่องจากตัวอักษรที่เป็น Unicode อาจมีหลายรูปแบบแต่หมายถึงตัวอักษร / สัญลักษณ์ตัวเดียวกัน (ex: ℌ, H) เลยต้อง Normalize มาให้เป็นตัวเดียวกัน
4. Normalize Thai Text Ex. สระ แ- สามารถพิมพ์ได้ด้วย สระแอ ตัวเดียว หรือ สระเอ 2 ตัว (เ เ -) หรือ คำว่า น้ำ ที่เขียนได้ทั้ง น้ำ (น, ้ , ำ) , นำ้ (น, ำ, ้) หรือ นํ้า (น, ํ , ้ , า)

หลังจาก Clean Text แล้วก็จะมีบางคู่ประโยคที่ต้องตัดออก โดย

1. คู่ประโยคที่มี String เปล่า (“”)
2. คู่ประโยคที่ภาษาไทยไม่มีตัวอักษรภาษาไทย (มีแต่ตัวอักษรภาษาอังกฤษ) อันนี้พบว่าบางคู่ประโยค โดยเฉพาะ opus-kde4 จะมี Text ที่เป็นภาษาอังกฤษทั้งคู่แต่เขียนไม่เหมือนกันอยู่

3. Text ที่มี Unicode Control codes บางตัว จะเป็นตัวอักษรที่อ่านไม่ออก (ส่วนมากเจอใน opus-opensubtitles)

Exploratory Data Analysis

เนื่องจากว่าตอน Train Model Machine Translation เราจะต้องกำหนด Sequence Length หรือความยาวของประโยคที่จะเอาเข้าไป Train ซึ่งในแต่ละ Batch ทุกประโยคจะต้องมีความยาวเท่ากัน

ดังนั้นเราจะมาดู Distribution ของความยาวประโยคเมื่อ tokenize ออกมาแล้วกัน เพื่อดูว่าส่วนใหญ่ประโยคยาวเท่าไร

Note: ข้อมูลตรงนี้มาจากการใช้ NLLB Tokenizer ตัดประโยคนะครับ

ซึ่งก็จะเห็นว่าประโยคส่วนมากจะยาวไม่เกิน 50 Tokens ดังนั้นผมเลยตั้ง Sequence Length ให้ไม่เกิน 64

Model

สำหรับ Tools ที่ใช้ Train Model ที่เป็น architecture Transformer ก็คงหนีไม่พ้น Huggingface transformers ซึ่งถ้าใครอยากลอง Reproduce ผลการทดลองนี้ก็ดู Code ทั้งหมดได้บน https://github.com/wtarit/th-en-machine-translation

mT5

Model ตัวแรกที่ลองคือ mT5 จาก Google ซึ่งใน Dataset มาการใช้ภาษาไทย Train อยู่ 1.14% (อาจจะดูน้อย แต่ mT5 นั้น train จาก dataset 107 ภาษา) ซึ่ง Google ก็ได้ Release mT5 ออกมา 5 ขนาดได้แก่ mT5-Small (300M parameters), mT5-Base (580M parameters), mT5-Large (1.2B parameters), mT5-XL (3.7B parameters), mT5-XXL (13B parameters) เลยลองนำ mT5-Small มา finetune บน dataset SCB ดู

โดยก่อนจะ finetune นั้นผมจะ Tokenize dataset แล้ว Save เก็บไว้เพื่อต้องมา Run ซ้ำหรือ Train ไปแล้วเกิด Error ต้อง Train ใหม่จะได้ไม่ต้องเสียเวลา Tokenize data ใหม่

หลังจากเริ่ม Train ก็มีปัญหาเกิดขึ้นทันที นั้นก็คือ loss เป็น 0.0

{'loss': 0.0, 'learning_rate': 4.973326944577544e-05, 'epoch': 0.04}

ซึ่งเอาไป search ดูก็พบว่าเป็นเพราะใช้ fp16 train ซึ่งมีปัญหาที่ Implementation ของ mT5 ใน Huggingface (ที่ Huggingface บอกว่าแก้แล้วแต่เห็นหลาย ๆ คนรวมถึงผมก็ยังเป็นอยู่) วิธีแก้ก็คือไปใช้ bf16 ที่มี range ของตัวเลขกว้างกว่า (แต่จะใช้ได้เฉพาะบน GPU Nvidia ที่เป็น Ampere หรือใหม่กว่า) หรือใช้ fp32 ปกติ

พอเปลี่ยนไปใช้ bf16 แทนแล้วก็ finetune ไปได้ 5 epochs ก็พบว่า BLEU score นั้นต่ำกว่าที่คิด ใน Validation Set อยู่ที่ 13.15 และพอเอาไปลองกับ Test set อยู่ที่ 12.14 ซึ่งตรงนี้ดูจาก Training และ Evaluation Loss แล้วก็คิดว่าถ้า Train ต่อ Model ก็น่าจะดีขึ้นอีก

No Language Left Behind (NLLB)

เนื่องจาก mT5 ออกมาตั้งแต่ปี 2020 ในโลกของวงการ NLP ปัจจุบันที่อะไรออกมาได้อาทิตย์เดียวก็ถือว่าเก่าแล้ว ผมเลยคิดว่ามันน่าจะต้องมี Pretrained Model อะไรที่ดีกว่านี้สิ เลยมาเจอ NLLB จาก Meta ที่ออกมาเมื่อปี 2022 เป็น Model สำหรับแปลภาษาโดยเฉพาะที่แปลได้ถึง 200 ภาษารวมถึงภาษาไทยด้วย! ลองใช้ Model ตัวเล็กสุด (600M Parameter) ก็พบว่าได้ BLEU score ถึง 24.03 โดยไม่ต้องทำอะไรเลย ก็เลยคิดว่านี่น่าจะเป็นจุดเริ่มต้นที่ดีกว่า mT5 ในการเอาไป finetune

การ finetune ก็เหมือนกับ mT5 เลยคือ Tokenize dataset เก็บไว้ก่อนแล้วเอาไป Train โดยตอนแรกใช้แค่ SCB dataset ก็พบว่า BLEU score กลับลดลงเหลือ 21.7

ซึ่งจากที่คุยกับ mentor ก็คิดว่าเป็นเพราะ SCB dataset มีข้อมูลที่เป็นภาษาพูด/บทสนทนาอยู่น้อยที่ 300,280 ประโยค หรือประมาณ 30% ของ Dataset ทั้งหมด (Taskmaster-1, NUS SMS, Mozilla Common Voice) พอทดสอบกับ iwslt_2015 ที่เป็นภาษาพูด Model เลยทำงานได้ไม่ดี

ก็เลยลองเพิ่ม dataset เป็น scb+opus พอ Train ไปได้ 3 epochs BLEU score ดีขึ้นเป็น 27.37 ดูแล้วมาถูกทาง และดูจาก Training/Evaluation Loss ก็คิดว่า Train ต่อได้อีก

แต่ปัญหาคือมัน Train นานมาก ๆๆ ทั้งหมดนี่ใช้เวลาไป 78 ชม. (Train บน RTX3080 16GB Laptop)

LoRA

จากที่เห็นคน finetune LLaMA และ LLM อื่น ๆ ด้วย LoRA แล้วเลยคิดว่าน่าจะเอามาลองใช้ดู

วิธีการของทำงาน LoRA นั้นจะ freeze weight ทั้งหมดของ model และ inject parameter ใหม่เข้าไปใน Transformer layer และ Update แค่ Parameter นั้น

อีกเทคนิคหนึ่งคือการแยก Weight Matrix เป็น 2 ตัว ที่เมื่อคูณกันแล้วจะได้ ΔW (ΔW = WA x WB) เนื่องจากใน Paper นี้พบว่า Weight ของ Model นั้นมี Rank ต่ำ ทำให้ Decompose ออกมาเป็น Matrix ขนาดเล็กได้

ส่วนค่า r นั้นคือ hyperparameter ที่ต้องกำหนด โดยถ้า r มาก Trainable Parameter ก็จะมากขึ้น

และข้อดีของ LoRA อีกอย่างคือเราสามารถ Save แค่ Weight ที่ inject ได้เข้าไปและเอามารวมกับ Base Model ทีหลังได้ ทำให้ได้ Weight ที่มีขนาดเล็ก

โดย Library ที่ผมจะใช้ในการ finetune ด้วย LoRA ก็คือ Huggingface PEFT แต่มันไม่ support NLLB ดังนั้นเราจะต้องใส่ target_modules เอง (ส่วนที่จะ Train) ผมเลือก query projection, value projection (Training Code)

peft_config = LoraConfig(
    task_type=TaskType.SEQ_2_SEQ_LM,
    inference_mode=False,
    r=8,
    lora_alpha=32,
    lora_dropout=0.1,
    target_modules=["q_proj", "v_proj"],
)

ส่วน rank=8 โดยอันนี้เลือกมาตาม paper ของ LoRA ที่เขาทดลองมาว่าการใช้ rank=64 ก็ไม่ได้ทำให้ accuracy ดีขึ้น

หลังจาก Train ไปได้ 9 epochs ได้ BLEU Score บน Validation Set อยู่ที่ 24 ซึ่งต่ำกว่า Model ที่ Train ทั้ง Model แค่ 3 epochs เลยตัดสินใจหยุด Train (ดู Training Logs ได้บน Weights & Biases)

พอเอาไปทดสอบบน Test Set ได้ BLEU Score อยู่ที่ 24.23 ซึ่งพบว่าแทบจะไม่ได้ดีขึ้นจาก Baseline เลย ซึ่งตรงนี้อาจจะต้องลองปรับ rank ดูว่าจะทำให้ model เรียนรู้ได้ดีขึ้นไหม

Model Result

ตัวอย่างประโยคจากการแปลด้วย NLLB-600M, NLLB-Finetuned (SCB+OPUS) และ Model จาก AIResearch

Source: โยว่ และนี้คือเสียงจากเด็กวัด
NLLB-600M: Oh, and this is the voice of the nun.
NLLB-Finetuned: Yo, and this is the voice of the boy.
AIResearch: Yo, and this is the voice from the temple boy.

Source: วันเสาร์อาทิตย์นี้อยากไปเที่ยวไหน
NLLB-600M: Where do you want to go this Saturday?
NLLB-Finetuned: What holiday would you like to go to this weekend?
AIResearch: What weekend would you like to go?

Source: สวัสดีครับพี่เนม
NLLB-600M: Hey, what’s up, Ned?
NLLB-Finetuned: Hello, Nam.
AIResearch: Hello, Nem.

Source: เย็นนี้เราน่าจะออกไปกินข้าวข้างนอก
NLLB-600M: We should go out for dinner tonight.
NLLB-Finetuned: We should go out for dinner this evening.
AIResearch: We should go out for dinner this evening.

Source: ขอทราบนามสกุลคุณสมชายค่ะ
NLLB-600M: I’d like to know your last name, Mr. Prince.
NLLB-Finetuned: May I have your full name?
AIResearch: What’s your last name, Somchai?

ซึ่งจากผลการแปล NLLB-Finetuned จะมีความใกล้เคียงกับ Model จาก AIResearch ซึ่งน่าจะเป็นเพราะใช้ Dataset เดียวกัน

Deployment

การ Deploy ผมเลือกใช้ Huggingface Space เพราะว่า Free (สำคัญสุด) และให้ Resource เยอะ โดยเฉพาะ Ram 16GB ทำให้ Deploy Model ใหญ่ ๆ ได้ ซึ่งถ้าใครอยากทดลองก็สามารถเข้าไปได้ที่ https://huggingface.co/spaces/wtarit/nllb-th-en-translation

Improvement

วิธีการที่ผมคิดว่าจะสามารถทำให้ Model ทำงานได้ดีขึ้นได้ แต่ไม่ได้ลองด้วยเหตุผลทางด้านเวลา และเงิน

เพิ่ม Dataset

จากการปรึกษา Mentor มีไอเดียว่าใช้ ChatGPT มา Generate Data (แนว ๆ Alpaca ที่เอา Data จาก text-davinci มา train) ปัญหาคือพอคำนวณ cost แล้ว แพงมาก ลองคำนวณคร่าว ๆ 1 ล้านประโยค ใช้ประมาณ 300 USD (assume 1 ประโยคใช้ 150 tokens, gpt-3.5-turbo $0.002 / 1K tokens)

อีกไอเดียนึงคือใช้ Youtube Subtitles จากช่องที่มี Subtitles ทั้ง 2 ภาษา แต่พบปัญหาคือพอเอา Subtitles ไทย-อังกฤษมา align กันตามเวลาของคลิป มีบางอันที่ประโยคไทยกับอังกฤษตัดมาไม่ตรงกัน (เช่นไทยเขียนเป็นประโยคยาว อังกฤษตัดเป็น 2 ช่วง)

คัด Data ที่คุณภาพต่ำออก

สังเกตว่า Dataset ที่มาจากการ Web Scraping หลาย ๆ อันจะ Align มาไม่ตรงกันเช่น Data จาก Wikipedia ใน SCB

EN: “FIFA 15” received positive reviews across all platforms, although the PC version in particular was criticized for the amount of bugs that were featured at release.
TH: และเป็นเกมแรกในซีรีส์”ฟีฟ่า” ที่ได้รับสิทธิอย่างเต็มที่ในพรีเมียร์ลีก “ฟีฟ่า 15” ได้รับคำวิจารณ์ในเชิงบวกในทุกระบบแพลตฟอร์ม แม้ว่าในเวอร์ชันพีซีจะได้รับการวิจารณ์ถึงอาการบั๊กที่เกิดขึ้นบ่อยครั้งในช่วงเปิดตัวอยู่ก็ตาม

บางประโยคแปลผิด เช่น ข้อมูลที่มาจากการ Crowdsourcing (ตัวอย่างจาก SCB generated_reviews_crowd)

EN: This was my book club’s choice for the spring 2012.
TH: นี่คือหนังสือเล่มโปรดของฉันในฤดูร้อนปี 2012

ข้อมูลจาก NUS_SMS ที่ถึงเป็นภาษาอังกฤษแต่เป็นแบบ Singlish

Train Model ที่ให้ขึ้น

1. Train model ให้นานขึ้น
2. ลอง Train NLLB ตัวที่มี Parameter เพิ่มมากขึ้น

Conclusion

ถึงแม้ว่า Project นี้จะยังไม่ได้ผลลัพธ์ตามเป้าหมายที่ตั้งใจไว้ แต่ก็ถือว่าใกล้เคียงมาก ๆ ส่วนที่ยังไม่ได้ Train ต่อนั้นเพราะอยากจะ Clean Data ให้ดีกว่านี้แล้วค่อย Train (ตามคติที่ว่า Garbage in — Garbage out) และการ Train แต่ละครั้งมันใช้เวลานาน

ในด้าน Tools ที่ใช้งานอาจจะสังเกตว่า Project นี้มีความเป็น Huggingface Ecosystem มาก ๆ แต่ว่ามันใช้ง่ายจริง ๆ แนะนำให้ลองสำหรับคนที่จะทำ NLP (แต่ปัจจุบัน Huggingface transformers ก็ Support Data แบบอื่น ๆ ด้วยนะ)

และสำหรับคนที่กำลังมองหา Model Machine Translation ไปใช้งานก็หวังว่า Model นี้จะเป็น Option หนึ่งให้พิจารณาครับ (แนะนำให้ลอง Evaluate ด้วยประโยคใน Domain ที่จะใช้งาน)

สุดท้ายก็ขอขอบคุณผู้จัดโครงการ AI Builders ที่จัดโครงการนี้ขึ้นมา และ Mentor, TA ที่ให้คำปรึกษาในการทำโครงงานครับ

Reference

• mT5: A massively multilingual pre-trained text-to-text transformer
• LoRA: Low-Rank Adaptation of Large Language Models

Parameter-Efficient LLM Finetuning With Low-Rank Adaptation (LoRA) - Lightning AI

เริ่มจากที่ส่ง Portfolio จะเป็นการกรอกข้อมูลใน Website สมัคร (ไม่ต้องทำเป็นเล่ม) ข้อมูลที่ใส่ก็จะคล้าย ๆ วิศวะภาคไทย (ดูหัวข้อได้จากประกาศรับสมัคร — ปี 2023)

พอก่อนประกาศผลประมาณ 2 วันก็มี Email เข้ามาว่าให้เข้า Line Openchat ซึ่งในใจเราก็คิดว่าคงแปลว่าเราผ่านเข้ารอบสัมภาษณ์แล้วแหละ ซึ่งเขาส่ง Email แบบ to หาทุกคน ทำให้เราเห็น Email Address ของทุกคน นับรวมได้ 47 คน

แต่ปรากฎว่า! วันที่ประกาศผลตามกำหนดการเราก็เข้าไปดูประกาศแล้วก็นับดูพบว่า มีคนได้สัมภาษณ์แค่ 36 คน ตามมาด้วย Chat นี้

ซึ่งก็เลยสงสัยว่า แปลว่ามีคนส่ง Port ทั้งหมด 47 คนเหรอ? แล้วเขาจะเชิญเข้า Openchat ทั้งหมดทำไม เพื่อแค่บอกว่าถ้าจะสมัครรอบต่อไปไม่ต้องจ่ายค่าสมัคร? รู้สึกว่ามันดูทำร้ายจิตใจคนไม่ได้ยังไงไม่รู้ แต่สำหรับคนที่ได้อย่างเราก็ดี เพราะคู่แข่งลดลงไปตั้ง 11 คน

ซึ่งจุฬาก็จะใช้ Microsoft Team สัมภาษณ์ ซึ่งบอกเลยว่าวุ่นวายมาก เพราะเขาจะส่ง invite เข้า Team มาโดยใช้ Email ที่เราใช้สมัคร แล้วอย่างเราที่ใช้ Gmail ก็ต้องเอา Email นั้นไปสมัคร Microsoft Account เพื่อที่จะเข้าทีม

วันสัมภาษณ์

ผมสัมภาษณ์เป็นคิวแรกเลย ซัก 8.40น. ก็เปิด MS Teams มา Standby แล้วก็จะมี Chat จากเจ้าหน้าที่มาบอกให้เราพิมพ์รายงานตัว และกด Join Call เพื่อเข้าไปสัมภาษณ์ พอเข้าไปใน Call ก็จะมีอาจาย์ 2 คน (ผมเจอต่างชาติทั้งคู่) แล้วก็พี่นักศึกษา/เจ้าหน้าที่ 2 คน ที่จะตรวจบัตรประชาชนเรา แล้วก็ช่วยอาจารย์จับเวลา

พอให้ดูบัตรประชาชนเสร็จเขาก็บอก “let’s start the interview”
เราก็เลยเริ่มแนะนำตัวไป ชื่อ โรงเรียน hobby

Q: What’s about your family?
A: เราก็เล่าว่าพ่อแม่เรียนจบอะไร ทำงานอะไร
Q: มีพี่น้องไหม
A: มีน้องสาว เรียนอยู่ Grade 8 โรงเรียนเดียวกัน

Q: ให้อธิบายงานใน Port อันนึงที่เราทำไปเป็น Mobile App (อันที่ส่งแข่ง NSC นั้นแหละ)
A: เราอธิบายไปว่าเป็นแอปอะไร ได้ idea มาจากอะไร ทำเพื่ออะไร

Q: มีงานใน Port อยู่ 3 Project มี Challenge อะไรที่เจอตอนทำ
A: อันนี้เราเล่าที่ไปแข่ง 2nd Kibo Robot Programming Challenge ว่าช่วงนั้นเป็นการทำงานออนไลน์(เพราะ COVID) ก็จะมีปัญหาเรื่องการทำงานร่วมกันที่อาจจะไม่ Smooth ในช่วงแรก แต่ก็ปรับตัวกันได้เพราะยังไงงานเขียนโปรแกรมมันทำที่ไหนก็ได้ แล้วก็เล่า Challenge จริง ๆ ของงานว่าการแข่งนั้นเราจะต้องควบคุมหุ่นยนต์ให้แม่นที่สุด แต่ก็ต้อง Optimize Code ให้ทำงานได้เร็วที่สุด

Q: ตอนทำงาน, ทำ Project เป็นกลุ่มเจอปัญหาไรบ้างไหม
A: อันนี้ก็เดาว่าเขาคงถามเน้นเวลาที่เราไปแข่งขันเป็นทีม ก็เลยตอบไปว่าเวลาแข่งพวกนี้มันไม่เหมือนกับงานกลุ่มที่ทำในห้องที่ถ้าคนไม่ทำก็สามารถโดนตัดชื่อออกจากกลุ่ม แล้วก็จะไม่ได้คะแนน แต่พอเป็นงานแข่งทุกคนมาด้วยความสมัครใจ แล้วเราก็ไม่สามารถไปบังคับให้ทุกคนช่วยทำงานได้ ซึ่งมันก็จะมีบางงานแข่งที่เราไม่ได้ใส่ใน Portfolio ที่ครูในชมรมอาจจะจับทีมให้เราไปแข่ง แล้วก็มีคนไม่ทำงาน ซึ่งสิ่งที่เราทำก็คือ ช่างมันแล้วก็ไป Concentrate ทำงานกับคนที่อยากทำ แล้วครั้งหน้าก็ไม่ทำงานกับมันอีก (เอาจริง ๆ ตรงนี้รู้สึกว่ามันไม่ใช่วิธีการแก้ปัญหาที่ดีเท่าไร แต่ก็คิดอย่างอื่นไม่ออก แล้วเราก็ทำแบบนี้ก็ตอบไปแบบนี้แหละ)

Q: เกรดดีทั้งคณิต ฟิสิกส์ เคมี เลยนะเนี่ย ชอบวิชาไหนมากสุด
A: ชอบฟิสิกส์ เพราะว่ารู้สึกว่าเป็นวิชาที่เรียนแล้วเห็นภาพในชีวิตจริง เช่นเรื่องการเคลื่อนที่เราก็เห็นความสัมพันธ์ของตัวแปรต่าง ๆ ในชีวิตจริงได้ แต่อย่างเคมีรู้สึกว่าเรียนเกี่ยวกับอะตอม โมเลกุล เราก็ไม่ได้เห็นว่าจริง ๆ มันหน้าตาเป็นไง ประมาณนี้

Q: อาจารย์ Share จอขึ้นมาให้เราทำโจทย์เลข

A: อันนี้ก็หา x ไป 2 ข้อ ข้อ 2 เขาถามวิธีคิดเราก็อธิบายว่ามุมภายในของสามเหลี่ยมมันต้องเป็น 180 ทำให้ได้มุมที่อยู่ตรงข้าม X แล้วก็เส้นตรงมุมรวมเป็น 180 ประมาณนี้

Q: เขาแก้โจทย์ บอกให้ Differentiate 2^x
A: เราตอบมั่วไป ซึ่งมันก็ผิด เขาไม่ได้ว่าอะไร แล้วก็ปิด Powerpoint โจทย์ไป

Q: ให้หา Volume ห้องที่เราอยู่ตอนนี้
A: เราเดาความกว้าง ยาว สูงของห้อง แล้วก็คูณเลขตอบไป

Q: Density คือ
A: มวล ต่อ ปริมาตร ก็คือขนาดของมวลในปริมาตร 1 หน่วย

Q: คิดว่าเราจะกลับไป lockdown ไหม
A: คิดว่าขึ้นอยู่กับการพัฒนาของ Virus กับ Vaccine ถ้ามี Virus สายพันธุ์ใหม่มาแล้วอัตราการตายมันสูงก็มีโอกาสที่เราจะกลับไป Lockdown ใหม่

Q: ถ้าไม่ได้ภาค ICE จะทำไง
A: ถ้าได้ภาค Robotics AI ก็จะไปคิดดูก่อน แต่ถ้าไม่ได้ทั้งคู่เราจะไปเรียนมหาวิทยาลัยอื่น

Q: Apply มหาวิทยาลัยอื่นไหม บอกได้ไหมว่าที่ไหน
A: ผม Apply แค่ที่นี่กับ Mahidol ICT

Q: Apply ไปแค่ 2 ที่เหรอ (เขาดูงง + ปนตกใจนิดนึง)
A: ใช่ครับ ตอนแรกเราก็สนใจ SIIT ด้วยแต่เนื่องจากมันอยู่ใกล และถ้าอยู่ภาคคอมมันจะต้องไปอยู่บางกะดีด้วย เราเลยตัดสินใจไม่สมัคร

เขาให้เราถาม
Q: ส่วนใหญ่เด็กที่จบ ICE ไปทำงานตรงสายไหม เช่น ไปเป็น Software Engineer รึเปล่า
A: เขาไม่ใช่อาจารย์ภาค ICE แต่ว่าเด็ก ISE จุฬาเกีอบทั้งหมดได้ทำงานในบริษัทดี ๆ หรือไม่ก็ไปเปิด Start Up กันเอง
A (อาจารย์อีกคน): แนะนำให้เลือกภาคที่เราอยากเรียนตามความชอบตอนนี้ เพราะอีก 4 ปี ความชอบของเราอาจจะเปลี่ยนก็ได้

Q: เด็ก ISE มีไป Exchange เยอะไหม
A: มีไปหลายประเทศเลย ทั้งไปทำงานในภาคอุตสาหกรรม และก็ไปทำวิจัยกับมหาวิทยาลัยต่างประเทศ

Q: แล้วเด็ก ISE มีทำงานวิจัยกันไหม
A: จะทำกันช่วงปี 4 เพราะว่าปี 2–3 จะมี Coursework เยอะ แล้วช่วงปี 1 ก็จะต้องปรับตัวจากการเรียนมัธยมมามหาวิทยาลัย

หลังวันสัมภาษณ์ 4–7 วัน (แล้วแต่ว่าได้สัมภาษณ์วันไหน) เขาก็จะประกาศผลว่าเราผ่านไหม แล้ว Rank เท่าไร (ลำดับคะแนนที่ได้จากการสมัคร/สัมภาษณ์) ซึ่งตรงนี้ก็มี Surprise นิดนึงคือ มีทุนให้ด้วย ตอนแรกคิดว่าจะมีให้แต่คนที่เข้า Option Test Score (จากที่อ่านประกาศตอนแรกเข้าใจอย่างงั้น) แล้วเขาก็มาแจ้งใน Line ทีหลังว่าคนที่ได้ Rank 1–2 ได้ ISE100 และ Rank 3–4 ได้ ISE50

ปล. ทุน ISE คือได้แค่ปีแรกปีเดียวนะครับ ปีต่อ ๆ ไปจะวัดกันที่เกรดอีกที

แล้วเราก็จะต้องเลือกภาคว่าอยากเข้าอะไร อันดับ 1–5 ก็เลือกไปใน Website แล้วเขาก็จะให้ Print ใบออกมาเซ็น ซึ่งจะต้อง Upload เข้าระบบหลังจากที่เข้าไปยืนยันสิทธิ์กับเขาอีกที

วันยืนยันสิทธิ์ (หลังจากนั้น 3 วัน) เราก็เข้า MS Team ไปตาม Rank (สูงกว่าเลือกก่อน) ซึ่งอาจารย์เขาก็จะ Share Screen เป็น Program เลือกภาคแบบบอกเลยว่าเราเข้าภาคอะไร แล้วก็พูดประมาณว่า ISE commitee decide ว่าเราได้ภาคนี้ Do you confirm? เราก็ตอบไป Yes, ICE is my first chioce อะไรประมาณนั้น แล้วก็ออก Call

เสร็จแล้วเราก็จะต้องวงในใบที่ Print ออกมาแล้วก็ Upload เข้าไปในระบบ เป็นอันเสร็จพิธี

หลังจากนี้ก็แค่รอกดเลือกมหาลัยในระบบ TCAS แล้วก็จ่ายเงินค่าเทอมตามขั้นตอน (ถ้าเลือกจุฬาอะนะ)

ซึ่งบอกเลยว่าผมก็สงสัยว่าระบบการเลือกแบบนี้จะทำไปทำไม คือส่วนตัวคิดว่าเลือกออนไลน์ แล้วก็ประกาศเลยว่าใครได้อะไร แล้วก็อาจจะให้ยืนยันอีกที ว่าจะเอาหรือสละสิทธิ๋ แล้วก็เรียกตัวสำรอง แต่ที่เขาทำแบบนี้ก็คงมีเหตุผลของเขาแหละ

ทำไมถึงลงแข่งรายการนี้?
เหตุผลหลัก ๆ เลยที่ผมลงแข่งเป็นเพราะเป็นรายการที่แข่งขันกันระดับชาติ, จัดติดต่อกันมานาน และก็เห็นคนที่ประสบความสำเร็จในสายงานด้าน Programming หลาย ๆ คนก็ผ่านการแข่งขันนี้มา (ref) แล้วถ้าแข่งชนะได้เงินรางวัลสูง (เทียบกับรายการแข่งขันหุ่นยนต์อื่น ๆ ที่เคยเข้าร่วมมา)

การแข่งขันในครั้งนี้ผมไปกับเพื่อนอีกคนหนึ่ง (รวม 2 คน) เมื่อรวมทีมได้แล้วพวกเราก็เริ่มหาหัวข้อโครงการที่จะเข้าแข่งขัน พอคุยไปคุยมาก็คิดว่าอยากทำเป็นแอปที่ทำ Text Search ในรูปได้ เพราะว่าเป็นปัญหาที่เราพบเจอกันในปัจจุบัน

รอบข้อเสนอโครงการ (รอบ 1)

เมื่อได้หัวข้อที่ชัดเจนแล้วเราก็ต้องเริ่มเขียนข้อเสนอโครงการ ซึ่งเราก็ใส่หัวข้อต่าง ๆ ตามที่ระบุไว้ในคู่มือ ซึ่งในจุดนี้ผมก็ต้องเริ่มเลือก Tech Stack ที่จะใช้งานเพื่อที่จะเขียนไปในส่วนของเครื่องมือที่ใช่พัฒนา

• Flutter โดยเนื่องจาก H̶y̶p̶e เราต้องการ Mobile App ที่ Run ได้ทั้งบน iOS และ Android แต่คิดว่าด้วยเวลาที่จำกัดเราคงไม่สามารถเขียน Native ทั้ง 2 Platform ได้ เลยเลือก Flutter ประกอบกับผมเคยเริ่มศึกษา Flutter มานิดหน่อยแล้ว
• Tesseract เพราะว่า App เราต้องการ OCR และอยากให้ทุกอย่าง Run Local บนเครื่อง ซึ่งจากการ Google พบว่า Tesseract OCR ได้หลายภาษา และมี Flutter package
• แล้วก็เขียนพวก Tools ที่ใช้ Vscode, Android Studio, Xcode, Google Colab, Python ใส่ไปเพื่อ ๆ ก่อน (Colab, Python ใส่ไปเพื่อเราใช้ Train model)

พอส่ง Proposal ไปแล้ว ก็รอประกาศว่าผ่านรอบแรกไหม ซึ่งทีมเราผ่านเข้ารอบ 2 โดยในรอบแรกจะได้ทุนมาทำโครงงาน 3,000 (กว่าจะได้เงินก็หลังงานจบไปละ แต่ได้แน่นอนนะ Confirm)

เริ่มเขียน App

เมื่อมาเริ่มเขียน App จริง ๆ ก็เจอปัญหามากมาย

เริ่มจากตัว Feature หลักของ App เราคือ OCR ซึ่งเมื่อทดสอบกับ Tesseract แล้วก็พบว่ามันอ่านลายมือภาษาไทยไม่ค่อยได้ เราก็เลยอยากจะ Train ใหม่ หรือหา model อื่น ๆ โดย Strategy ตอนนั้นคือ อยากใช้ Font ลายมือมา Generate รูป รวมกับ Label Data เพิ่มนิดหน่อย แล้วก็ Train model ใหม่ แต่พอเริ่มลองแล้วก็พบว่าด้วยเวลา และประสบการณ์ เราน่าจะทำกันไม่ทัน

ซึ่งทำให้เราต้องเปลี่ยนแผนไปใช้ API แทนซึ่งเราเลือกใช้ของ Google Cloud ที่อ่านลายมือภาษาไทยได้ แต่ว่าพอคำนวนราคาแล้วก็คิดว่าไม่ sustainable แน่นอน ถ้าปล่อยให้ใช้ฟรี แต่ให้มันเป็นปัญหาหลังแข่งจบละกัน (คนใช้เยอะเราก็ปิด Backend จบ)

ปัญหาต่อมาคือเรื่องของการ Deploy Object Detection Model ซึ่งพบว่า Library หรือ Code ตัวอย่างสำหรับ Flutter จะมีแต่ Model เก่า ๆ เช่น YoloV2 ซึ่งเรารู้สึกว่ามันไม่ดีพอ เลยต้องหาวิธี Deploy Model ที่ใหม่กว่าลงไป (สุดท้ายเราเลือกใช้ YoloV4 เพราะเป็น Model เดียวที่หาตัวอย่างได้ ซึ่งก็ต้องเอามา migrate เป็น flutter 2 ที่ต้อง Support null-safety ซึ่งก็เหนื่อยอยู่)

รอบนำเสนอผลงาน (รอบ 2)

รอบนี้เราจะต้องทำรายงานฉบับสมบูรณ์ แล้วก็คู่มีการติดตั้ง App เหื่อส่งให้กรรมการ

แล้วก็จะมีการนำเสนอซึ่งตรงนี้เข้าใจว่าจัดโดยศูนย์ประสานงานภูมิภาค ดังนั้นประสบการณ์ที่ผมเจอก็จะเป็นของภาคกลางที่รับผิดชอบโดยมหาวิทยาลัยธรรมศาสตร์ (SIIT) ซึ่งก็จะมี Line OpenChat ที่ใช้ประสานงานนอกเหนือจาก email

การนำเสนอรอบนี้จะผ่าน Zoom ซึ่งรู้สึกว่ากรรมการที่มาน่าจะมาทางสาย Tech (เอาชื่อไป Search ก็ดูจะเป็นอย่างนั้น) เพราะว่าโดนถามเรื่อง Technical ว่าแบบใช้ model อะไร ตัว OCR ทำยังไงบ้างพวกนี้ โดยรวมรู้สึกว่า Positive ตอบคำถามได้ทั้งหมด

ก่อนรอบชิง

พอผ่านรอบ 2 ก็จะมี Email มาบอกให้เราทำ Video แนะนำผลงาน ความยาวไม่เกิน 7 นาที, แบบฟอร์มสรุปข้อมูลโครงการ, รายละเอียดทีมพัฒนาและอ.ที่ปรึกษา (พวกเอกสารมี Template ให้หมด แค่กรอกข้อนูล ไม่เยอะ) แล้วก็มีให้ทำ poster ซึ่งเขาวงเล็บว่า (ถ้ามี) ตรงนี้ก็ไม่รู้เหมือนกันว่ามีผลต่อการตัดสินไหม แต่คนที่ทำเห็นเขาเอาไปลงในกลุ่ม Facebook

แล้วพอเมื่อผ่านเข้ามารอบนี้เราจะได้เงินอีก 9,000 บาท แบ่งเป็นสำหรับผู้พัฒนา 7,000 บาท และอาจารย์ที่ปรึกษา 2,000 บาท

แล้วก็มีอีกอย่างนึงที่เราพยายามทำเพิ่มคือ Subject Classification คือให้เอกสารในหมวดหมู่ Document ถูกแยกออกเป็นวิชาเพื่อให้มันดูโยงการศึกษามากขึ้น (คิดถูกมากที่ทำ)

การนำเสนอรอบชิงชนะเลิศ

ในปีนี้เป็นการนำเสนอ Online ผ่าน WebEx ซึ่งการนำเสนอจะนำเสนอ 5 นาที ถามตอบ 10 นาที รอบนี้ Cap ชื่อกรรมการมา Search ไม่ทัน แต่เดาว่าคนที่มาเป็นกรรมการน่าจะไม่ใช่คนสาย Tech เพราะไม่โดนคำถาม Technical เลย เดาว่าผู้จัดน่าจะเอากลุ่มครูซึ่งมีโอกาสจะเป็นผู้ใช้ของ Application มาเป็นกรรมการ

รอบนี้โดยคำถามค่อนข้างเยอะ

Q: ที่บอกว่า App ทำการ Index รูปภาพได้ช้านี่ช้าขนาดไหน
ข้อนี้โชคดีผมเคยวัด และจดไว้ก็เลยตอบไปได้ เป็น Fact เพราะฉะนั้นเขาก็ไม่ได้แย้งอะไร

Q: แอปนี้สนับสนุนการเรียนรู้อย่างไร เพราะว่าไม่เห็นส่วนที่จะเข้ามาช่วยในการเรียนการสอน
ข้อนี้จริง ๆ เราก็เตรียมคำตอบไว้แล้วระดับนึง เพราะก็รู้ว่าเราทำกว้าง ๆ แต่พยายามตบให้มันเข้าเรื่องการศึกษา ก็เลยตอบไปว่าจริง ๆ App เราสามารถใช้ได้ทุกวัย แต่ว่าก็จะช่วยอำนวยความสะดวกให้กับนักเรียนเพราะว่านักเรียนก็จะมีเอกสาร ชีทเรียนต่าง ๆ ค่อนข้างมาก และก็ให้ดู Feature แยกวิชา ซึ่งเราทำไม่ทันก่อนที่จะส่งรายงาน-Video ซึ่งกรรมการก็บอกเพิ่งเห็น

Q: แอปนี้มีความแม่นยำในการแยกหมวดหมู่/OCR ขนาดไหน ได้มีการวัดประสิทธิภาพไหม
ตอนเจอคำถามนี้เข้าไปก็ปวดหัวเหมือนกันเพราะว่าเราไม่เคยวัด ก็เลยตอบไปว่า เราใช้การสำรวจจากกลุ่มผู้ใช้งานแล้วผู้ใช้มีความพึงพอใจ แต่ก็จะมีบางหมวดที่ผิดอยู่บ้าง เช่นภาพการ์ตูนที่จะไม่มีอยู่ใน Dataset ซึ่งในอนาคตเราก็จำเป็นที่อาจจะต้องเก็บข้อมูลเหล่านี้มาพัฒนา Model ต่อไป
Q (กรรมการตอบกลับมา): คือตรงนี้ก็รู้ว่าตัว App สามารถทำงานได้ ก็เคยทดลองใช้งานแล้ว แต่ก็ควรจะมีข้อมูลเหล่านี้เพื่อทำให้รู้ว่าตัว App สามารถทำงานได้ดีให้คนมั้นใจเข้ามาใช้งาน
ตรงนี้เราเลยตอบกลับไปว่าการทำไปก็อาจจะไม่ได้ประเมินผลได้แม่นยำ เพราะเราก็มีโอกาสที่จะนำ Dataset ที่มี Bias ที่เรารู้ว่าสามารถทำงานได้ดีมาทดสอบได้อยู่ดี เช่นเราอาจจะใช้รูปที่ลายมือสวย อ่านง่าย มาทดสอบ เราจึงใช้การสำรวจจากผู้ใช้งานจริง
Q (กรรมการตอบกลับมา): จริง ๆ ตรงนี้คิดว่าก็น่าจะทำได้ก็อาจจะหาข้อมูลจาก Internet มาทดสอบ

หมดเวลา (เหมือนจะเกินด้วยซ้ำ)

จริง ๆ ตอนแรกก็คิดอยู่ในหัวว่าจะตอบตัว mAP ของ model ที่เรา Train ได้ไป แต่คิดว่าไม่เอาดีกว่าเพราะตัวเลขมันดูน้อย (ไม่ถึง 50%) ซึ่งผมกลัวกรรมการจะไม่เข้าใจแล้วเราจะโดนตัดคะแนน แล้วยังไงเราก็ไม่มีตัวเลขของ OCR อยู่ดี

ซึ่งจริง ๆ มานั่งคิดดูก็รู้สึกว่าถ้าจะวัดจริง ๆ มันก็ยากนะ แล้วมันจะไปเทียบกับอะไร แล้วจะมั่นใจได้ไงว่าไม่ Bias เพราะ Dataset บน Internet (Dataset ที่คนใช้ Benchmark model เช่น COCO, ImageNet) มันก็ไม่ตรงกับสิ่งที่เราต้องการ ดังนั้นมันก็ไม่สามารถเอามาใช้เทียบตรง ๆ ได้ อีกอย่าง เราใช้ Model Object Detection ก็จริง ซึ่งจริง ๆ การวัด Accuracy ของ Object Detection Model มันจะดูว่า Predict Class ถูก แล้วก็ความแม่นยำของ Bounding Box (กล่อง ๆ ที่ Model ตีรอบวัตถุ) แต่ว่าการเอามาใช้ครั้งนี้เราสนแค่ Object ที่มัน Predict ออกมา ไม่ได้สนตำแหน่ง แปลว่าเราก็ควรเอาแค่ Object ที่มัน Predict ถูกมาเป็น Metric ในการวัด?

ตรงนี้ผมคิดว่าน่าสนใจมากว่า ถ้าผมแข่งในครั้งหน้าควรจะ Handle เรื่องนี้ยังไง ตอนนี้ที่คิดได้ก็คงจะเป็นการเตรียม Dataset มาวัดประสิทธิภาพดู (ที่ตรงกับงานของเรา) แล้วก็อาจจะเปิด Data ชุดนั้นเป็น Public ให้คนอื่นมาดูได้ว่าเราใช้อะไรวัด เพราะส่วนตัวคิดว่าเวลาที่คนจะพิจารณาใช้ App ก็น่าจะทดลองใช้งานก่อน และตัดสินใจว่าจะใช้งานต่อหรือไม่ หรือไม่ก็ดู Review จากคนอื่นอยู่แล้ว

ดังนั้นถ้าในครั้งหน้าผมมีโอกาสได้เข้าร่วมการแข่งขันนี้อีก สิ่งที่ผมจะเปลี่ยนแปลงคือ

• ถ้า App มีการใช้ Machine Learning Model ไม่ว่าจะเป็นการทำ Model เองหรือการใช้ API ก็ควรมีการวัดประสิทธิภาพ / Accuracy ถึงแม้มันจะไม่มี Industry Standard ก็ตาม เราก็ควรเตรียม Dataset มาวัดเอง (ตาม Paragraph บน)
• รีบทำ Feature ต่าง ๆ ให้เสร็จทั้งหมดก่อนที่จะส่งเล่มรายงานเนื่องจากเมื่อเข้ารอบชิงชนะเลิศแล้วจะไม่มีการส่งเล่มรายงานอีก

คำแนะนำสำหรับ Programmer ที่อยากลง คือถ้ามีเพื่อนที่ทำงานเอกสาร, Slide, และ Video ดี ๆ ชวนมาเข้าทีมไว้ก็ไม่เสียหายเพราะงานนี้ผมก็ให้เพื่อนช่วยจัดการเรื่องพวกนี้ทำให้ชีวิตสะดวกขึ้นมาก ๆ

สิ่งที่ผมคิดว่า NSC ควรปรับปรุง

• หน้า Web มีการ Login ต้องใส่ข้อมูลต่าง ๆ เพื่อความปลอดภัยตรงนี้ควรจะทำให้เป็น HTTPS ได้แล้ว
• น่าจะมีที่รวมสรุปชื่อโครงการที่ผ่านรอบต่าง ๆ ของปีก่อนในหน้า Web ให้ดูง่าย ๆ ไว้เป็น idea ให้คนที่เข้ามาแข่งใหม่ รวมถึง Video นำเสนอ ไม่ต้องไปหา Load หาดูตามกลุ่ม Facebook ที่ Search ยากเหลือเกิน
• อันนี้ไม่รู้ว่าเขามีเหตุผลอะไรเป็นพิเศษหรือเปล่า แต่อยากให้ปล่อยคลิปที่นำเสนอกับกรรมการของทุกทีมเพื่อความโปร่งใส แล้วก็จะได้เป็น idea ให้กับรุ่นต่อ ๆ ไปที่เข้ามาแข่งด้วย

ถ้าใครอยากดู Code ที่เราเขียนก็ไปดูได้ที่ https://github.com/wtarit/domacod

ปล. Backend อาจจะไม่อยู่ตลอดไปนะครับ มันกินเงิน Google Cloud ผมอยู่ทุกเดือน แต่ไปลอง Deploy ใช้เองได้ครับ

Board ที่ผมจะนำมาลง Bootloader ใหม่ในวันนี้ก็คือ IPST-SE ซึ่งอุปกรณ์ที่ต้องใช้นอกจาก Board ที่ต้องการลง Bootloader ก็ต้องใช้ ISP programmer ซึ่งจะซื้อ ISP programmer โดยเฉพาะใช้ก็ได้ แต่สำหรับคนที่ไม่อย่ากซื้อก็สามารถใช้ Arduino อีกตัวมาเป็น ISP programmer ได้ ซึ่งผมจะใช้เป็น ESP32 (สามารถใช้ตัวอื่นที่มีได้)

** ถ้าใครใช้ ISP Programmer ตัวอื่น ๆ สามารถข้ามไป Part ต่อไปได้เลย

ในการเตรียม ESP32 สำหรับเป็น ISP programmer นั้น ก็ต้องลง Sketch ArduinoISP (เปิดได้จาก example > ArduinoISP > ArduinoISP) ซึ่งสำหรับ ESP32 นั้นจะต้องแก้ Reset Pin เพราะ Pin 10 ของ ESP32 นั้นต่อกับ SPI flash อยู่ ให้เปลี่ยนเป็น GPIO ไหนก็ได้ (ที่ไม่ใช่ SPI pin เพราะต้องใช้ส่งข้อมูล) ในกรณีนี้ผมเปลี่ยนเป็น pin 22 และ LED_HB ซึ่งผมเปลี่ยนเป็น pin 2 (เพื่อใช้งาน Builtin LED บน ESP32 dev board)

สามารถ Download code ที่แก้แล้วได้ที่ link

Note: หากมีปัญหา Burn bootloader ไม่ผ่านแล้วเจอ Error เช่น

avrdude: stk500_getsync() attempt 10 of 10: not in sync: resp=0x40

ให้ลองเปลี่ยน Pin ที่ใช้อันอื่น ๆ ที่อาจจะตรงกับ GPIO ของ ESP32 ที่ไม่สามารถใช้งานได้ (สามารถดูได้ตาม link) จากที่ทดลองทำเปลี่ยนแค่ LED_HB ก็ใช้ได้ แต่ถ้าไม่ได้อาจจะต้องแก้ตัวอื่นด้วย

การต่อสายไฟ

ตัว Board IPST-SE นั้นมี ISP connector มาให้อยู่แล้ว ซึ่งตอน Program ผมใช้ไฟเลี้ยงบอร์ดที่ 3.3 V จาก ESP32 เลย ไม่ได้ต่อไฟเลี้ยงให้ IPST-SE แยก เพื่อจะได้ไม่ต้องใช้ Logic Level Shifter ให้วุ่นวาย (จากที่ลอง Flash ที่ 3.3V สามารถทำได้ไม่มีปัญหา) ซึ่งก็สามาถต่อกับ Hardware SPI Pin (หรือ Pin ที่กำหนดบน ESP32 ได้เลย) ส่วน RESET นั้นก็ต่อตามที่กำหนด (ในที่นี้กำหนดเป็น 22)

การ Burn Bootloader ผ่าน Arduino IDE

การจะ Burn Bootloader นั้นจะต้อง Install MightyCore บน Arduino IDE ก่อน ซึ่งทำโดยเพิ่ม URL

https://mcudude.github.io/MightyCore/package_MCUdude_MightyCore_index.json

เข้าไปใน Additional Boards Manager URLs และ install MightyCore

เมื่อ Install เสร็จแล้ว ให้เลือก Board เป็น ATmega644 เลือก Programmer เป็น Arduino as ISP (MightyCore) ส่วน Port ให้เลือก Port ขอว ESP32 ที่จะใช้งานเป็น Programmer และกด Burn Bootloader ได้เลย

รอจน Burn Bootloader เสร็จ (ใช้เวลาไม่เกิน 1 นาที) โดย Arduino IDE จะขึ้นว่า Done burning bootloader. และ avrdude done. Thank you. ใน Output ด้านล่าง ก็สามารถนำ Board ไปใช้งานใน PlatformIO ได้แล้ว (จะใช้ใน Arduino IDE โดยเลือก Board เป็น ATmega644 ก็ได้)

การใช้งาน — สร้าง Project ใน PlatformIO

ในการสร้าง Project ใน PlatformIO ให้เลือก Board เป็น ATmega644P/PA

สามารถใช้งานได้เลย แต่จะใช้งานคำสั่งต่าง ๆ ของ INEX ไม่ได้แล้วนะครับ เช่นพวก motor, OK, knob, glcd ต้องเขียนใหม่เอง และ pinmap ก็จะไม่เหมือนเดิม โดยต้องดูเทียบกันระหว่าง pinmap เดิม กับ pinmap ของ MightyCore (link)

Motor Library ที่ผมเขียนเอง (ใช้ได้ทั้ง 2 bootloader) https://github.com/wtarit/IPST-SE_Motor

(นำมาจาก file pins_arduino.h ใน C:\Arduino18\hardware\INEX_AVR\avr\variants\IPST-SE\pins_arduino.h)

// ATMEL ATMEGA644P / IPST-SE
//
//                   +---\/---+
//  INT0 (D 16) PB0  1|        |40  PA0 (AI 0 / D31)
//  INT1 (D 17) PB1  2|        |39  PA1 (AI 1 / D30)
//  INT2 (D 18) PB2  3|        |38  PA2 (AI 2 / D29)
//   PWM (D 19) PB3  4|        |37  PA3 (AI 3 / D28)
//   PWM (D 20) PB4  5|        |36  PA4 (AI 4 / D27)
//  MOSI (D 21) PB5  6|        |35  PA5 (AI 5 / D26)
//  MISO (D 22) PB6  7|        |34  PA6 (AI 6 / D25)
//   SCK (D 23) PB7  8|        |33  PA7 (AI 7 / D24)
//             RST  9|        |32  AREF
//             VCC 10|        |31  GND 
//             GND 11|        |30  AVCC
//           XTAL2 12|        |29  PC7 (D 15)
//           XTAL1 13|        |28  PC6 (D 14)
//  RX0 (D 0)  PD0 14|        |27  PC5 (D 13) TDI
//  TX0 (D 1)  PD1 15|        |26  PC4 (D 12) TDO
//  RX1 (D 2) PD2 16|        |25  PC3 (D 12) TMS
//  TX1 (D 3) PD3 17|        |24  PC2 (D 10) TCK
//  PWM (D 4) PD4 18|        |23  PC1 (D 9) SDA
//  PWM (D 5) PD5 19|        |22  PC0 (D 8) SCL
//  PWM (D 6) PD6 20|        |21  PD7 (D 7) PWM
//                   +--------+
//

การ Burn Bootloader เดิมกลับคืน

ในการ Burn Bootloader เดิมก็มีขั้นตอนเหมือนกับการลง Bootloader MightyCore เพียงแค่เปลี่ยน Board ใน ArduinoIDE กลับเป็น IPSE-SE

เมื่อกด Burn Bootloader แล้วจะเจอ Error

Error while burning bootloader: missing 'bootloader.tool' configuration parameter

(เจอใน Arduino IDE version 1.8.16 จาก INEX version อื่น ๆ อาจไม่เป็น)

ให้เข้าไปแก้ file boards.txt โดยเข้าไปที่ C:\Arduino18\hardware\INEX_AVR\avr หรือตำแหน่งที่ติดตั้ง Arduino แล้วเพิ่ม

IPST-SE.bootloader.tool=avrdude

ปิด Arduino IDE แล้วเปิดใหม่ก็จะสามารถ Burn Bootloader ได้

Reference

https://forum.arduino.cc/t/missing-bootloader-tool-configuration-error-when-trying-to-burn-bootloader/304914

https://youtu.be/06Kj1ALprGw?t=150

สำหรับผม ผมไม่ได้สนใจในส่วนนี้ เพราะ Project นี้เป็น Project API ที่ใช้กับ Chatbot (ใช้ Tool ของ Botnoi) ที่ผมสามารถ URL เปลี่ยนเมื่อไรก็ได้ แต่ถ้าจะนำไปใช้เป็น website ที่ต้องการให้คนจำได้ ควรจะพิจารณาในส่วนนี้ด้วยนะครับ

เรื่มแรก เข้าไปที่ Website www.freenom.com แล้ว Search domain ที่ต้องการ

จะเห็นได้ว่าจะมี Domain .tk .ml .ga .cf .gq ที่ให้ Free ให้กด Get it now

ถ้ากด Get it now ได้ก็ให้กด Checkout ได้เลย แต่ถ้าไม่ได้ (ตามภาพด้านบน) ให้ไปพิมพ์ชื่อ Domain พร้อม Domain name extension

กด Checkout เลือก Period เป็น 12 months แล้วกด Continue

Register ตามขั้นตอน จนเข้ามาหน้าหลักอีกรอบ

เลือก My Domains แล้ว เลือก Manage Domain ใน Domain ที่ต้องการ

เลือก Manage Freenom DNS และ Add record ได้เลย โดยช่อง Name จะเป็น Subdomain Ex. www.google.com/ , docs.google.com
ส่วนช่อง Target ให้ใส่ IP address ของ Server ได้เลย

แค่นี้ก็สามารถเข้า Website ของเราผ่าน Domain name ที่จดใหม่ได้แล้ว แต่อาจจะต้องรอซัก 15–30 นาทีให้ DNS update ก่อนถึงจะเข้าได้

จากการหาข้อมูล ผมก็เจอ Tutorial ของ Random Nerd Tutorials แต่พอเอามาใช้กับ FastAPI ก็พบ Error 422 Unprocessable Entity ซึ่งก็พบว่าจำเป็นที่จะต้องแก้ Code ฝั่ง Server หรือ ESP32 cam โดยในส่วนของ name ใน String head ตรงช่อง name ต้องตรงกับ File parameter ของ FastAPI

ที่นี้เราก็สามารถนำรูปออกมาใช้งานได้แล้วครับ

ปล.สำหรับคนใช้ flask ลองดู repo นี้ดูครับ

ลองไล่อ่าน code ดูเจอว่า window ของ opencv มันถูกกำหนด size ไว้ (line 121)

เลยเเก้โดยเอาออกไปเลย (เอา cv2.WINDOW_NORMAL ออก)

การเลือกโหมดการ Pair ของ micro:bit นั้น จะมี 3 เเบบดังนี้

ซึ่งเข้าไปปรับได้โดย เข้าไปใน Project Settings

JustWorks pairing เป็น Defualt หากไม่เข้าไปปรับ โดยวิธีการ Pair คือ

เเต่จะไม่ต้องใส่ Passcode (กดเลือกในมือถือเเล้ว Pair ได้เลย)

Passkey pairing

ตามใน Video เลยคือต้องใส่ Passcode ก่อนถึงจะ Pair

No Pairing Required

อันนี้ผมงงๆ กับมันอยู่เพราะเวลากด Connect ในมือถือ มันก็ขึ้นให้ใส่ Passcode อยู่ดี เเต่ไม่ต้องเข้า Pairing Mode (กด A+B เเล้ว Reset) คือมันจะ Scan หาได้เลย

Code เเละ Application ผมได้ลองใช้งานบน Android เท่านั้น แต่เห็นใน IOS น่าจะสามารถใช้ Official App ของ micro:bit ได้เลย

Code นี้สามารถนำไปปรับใช้ควบคุมอะไรก็ได้โดยใช้ micro:bit กับโทรศัพท์มือถือเเต่ในที่นี้ผมจะใช้ในการควบคุมรถบังคับ

อุปกรณ์ที่ใช้

1. ตัวรถ
2. micro:bit
3. บอร์ดขับมอเตอร์ (ใช้ของอะไรก็ได้ เพียงเขียน Code ให้ตรงกับบอร์ดที่ใช้ ในที่นี้ผมใช้ Board iBIT ของ INEX)

เริ่มเเรกให้ Download App Kitronik Move (https://play.google.com/store/apps/details?id=com.kitronik.blemove&hl=en)

จากนั้น เขียนโปรเเกรมลง micro:bit โดยผมจะใช้ MakeCode Block Editor เริ่มจากไปลง Extension Bluetooth เเละลง Extension อื่นๆ ที่ต้องการใช้งาน

ก่อนที่จะใช้งานจะต้อง Pair Bluetooth กับ micro:bit ก่อน

โดยหาก upload code ผ่าน WebUSB จะสามารถใช้งานได้เลยทุกครั้งที่ลง Code ใหม่ เเต่หากใช้การ Copy hex file ไปยัง Drive MICROBIT จะต้องทำการ Pair ใหม่

การใช้งาน App Kitronik Move

ตอนใช้งานอาจต้องเปิด Location เนื่องจาก micro:bit เป็น BLE Device ถ้าจะ Access จะต้อง เปิด Location ก่อน ซึ่งผมก็ไม่รู้ว่าทำไม คงต้องไปถาม Google

Code ส่วนนี้ไม่มีผลต่อการทำงานหลัก เป็นการบอกสถานะเท่านั้น

1. ตอนเริ่ม ผมจะให้ Show LED เพื่อให้รู้ว่า Board นั้นมีไฟเลี้ยงจ่ายเข้าไปแล้ว (เวลาจ่ายไฟผ่าน edge connector จะไม่มีไฟขึ้นที่ Port USB
2. เมื่อ Bluetooth Connect / Disconnect ก็ให้เปลี่ยนสิ่งที่ Show LED

โดยการเขียน Code หลักนั้นจะใช้คำสั่งจาก Block Control ในการตรวจสอบการกดปุ่มใน App Kitronik Move โดย

การเลือก MES_DPAD_CONTROLLER_ID จะเป็นการตรวจสอบเหุตการณ์การกดปุ่มบน App Kitronik Move ถ้ามีการกด ก็จะเข้าไปทำงานตามที่เขียนโปรแกรมไว้ด้านใน โดยเราจะตรวจสอบค่าที่ได้จากเหตุการณ์นั้นๆ ไปเลยก็ได้ เช่นกดปุ่มใดเเล้วค่อยทำงานโดยกำหนดในช่องถัดมา เเต่ในกรณีนี้ ผมจะเข้าไปเขียนการ Check ว่ากดปุ่มใดใน Event นี้อยู่เเล้วจึงไม่ได้กำหนดเเละปล่อยไว้เป็น MICROBIT_EVT_ANY

ด้านในเราจะต้องทำการ Check ว่าปุ่มใดถูกกด โดยดูตามตารางต่อไปนี้

โดย DPAD คือปุ่มทางด้านซ้าย ส่วน CIRCLE คือปุ่มทางด้านขวา โดยถ้ากดปุ่ม จะเป็น DOWN ปล่อยจะเป็น UP

เงื่อนไขที่จะ Check ก็จะเป็นดังนี้ โดย Event Value คือค่าที่ได้จากเหตุการณ์นั้นๆ (ในที่นี้คือ MES_DPAD_CONTROLLER_ID หรือการกดปุ่มนั้นเอง

หลักการทำงานคือ เมื่อเกิดการกดปุ่ม จะทำการ Check ว่าปุ่มไหนถูกกด เเละทำงานตามเงื่อนไขที่วางไว้ เช่น เมื่อกดปุ่ม MES_DPAD_BUTTON_A_DOWN มอเตอร์จะเดินหน้า ฯลฯ

จริงๆเเล้ว เราจะเขียนโปรเเกรมโดยให้ Check ปุ่มพร้อมกับ Check เหตุการณ์ไปด้วยเลยก็ได้ เช่น

เเต่จะมีปัญหาตรงที่การเขียนเเบบนี้ อาจทำให้เกิด Error ตอนทำงานได้เนื่องจาก จะใช้พื้นที่ Flash หรือ Ram มากไป (Error Code : 20) (อ้างอิงจาก https://support.microbit.org/support/solutions/articles/19000016969-micro-bit-error-codes) ซึ่งตอนผมจะทดสอบโปรเเกรมนี้ ผมถึงกับต้องเอาการ Show LED ช่วงต้นออกเพื่อลดการใช่ทรัพยากรถึงจะทดสอบได้

อีกปัญหาคือต้อง Check ทั้งการกด เเละการปล่อย มิฉะนั้นพอสั่ง motor เเล้วมันก็จะหมุนไปเรื่อยๆ ไม่หยุดตอนปล่อยปุ่ม เเต่การเขียนเเบบเเรก พอไม่เข้าเงื่อนไขก็จะ Motor Stop ทันที

Reference

https://www.kitronik.co.uk/blog/kitronik-move-app/

หมายเหตุ : การเปลี่ยน Timer ที่ใช้กับ IRremote library อาจใช้ในการเเก้ปัญหาที่มีตอนใช้ Library อื่นร่วมกับ IRremote library เนื่องจากใช้ Timer เดียวกัน โดยดูใน http://z3t0.github.io/Arduino-IRremote/ ว่าโดย Defualt ใช้ Timer ไหนใน Microcontroller นั้นๆ เเละสามารถย้ายไปใช้ Timer ไหนได้บ้าง

เนื่องจากผมเริ่มใช้ IRremote เพื่อที่จะทำรถบังคับผ่าน board IPST-SE (ผมลง bootloader MightyCore นะครับ เเต่น่าจะนำไปใช้กับ board ที่ใช้ bootloader เดิมได้เหมือนกัน)

โดย Defualt ของ IRremote Arduino Library (https://github.com/z3t0/Arduino-IRremote) บนบอร์ด ATMega644P จะใช้ Timer 2 ซึ่งเป็น Timer เดียวกันกับที่ใช้ใน PWM pin ที่ต่อกับ Motor Driver ของ IPST-SE

ซึ่งเราไม่สามารถไปย้าย Motor Driver ไปต่อ Pin อื่นได้เพราะมันบัดกรีลง PCB มาเเล้ว เเต่ จาก http://z3t0.github.io/Arduino-IRremote/ จะเห็นว่า ATMega644P สามารถเลือกใช้ได้ 2 Timer คือ 1 เเละ 2

ดังนั้น เราจะย้ายไปใช้ Timer 1 ซึ่งดีเลยเนื่องจาก Timer 1 ใช้ในการคุม PWM Pin 12,13 ซึ่งเป็นขาคุม Direction Motor ยังไงก็ต้องเป็น Digital Logic อยู่เเล้ว เอามาทำอย่างอื่นไม่ได้

โดยการเปลี่ยน Timer จะต้องเข้าไปที่ Folder ที่เก็บ Library ไว้ โดยจะเเก้ File “boarddefs.h” ให้ดูตรงใต้ // Define which timer to use

โดยให้เลื่อนหา Board ที่เราใช้งานเเละ Uncomment Timer ที่จะใช้

เเค่เเก้ไขไฟล์ Library ง่ายๆ ก็เเก้ปัญหาได้เเล้ว