ลูกค้าองค์กรถามเราบ่อยขึ้นเรื่อย ๆ ว่า ถ้าไม่อยากส่งเอกสารออกไป cloud เลย ใช้ AI ที่รันในเครื่องของเราเองได้ไหม
เดือนนี้มีโมเดลอ่านเอกสารภาษาไทยแบบ local ตัวใหม่ออกมา อ่านไทยกับอังกฤษปนกันได้ ส่งออกเป็น Markdown พร้อมตาราง และใช้เชิงพาณิชย์ได้ เป็นตัวที่แม่นที่สุดที่เราหาได้ตอนทดสอบ เราจึงเอามาลองกับเอกสารจริง แล้วเทียบกับ Gemini ที่ใช้อยู่ทุกวัน
สรุปสั้น ๆ: ตัวเลขอ่านได้ดีเกินคาด แต่ข้อความภาษาไทยยังพลาดมาก ใช้แทน AI บน cloud ยังไม่ได้ แต่มีที่ใช้
ทดสอบอย่างไร
เราใช้เอกสารซื้อของ WinnerSoft เอง 14 ไฟล์ รวม 17 หน้า มีทั้งใบกำกับภาษี ใบเสร็จห้างค้าปลีก ใบแจ้งค่าไฟ ใบเสร็จไปรษณีย์ และใบแจ้งหนี้ภาษาญี่ปุ่น บางใบพิมพ์จากระบบ บางใบเขียนด้วยลายมือ
| หัวข้อ | รายละเอียด |
|---|---|
| เอกสาร | 14 ไฟล์ / 17 หน้า |
| ภาพที่ส่งให้ AI | PDF แปลงเป็นภาพ 250 DPI |
| เครื่องที่ใช้ | โน้ตบุ๊ก การ์ดจอ RTX 4060 8 GB |
| เทียบกับ | ผลอ่านของ Gemini บนไฟล์เดียวกัน |
เราไม่ได้นับว่าอ่านถูกกี่ตัวอักษร เพราะระบบบัญชีไม่ได้ต้องการทุกตัวอักษร มันต้องการข้อมูลรายช่อง เช่น ชื่อผู้ขาย เลขผู้เสียภาษี ยอดเงิน และรายการสินค้า เราจึงวัดว่า ช่องที่ระบบต้องใช้ มีค่าปรากฏอยู่ในข้อความที่ AI อ่านออกมาครบแค่ไหน เรียกว่า field recall
| ช่อง (ใบกำกับภาษีลายมือ 1 ใบ) | Gemini | AI local |
|---|---|---|
| ชื่อผู้ขาย | ✓ | ✓ |
| เลขผู้เสียภาษีผู้ขาย | ✓ | ✓ |
| ที่อยู่ผู้ขาย | ✓ | ✓ |
| ชื่อผู้ซื้อ | ✓ | ✓ |
| เลขผู้เสียภาษีผู้ซื้อ | ✓ | ✗ |
| รายการ | ✓ | ✓ |
| field recall ของใบนี้ | 6/6 = 100% | 5/6 = 83% |
ข้อควรรู้: ช่องที่ใช้เป็นคำตอบถูกสกัดมาจากผลอ่านของ Gemini เอง คะแนนจึงเอียงเข้าข้าง Gemini อยู่บ้าง และ 17 หน้าเป็นชุดทดสอบขนาดเล็ก ใช้ดูทิศทาง ไม่ใช่ตัวเลขรับประกัน
ผลรวม: ตัวเลขดี ภาษาไทยยังห่าง
| ตัววัด | Gemini | AI local |
|---|---|---|
| field recall ทุกช่อง (316 ช่อง) | 97.8% | 76.6% |
| เฉพาะช่องตัวเลข ยอดเงิน เลขที่ วันที่ (175 ช่อง) | 98.9% | 95.4% |
| เวลาต่อหน้า (เฉลี่ย) | — | 52.9 วินาที (26.7–88.5) |
| หน่วยความจำการ์ดจอที่ใช้สูงสุด | — | 1.54 GB |
| หน้าที่อ่านจบครบ | — | 17 / 17 |
ช่องที่เป็นตัวเลขห่างกันไม่ถึง 4 จุด แต่พอนับรวมช่องที่เป็นข้อความไทย เช่น ชื่อผู้ขาย ที่อยู่ ชื่อสินค้า ระยะห่างกว้างขึ้นเป็นราว 21 จุด เอกสารที่อ่านได้ดีที่สุดคือใบแจ้งหนี้ภาษาอังกฤษและภาษาญี่ปุ่น ส่วนที่แย่ที่สุดคือใบเสร็จห้างค้าปลีกที่มีตารางสินค้ายาวหลายหน้า อ่านได้ราว 58% ของช่อง
ด้านดีที่ต้องพูดด้วย: โมเดลเล็กมาก ใช้หน่วยความจำการ์ดจอไม่ถึง 2 GB รันบนโน้ตบุ๊กได้ อ่านจบทุกหน้าโดยไม่ถูกตัด และข้อมูลเอกสารไม่ออกจากเครื่องเลย
พลาดตรงไหนบ้าง
1. ตัวอักษรไทยบนฟอนต์ใบเสร็จ — พบมากที่สุด อ่านแถวครบ ตัวเลขครบ แต่ชื่อสินค้าสะกดเพี้ยน
| ชื่อสินค้าบนใบเสร็จ (Gemini อ่านได้) | AI local อ่านได้ |
|---|---|
| คาร์เนชัน นมข้นจืด 405 ก. | คาร์เนชัน นมขันจื่อ 405 ก. |
| ริทซ์ แครกเกอร์ 300ก | ริทธ์ แครกเกอร์ 300ก |
| เมจินมขาดมันเนย 2 ลิตร | เมจินมขาคมันเนย 2 ลิคร |
ตัวเลขทุกช่องในแถวเหล่านี้ ทั้งรหัสสินค้า จำนวน ราคา และยอดรวม อ่านถูกทั้งสองตัว ต่างกันที่ภาษาไทยล้วน ๆ AI local สับสน ซ กับ ฮ, ด กับ ค และ ต กับ ค บนฟอนต์เครื่องพิมพ์ใบเสร็จ
2. ตัวเลขที่ดูถูกแต่ผิด — อันตรายที่สุด บนใบกำกับภาษีลายมือ เลขผู้เสียภาษีของผู้ซื้อ 0105563026115 ถูกอ่านเป็น 0105568026115 ครบ 13 หลัก รูปแบบถูกต้องทุกอย่าง ถ้าไม่มีการตรวจเลขตรวจสอบ (checksum) ก็จะผ่านเข้าระบบบัญชีไปเงียบ ๆ ใบเดียวกันนี้วันที่ 23/01/68 ก็ถูกอ่านเป็น 28/01/68
3. คอลัมน์ในตารางยุบรวมกัน — ใบกำกับภาษีที่พิมพ์จากระบบ ตารางมีเส้นชัด 4 แถว Gemini อ่านได้ครบทุกคอลัมน์ แต่ AI local เหลือ 2 แถว และเอาตัวเลขของทุกแถวไปอัดไว้ในช่องเดียว ตัวเลขยังอยู่ในข้อความครบ ค้นเจอ แต่แยกเป็นรายการสินค้าไม่ได้
4. แถวสรุปยอดหายไป — ในกล่องสรุปยอดท้ายเอกสารเดียวกัน AI local เขียนแถวส่วนลดซ้ำแทนที่สามแถวล่าง ทำให้มูลค่าคงเหลือ ภาษีมูลค่าเพิ่ม และยอดเงินสุทธิหายไปทั้งหมด
5. ตัวเลขพิมพ์จาง — รหัสสินค้า 13 หลักที่หลักแรกพิมพ์จาง ถูกอ่านเป็นเครื่องหมาย ≥ และ ≤ แทนเลข 8 และแถวสุดท้ายของตารางไปรวมกับข้อความท้ายตาราง
Gemini ก็พลาดได้
ในชุดเดียวกัน Gemini อ่านลายมือถูกทุกช่อง แต่เติมคำว่า "รส" ลงในชื่อสินค้าบนใบเสร็จ ทั้งที่ในเอกสารจริงไม่มี น่าจะเดาจากชื่อสินค้าที่รู้จัก ตัวอย่างนี้บอกว่า AI ตัวไหนก็ตอบผิดได้ และ AI ตัวเดียวไม่รู้ว่าตัวเองผิด
คำถามที่สำคัญกว่า "AI ตัวไหนแม่นกว่า" คือ "ระบบจะรู้ได้ยังไงว่าช่องไหนผิด"
ลองตัดหน้าให้เล็กลง ช่วยไหม
เราลองกับ 8 หน้าที่ผลแย่ที่สุด โดยตัดภาพเป็นชิ้นที่ซ้อนกันเล็กน้อยก่อนส่งให้ AI local
| วิธี | field recall | ช่องตัวเลข | เวลารวม |
|---|---|---|---|
| Gemini (อ้างอิง) | 95.1% | 98.6% | — |
| AI local ทั้งหน้า | 69.9% | 92.8% | 487 วินาที |
| ตัดเป็น 3 แถบแนวนอน | 69.9% | 89.9% | 224 วินาที (เร็วขึ้น 2.2 เท่า) |
| ตัดเป็น 4 ช่อง (2×2) | 67.8% | 84.1% | 309 วินาที |
ตัดเป็นแถบช่วยเรื่องความเร็ว แต่ไม่ได้แก้ปัญหาอ่านภาษาไทยผิด ส่วนตัดเป็น 4 ช่องแก้ได้บางจุด แต่ไปตัดแถวตารางกลางคอลัมน์ จนตัวเลขหายแทน
ต้องใช้เครื่องแบบไหน
โมเดลใช้หน่วยความจำการ์ดจอแค่ราว 1.5 GB การ์ดจอ 8 GB ก็รันได้ ส่วนที่เหลือใช้เป็นพื้นที่อ่านหลายหน้าพร้อมกัน บนโน้ตบุ๊กที่ทดสอบใช้เวลาราว 53 วินาทีต่อหน้า หรือราว 28 วินาทีถ้าตัดเป็นแถบ เครื่อง server ที่การ์ดจอแรงกว่าและรันบน Linux น่าจะเร็วกว่านี้หลายเท่า แต่เรายังไม่ได้วัดบนเครื่องจริง
สรุป: ยังใช้แทนไม่ได้ แต่มีที่ใช้
ใช้แทน AI บน cloud ยังไม่ได้ เพราะ
- ช่องข้อความภาษาไทยพลาดบ่อย คนต้องตรวจแก้มากขึ้น
- ตัวเลขผิดแบบดูถูก เสี่ยงส่งข้อมูลผิดเข้าระบบบัญชี
- ตารางที่ยุบคอลัมน์ แยกเป็นรายการสินค้าไม่ได้
- บนเครื่องทดสอบ ช้ากว่า AI บน cloud มาก
แต่ใช้ในบทบาทเสริมได้
- ทางสำรองในองค์กร เมื่อ cloud ใช้ไม่ได้ หรือเอกสารบางประเภทห้ามส่งออก
- อ่านรอบแรกในเครื่อง แล้วส่งเฉพาะหน้าที่ไม่ผ่านการตรวจไปให้ AI บน cloud
- งานค้นหาตัวเลขในเอกสาร ซึ่งอ่านได้ดีอยู่แล้ว
ไม่ว่าจะใช้ AI ตัวไหน สิ่งที่ต้องมีคือการตรวจที่ไม่พึ่ง AI ตัวเดียว เช่น ตรวจเลขผู้เสียภาษีด้วยเลขตรวจสอบ ตรวจว่ารวมเงิน ลบส่วนลด บวกภาษี เท่ากับยอดสุทธิ และให้ AI มากกว่าหนึ่งตัวอ่านเอกสารเดียวกันแล้วส่งเฉพาะช่องที่เห็นไม่ตรงกันให้คนตรวจ
ขั้นต่อไปของเราคือทดสอบบนเครื่อง server กับชุดเอกสารที่ใหญ่ขึ้น และวัดผลอีกครั้งหลังเพิ่มการตรวจเลขผู้เสียภาษีและการตรวจยอดรวม