วิธีสกัดข้อความออกจากไฟล์ PDF และวิธีแก้ไขปัญหาจาก encoding + การสะกดที่ผิดพลาด ด้วย regular expression ใน Python 3 โดยใช้ตัวอย่างไฟล์ PDF ร่างรัฐธรรมนูญ "ฉบับมีชัย" (29 ม.ค. 2559) ที่เผยแพร่บนเว็บไซต์ parliament.go.th จะเห็นว่าพอทำได้ แต่ก็เป็นขั้นตอนที่จริงๆ ไม่จำเป็นต้องเสียเวลาทำเลย ถ้าผู้เปิดเผยข้อมูล เผยแพร่ข้อมูลออกมาในรูปแบบที่อ่านด้วยเครื่อง (machine readable) ได้ทันทีมาตั้งแต่แรก (เอกสารถูกสร้างด้วยเครื่องคอมพิวเตอร์อยู่แล้ว) การสกัดข้อความจาก PDF ให้อยู่ในรูปแบบที่พร้อมเอาไปประมวลผลด้วยเครื่องต่อ โดยใช้ตัวอย่าง PDF ร่างรัฐธรรมนูญที่เผยแพร่บนเว็บไซต์ parliament.go.th จากการทดลองทำ ทำให้เห็นปัญหาจำนวนหนึ่งจากการสกัดข้อความออกจาก PDF เช่น - เพื่อความสวยงาม PDF มีการใช้ตัวอักขระในช่วง Private Use Areas - ซึ่งไม่ใช่ codepoint มาตรฐาน ทำให้อาจมีปัญหาในการประมวลผล (เช่น ใน Python จะแจ้งเป็น invalid codepoint และจะ throw exception เว้นว่าเราจะส่ง suppress มันทิ้ง ให้ข้ามมันไม่ไปเลยไม่ต้องสนใจ ซึ่งแปลว่าจะมีตัวอักษรจำนวนหนึ่งสูญหายไป และคำจะขาด) - การสะกดคำที่ไม่เป็นไปตามลำดับการสะกดภาษาไทยบนคอมพิวเตอร์ เช่น สะกดวรรณยุกต์ก่อนสระบน/ล่าง หรือมีช่องว่างแทรกระหว่างพยัญชนะกับสระ - เลขหน้าและหัวเอกสารถูกสกัดออกมาด้วย ต้องตัดทิ้งไป เพราะไม่ใช่เนื้อหาที่ต้องการ ในสไลด์แสดงวิธีแก้ไขด้วย regular expression บน Python 3 นำเสนอเมื่อวันที่ 5 มีนาคม 2559 ในงาน BarCamp Bangkok: Open Data - International Open Data Day 2016 ณ หอศิลปวัฒนธรรมแห่งกรุงเทพมหานคร (BACC)

1. แปลงร่างรัฐธรรมนูญ
“ฉบับมีชัย” ให้เป็น PLAIN TEXT
เอาข้อมูลที่เปิดเป็น PDF มาใช้ก็ยากหน่อย
@bact อาทิตย์ สุริยะวงศ์กุล
International Open Data Day — BarCamp Bangkok: Open Data 5 มีนาคม 2559

2. โจทย์
▸ “อยากให้ประชาชนมีส่วนร่วมในร่าง
รัฐธรรมนูญ”
▸ ก็ต้องให้คนได้อ่านก่อน
▸ อ่านแล้วก็ช่วยกันวิจารณ์ตัวบท
▸ เช่น เขียนโควตไปเขียนบล็อก
▸ แต่ PDF ที่ได้มา มัน copy & paste ยาก
▸ นอกจากนี้ยัง search ลำบาก analyse ยาก
▸ งั้นแปลงเป็น plain text เถอะ

3. TEXT
ขั้นตอน
1.ดาวน์โหลดต้นฉบับ ร่างรัฐธรรมนูญจาก www.parliament.go.th
2.แปลง PDF เป็น HTML (ด้วย Apache PDFBox)
3.แปลงอักขระ Private Use Areas (PUA) เป็นอักขระปกติ
4.แปลงเป็น plain text
5.สลับลำดับตัวอักษรให้ถูกต้อง
6.(optional) แปลงเลขไทยเป็นเลขอารบิก
7.(ยังไม่ได้ทำ) แปลงเป็น HTML + formatting (heading, div)

4. TEXT
แปลง PDF เป็น HTML ก่อน
▸ java -jar pdfbox-app.jar ExtractText -html
<ชื่อไฟล์PDF> <ชื่อไฟล์HTML>
▸ ที่ต้องแปลงเป็น HTML เพราะใน PDF ของเอกสาร มีการใช้โค้ด
ใน PUA (Private Use Areas) เพื่อความสวยงามของเอกสาร
▸ ซึ่งถ้าแปลงเป็น text ไปรวดเดียวเลย อักขระ PUA จะหาย (invalid
Unicode code point)

5. TEXT
แปลง HTML ENTITIES เป็นอักษรปกติ + แปลง PUA
▸ Apache PDFBox จะ
แปลงอักษรไทยเป็น
HTML Entities
(“ร” -> &#3610;)
เราต้องแปลงมันอีกทีให้
เป็นอักษรที่คนอ่านออก
▸ พร้อมกันนี้ จะแปลง
อักขระในส่วน Private
Use Area (PUA) ด้วย

6. TEXT
สลับลำดับอักขระ (แก้การสะกด)
▸ ไม่แน่ใจว่าเพราะอะไร text
ที่สกัดออกมาจาก PDF ที่
เผยแพร่ สะกดคำไทยไม่
ตรงตามมาตรฐาน (<พญัช
นะ>+<สระบน/ล่าง>
+<วรรณยุกต์>)
▸ หรือมีช่องว่างหน้าสระบน/
ล่าง
▸ เขียนสคริปต์แก้

7. TEXT
จะได้ PLAIN TEXT ที่เอาไปใช้งานต่อได้
▸ (โค้ดปัจจุบันยังต้อง
มารวมย่อหน้าที่ถูก
แบ่งข้ามหน้าด้วย
มืออีกทีอยู่บ้าง)
▸ copy&paste ได้
▸ analyse ได้
▸ ดูที่ http://
pastebin.com/
Ue59e618

8. แต่ทำไมต้องลำบากแบบนี้ด้วย
ทำไมไม่เปิดข้อมูลเป็น MACHINE READABLE
มาตั้งแต่แรกล่ะครับเจ้านายย~
#น่าเบื่อ
TEXT

9. TEXT
ลองเล่นด้วยตัวเอง
▸ โค้ดอยู่ที่
https://www.facebook.com/arthit/notes
▸ คุยกันได้ที่ @bact