מערכת קריאת עיתונים אוטומטית

מידע קריטי שנשאר נעול בדפוס

למרות המהפכה הדיגיטלית, נתח משמעותי של מידע עסקי ומשפטי עדיין מופיע במקורות מודפסים פיזיים בלבד. עבור סוכנויות ניטור מדיה, ארכיונים היסטוריים ומשרדי עורכי דין, חוסר היכולת לחפש ולנתח במהירות עיתונים מודפסים מהווה צוואר בקבוק יקר ומגביל. סריקה ודיגיטציה ידניות דורשות משאבים עצומים ואיטיות להחריד, בעוד כלי OCR מסורתיים קורסים מול הפריסות המורכבות, מרובות הטורים והמדיה המעורבת (כתבות, תמונות, מודעות וטבלאות) האופייניות לעיתונות יומית.

עיתונים הם המסמכים המאתגרים ביותר לפיענוח חזותי

עמוד עיתון בודד עשוי להכיל חמש כתבות שונות, שלוש מודעות מסחריות, טבלאות ותשבץ - כולם מסודרים ברשת בלתי ליניארית. סריקת OCR פשוטה משמאל לימין (או מימין לשמאל) יוצרת בליל טקסט מבולבל שבו כותרות מתמזגות עם פסקאות שאינן שייכות אליהן. האתגר ההנדסי היה כפול: ראשית, לפלח במדויק את העמוד למקטעים סמנטיים עצמאיים, ושנית, לחלץ טקסט נקי מכל מקטע למרות גופנים משתנים, איכות דפוס ירודה ורעשי רקע של נייר עיתון.

צינור למידה עמוקה רב-שלבי

טנדרס לאב תכננה ופיתחה ארכיטקטורה מקצה לקצה המתייחסת לקריאת עיתונים כאל בעיית ראייה ממוחשבת מורכבת בת מספר שלבים.

1. פילוח סמנטי באמצעות Mask R-CNN

מודל Mask R-CNN מותאם אישית שאומן על עמודי עיתונות מתויגים משמש כ"עיניים" של המערכת - הוא מזהה תיבות תוחמות עבור כתבות, כותרות ראשיות, תמונות ומודעות. המודל מבין את הקשר ההיררכי בין כותרת לבין טקסט הכתבה המשויך לה, גם כאשר הטקסט מתפרס על פני מספר עמודות או משלב כיווניות שונה.

2. מנוע OCR ותיקון שגיאות הקשרי

כל מקטע טקסט מפוענח מועבר למנוע OCR מבוסס Tesseract שעבר כיול עבור טיפוגרפיית דפוס. שכבת פוסט-פרוססינג מבוססת NLP מתקנת שגיאות נפוצות הנובעות מקיפולים או זליגת דיו, תוך שימוש במודלי שפה לתיקון אוטומטי של טעויות פיענוח בהתאם להקשר המשפט.

3. חילוץ נתונים מובנים

השלב הסופי ממיר את הטקסט הגולמי למבנה נתונים מסודר (JSON). עבור מודעות משפטיות ומסחריות, המערכת מחלצת מספרי טלפון, תאריכים, סכומים וישויות מפתח באמצעות ביטויים רגולריים ו-NER - והופכת תמונת מודעה סטטית לרשומה במסד נתונים הניתנת לחיפוש וסינון מיידיים.

מארכיון נייר למסד נתונים חי ומתעדכן

• 95% הפחתה בזמן העיבוד: משימה שארכה לאנליסט אנושי כ-20 דקות מושלמת על ידי המערכת האוטומטית בפחות מ-60 שניות.
• ארכוב נאמן למקור: המערכת משמרת את ההקשר החזותי של העמוד המקורי תוך הפיכת כל תוכנו לבר-חיפוש ומפתוח מלא.
• קליטה אוטומטית 24/7: מהדורות חדשות מעובדות באופן רציף ואוטומטי עם סריקתן - ללא צורך במעורבות אנושית בעמודים סטנדרטיים.