עולם התרגום עובר טלטלה רצינית בשנים האחרונות בעקבות ההתפתחויות בתחום תרגום המכונה, ובין השאר, יש מתרגמים עם מוסר ירוד שמפרים חוזים ומגישים פלט מחשב במקום העבודה האנושית שהתחייבו לספק. מבחינת אתיקה אין פה שום ספקות, אבל מה לגבי איכות התרגום עצמו? האם המכונות כבר יודעות לתרגם ברמה גבוהה עד כדי כך שרמאות כזו לא תתגלה? לאחרונה הוטלה עליי משימת בילוש ברוח זו, והחלטתי לבדוק לפני כן את העדכניות של הידע ושל הנחות היסוד שלי בנושא. הנה מה שגיליתי.

רקע עצוב

מתרגמים כלליים מאנגלית לעברית – כלומר, שעובדים בצמד וכיוון השפות הנפוצים ביותר בישראל, ושאין להם שום התמחות מיוחדת – שכנו מאז ומתמיד בתחתית שרשרת המזון של התחום. תחרות עזה על כל פרויקט מצד אחד, ולקוחות 'אולטרא-חסכניים' מצד שני, הובילו למצב שבו קשה מאוד למצוא עבודה, וגם כשמוצאים, מדובר לעתים קרובות בשכר מעליב, בלוחות זמנים מלחיצים, ולפעמים גם בחומר משעמם בטירוף.

באופן מצער אך טבעי, מצב העניינים הזה עודד וקידם דווקא את המתרגמים הבינוניים-ומטה, אלה שיש להם פחות כבוד עצמי ופחות כבוד לשפה ושמוכנים להגיש עבודה רשלנית. בשנים האחרונות הם קיבלו עוד נשק חדש ומדהים במלחמתם על הפרנסה: תרגום מכונה. הקורבנות הם לרוב לקוחות מחו"ל שאינם קוראים עברית בעצמם, אין להם כלי עבודה אונליין משלהם (שיכולים לעקוב אחרי הקלדה ופעולות אחרות של המתרגמים, שזה עניין מטריד ובעייתי אחר לגמרי), ואין להם דרך לזהות פאשלות. מצד שני, אם תרגום המכונה מספיק טוב, מה זה משנה? הלקוחות יהיו מרוצים, המתרגמים ימשיכו להרוויח עוד קצת מההונאה שלהם עד שהלקוחות ילמדו לעשות את ה-Copy-Paste הדרוש לבדם, ושלום על ישראל.

לקוח אחד, שמכיר אותי מספיק זמן כדי לדעת שאני לא אעשה לו קונצים, ביקש ממני לאחרונה לבדוק את העבודה של מספר מתרגמים. מסתבר שהוא הריץ תרגום מכונה על הטקסטים של עצמו, השווה אותו למסמכים שהמתרגמים-לעברית שלו שלחו, וגילה בחלקם אחוז התאמה גבוה עד כדי חשדות כבדים. האם המסמכים האלה הופקו על ידי מכונה או לא?

תחום אפור

על פניו, ישנן טעויות אשר מחשב שמפיק טקסט לא אמור לעשות אף פעם. טעויות הקלדה, למשל: למחשב הרי אין אצבעות שעלולות להקיש על המקש הלא-נכון במקלדת. גם טעויות של היסח הדעת, למשל כתיבה של מילה בעלת צליל דומה לזה של המילה הנכונה אך משמעות אחרת, אמורות לאפיין בני אדם בלבד. בנוסף, שום מחשב לא אמור לכתוב בשגיאות כתיב.

עם זאת, קשה יותר ויותר למצוא אנשים שיעשו טעויות מסוגים כאלה. לא מפני שכולם מקלידים פתאום כל כך טוב ובתשומת לב, אלא בזכות בודקי איות למיניהם. למשל, הזיגזגים האדומים ש-Word מוסיף מתחת לטקסט מפוקפק מבטיחים שכל אחד, פרט לרשלנים הגדולים ביותר, יוכל להימנע מרוב שגיאות ההקלדה והאיות – חוץ מאלה שבהן לצורת האיות השגויה יש משמעות אחרת תקינה (חישבו למשל על "הם", "אם" ו-"עם").

איפה המחשב כן אמור לטעות? שוב, בהסתכלות אינטואיטיבית, נצפה לשגיאות ברמה הגבוהה של השפה: ביטויים שנשמעים לא טבעיים, לוגיקה תחבירית פגומה (כמובן, בהנחה שהלוגיקה בטקסט המקורי תקינה), ניתוק לא סביר מההקשר הרחב יותר של הטקסט עצמו ושל העולם שמחוץ לטקסט, וכדומה. האם זה אומר שבני אדם לא יעשו טעויות מסוג זה? בוודאי שיעשו.

וכאילו שהגבולות הללו לא מספיק מטושטשים, הבינות המלאכותיות המודרניות ביותר מוסיפות עוד "פספוסים" דמויי-אנוש לקלחת, כיוון שהן לומדות מכמויות אדירות של טקסטים ברשת – שכידוע לא מתאפיינת בשפה מושלמת. סביר מאוד להניח ששגיאות נפוצות (כמו "ש" במקום "כש" לציון זמן) יעשו את דרכן בקלות לפלט התוכנה. בנוסף, כולנו שמענו על "הזיות" אינפורמציה של מודלי השפה הגדולים (LLM) וראינו את כפות הידיים המעוותות שמחוללי תמונות AI מציירים, אז למה שלא יהיו מוזרויות כאלה גם בתרגומים?

במילים אחרות, חשבתי שאוכל להבדיל בקלות בין עבודה רצינית של מתרגם אנושי טוב לבין פלט של מכונה, אבל לא הייתי בטוח שאוכל להבדיל בין המכונה לבין מתרגם אנושי לא מוצלח ורשלן. אז לפני שאני לוקח על עצמי משימה כזו, ניגשתי לרשת כדי לבחון תרגומי מכונה עדכניים ככל האפשר.

מדע בדיוני להצלה [sic]

בשביל ניסוי מבוקר ראוי לשמו צריך, בתור התחלה, להשיג תרגומים מעשה ידי אדם וממוכנים של מספר טקסטים שונים. אין לי משאבים וזמן להתעסקות הזו, ולמעשה, מי יודע אם חלק מהמתרגמים האנושיים שאליהם אפנה לא ישלחו לי תוצרים של תרגום מכונה? אז החלטתי להסתפק בבדיקה של מאפייני תרגום המכונה בלבד, על בסיס טקסט אחד שאני מכיר טוב מאוד, כי אני כתבתי אותו: הפוסט "The Asimov Protocol" מהבלוג שלי באנגלית באתר EmbeddedRelated. האם האנגלית שלי מספיק טובה לבדיקה שכזו? נניח לצורך העניין שכן.

שאלתי את ChatGPT אילו אתרים מציעים תרגום חינמי של טקסטים מאנגלית לעברית. קיבלתי רשימה עם שמונה תוצאות, מתוכן אחת לא חינמית ואחת שאין בה אופציה לעברית. תרגמתי את הפוסט שלי בשש הנותרות (ברוב המקרים הדבר נעשה בהמשכים, בשל מגבלה על מספר התווים שמותר לתרגם בבת אחת), ביקשתי מ-ChatGPT עצמו לתרגם את המאמר, ואז התיישבתי מול התרגומים כדי לבדוק אילו טעויות יש בהם, ומה אפשר להכליל מהן.

בעיות אופייניות

בגדול, איכות התרגום של כל האתרים הייעודיים החינמיים הייתה דומה ולא מרשימה במיוחד (זאת אומרת, בסטנדרטים שהיינו מצפים להם בסוף 2024!), ואילו ChatGPT היה משמעותית יותר טוב מהם, וקרוב הרבה יותר לתוצר של תרגום על ידי אדם. הפער גדול עד כדי כך שאתייחס לתרגום של ChatGPT בנפרד, אחרי שאציג את הבעיות של אתרי התרגום.

הבעיה הראשונה והמובהקת ביותר היא הקושי בהתמודדות עם ז'רגון מקצועי – מילים וביטויים שבעולם התוכן ובהקשר של הטקסט יש להם משמעות ספציפית, או אפילו תרגומים ספציפיים, שונים מהמקובל. קחו למשל את המילה Bus, שמופיעה חמש פעמים במאמר שלי. בתרגום כללי זהו "אוטובוס", אך בעולם האמבדד נדבר על אפיק או ערוץ שמידע זורם בו. רק שלושה תרגומים כוללים את המילה "אפיק", ואף אחד מהם לא הצליח להתמיד בכך: בכולם יש אוטובוסים פה ושם.

הבעיה השנייה, שהפתיעה אותי מאוד, הייתה תרגום שגוי של ביטויים נפוצים. למשל, כשכתבתי "Time to hit the books", התוצאות שהתקבלו היו "הגיע הזמן להיכנס לספרים", "הגיע הזמן להכות את הספרים" (שלוש פעמים), "זמן להכות את הספרים" ו"הגיע הזמן לפתוח את הספרים" – רק תוצאה אחת הגיונית. הצירוף "Spoiler ahead" ("ספוילר לפניכם" או "זהירות, ספוילר") תורגם על ידי חמישה מתוך ששת האתרים כ"ספוילר קדימה". הביטוי "There's only so much we can do with them" הפך בחלק מהאתרים ל"יש רק כל כך הרבה שאנחנו יכולים לעשות איתם".

הבעיה השלישית והנפוצה-מאוד הייתה ערבוב לא טבעי של זמנים, מגדרים, פעלים/שמות פעולה, יחיד/רבים וכדומה. למשל "אל כתובות ספציפיות וממנה" או "תמשיך לדבר – או ליתר דיוק לדחוס כמה שאנחנו יכולים". כל האתרים התקשו מאוד עם המשפט "Leave the microphone open, say whatever you know, think, assume, want to ask." והפיקו שילובים תמוהים כמו "אמור כל מה שאתה יודע, חושב, נניח, רוצה לשאול", "תגיד כל מה שאתה יודע, לחשוב, להניח, רוצה לשאול", "השאירו את המיקרופון פתוח, אמרו כל מה שאתם יודעים, חשבו, הניחו, רצו לשאול" וכו'. המשפט "I sure could do a lot better had I known embedded development back then" הפך בשלושה מקרים ל-"אני בטוח יכול לעשות הרבה יותר טוב אילו ידעתי פיתוח מוטבע אז".

בעיה רביעית היא משפטים לא-שלמים או שגויים ברמה תחבירית או לוגית כל כך בסיסית, שאף דובר עברית לא יפיק כמותם לעולם. למשל: "יש הרבה דרכים להפוך את ההודעות בפועל לקמצנות", "זה הולך לדרוש אופציונלי הודעה", "הציגו עיכובים שהיו כנראה פי עשרה סולם" – אלה דברים בולטים עד כדי כך, שהם לבדם יכולים לתת אינדיקציה כמעט חד-משמעית לתרגום מכונה.

בעיה חמישית, שחשבתי שתאפיין לנצח תרגום מכונה (עד שהגיע ChatGPT), היא חוסר יכולת להתמודד עם כל דבר שיש בו ולו טיפה של יצירתיות – ביטויים ציוריים, דימויים, משחקי מילים פשוטים וכדומה. ניקח לדוגמה את המשפט "the worse time thieves are hidden, literally, between the lines" (משהו כמו "גזלני הזמן הגדולים-יותר מסתתרים בין השורות, פשוטו כמשמעו"). האתרים הפיקו זבל כמו "הגנבים בזמן גרוע יותר מסתתרים, תרתי משמע, בין השורות", "הגנבים הגרועים יותר מוסתרים, פשוטו כמשמעו, בין הקווים" או "בזמן הגרוע יותר גנבים מוסתרים, פשוטו כמשמעו, בין השורות". גם הדימוי "This less-charted land" זכה לכל מיני פירושים מילוליים-מדי או תמוהים, כמו "האדמה הפחות מתוארת", "הארץ הפחות מפותחת" ועוד.

אלה, כאמור, הבעיות הנפוצות והאופייניות. פה ושם היו דברים מוזרים נוספים, כגון התרגום של "Make the system feasible" כ-"להפוך את המערכת לבלתי אפשרית" (הדגש שלי), אך הם היו נדירים יותר, או מסוגים שהיינו מצפים שגם אדם לא-מרוכז עשוי להפיק.

התרגום של ChatGPT

כל אתרי התרגום הייעודיים שבדקתי מבוססים, להערכתי, על אותה גישה לתרגום (בחלקה אנליטית ובחלקה סטטיסטית, ככל הנראה), וזה מה שיוצר את הדמיון באופי הטעוית שכל אחד מהם עושה. לעומת זאת, ChatGPT בנוי ועובד בצורה אחרת לגמרי. הוא חזק מאוד בהפקת שפה טבעית, וגם "רואה" את הטקסט בצורה הרבה יותר הוליסטית , במקום להתמקד רק במשפט או שניים כל פעם. לכן, לפחות במסגרת הפוסט הבודד שתרגמתי, הוא חמק כמעט לחלוטין מארבעה מתוך חמשת סוגי הטעויות שפירטתי, ורק מהאוטובוס הוא לא הצליח לברוח.

זה לא אומר שהתרגום שלו היה מושלם. היה בו משהו קצת "פרווה", קצת קרוב מדי בכל זאת לצורות הניסוח המקוריות שטבעיות באנגלית ולא בהכרח בעברית, והיו גם טעויות ברורות, הן ברמת השפה (כגון "עדיין יש לנו להתמודד עם […]") והן ברמת המשמעות (כגון תרגום של "Consider everything in it to be non-negotiable" כ-"כל מרכיב בה נחשב לבלתי ניתן לשינוי"). אף על פי כן, כל החסרונות האלה היו קרובים לחסרונות הטיפוסיים של תוצר אנושי, במידה כזו שמטלה מהסוג שקיבלתי – להבדיל בין פלט מכונה לעבודה אנושית – נעשתה לא-טריוויאלית. בדיוק כפי שהבינה המלאכותית יכולה כיום להחליף כותבים אנושיים בינוניים ומטה, כך היא יכולה להחליף גם מתרגמים בינוניים ומטה.

כשאדם מחקה אדם

אני משתדל תמיד להיות אופטימי, ולכן אני סבור שמודלי השפה כמו ChatGPT כבר חילצו פחות או יותר את כל מה שאפשר לחלץ מחומרי האימון הזמינים, ושבגלל זה התרגום הממוכן לא ישתפר עוד יותר. אבל כבר עכשיו הוא עושה עבודה סבירה עם טקסטים קצרים, חסרי ייחוד ו/או בנושאים כלליים. הסימנים המפלילים של תרגום מכונה מצטברים למאסה קריטית ככל שהטקסט ארוך, מורכב ויצירתי יותר, מה שהופך את עבודת הזיהוי לעבודה קשה יותר.

בנוסף, עלול להיווצר כאן "מרוץ חימוש". למשל, הזכרתי למעלה שיש טעויות שרק בני אדם עושים, כגון שגיאות הקלדה. מתרגם נוכל שמודע לעניין הזה עשוי לשתול שגיאות הקלדה מפוברקות בפלט המכונה (אפשר לקרוא לזה, אולי, אנטי-עריכה) כדי להוסיף לו את ה"מגע האנושי" ולנסות לעבוד על בודקים כמוני. אפשר גם לבקש מ-ChatGPT ניסוחים שונים, כדי שאם הלקוח יריץ שאילתת תרגום משל עצמו לצורך השוואה, התוצאות יהיו שונות.

לסיכום, דבר ראשון, בניגוד לתרגום, מקצוע העריכה לא הולך לשום מקום – מי שרוצה טקסט סופי טוב (לא רק תקני מבחינה לשונית טכנית, אלא גם מדויק, הגיוני ובשפה טבעית) חייב עין אנושית שתעבור עליו, לא משנה מאיפה הטקסט עצמו הגיע. דבר שני, מי שרוצה להבדיל כיום בין תרגום על ידי אדם לבין תרגום מכונה יוכל לעשות זאת, אך זה דורש ניסיון, השקעה, הרבה טקסט וקצת מזל (למשל, אם תרגום מכונה נעשה על ידי אחד מהאתרים הייעודיים שבדקתי…)