התוכנה הראשית של פרויקט MBM אמורה לאסוף ולטפל בהמון נתונים. כמה זה המון? תלוי במשתמש: במקרים קיצוניים, הכמות יכולה להגיע לכמאה מגהבייט ביום. כל הנתונים מגיעים בפורמט קבוע ומובנה. נשמע כמו מקרה קלאסי לשימוש במסד נתונים, נכון? אך לאחר בדיקת הנושא לעומק החלטתי לוותר על הרעיון ולעבוד ישירות עם קבצים גולמיים, שינוהלו על ידי התוכנה עצמה. מה עומד מאחורי ההחלטה המוזרה הזו?

השיקול הראשון, וזה שימשוך מן הסתם הכי הרבה אש, הוא שאני לא רגיל לעבוד עם מסדי נתונים, ולדעתי פרויקט רגיש ומורכב כל כך הוא לא ההזדמנות המתאימה לחקור טכנולוגיות חדשות (חדשות עבורי, בכל אופן). אם אני יכול לפתור את הבעיה בעזרת הכלים המוכרים לי, ובלי להסתבך יותר מדי, מוטב. יהיו מספיק הזדמנויות אחרות, ועם פחות סיכון, לשחק במסדי נתונים וללמוד אותם.

השיקול השני היה שהכלים המוצעים לא מצאו חן בעיניי – גם מסדי הנתונים עצמם וגם הרכיבים שאמורים לאפשר לי לנהל אותם דרך דלפי. חלקם היו בתשלום ניכר, שאני לא רוצה להפיל על הלקוח ובוודאי שלא לממן מכיסי. חלקם היו בקוד פתוח שלא עודכן זמן רב, ושיש לו רשימת באגים פתוחה. חלקם הושמצו על ידי אנשים ששאלתי, מסיבות שנשמעו לגיטימיות. למעשה, כל אופציה עוררה חוסר נוחות מסוים – ובמה זה עדיף על חוסר הנוחות שבוויתור על מסדי נתונים בכלל?

השיקול השלישי והחשוב מכולם הופיע רק אחרי שחקרתי את אופציות מסדי הנתונים לעומק. עד לאותו רגע לא הטלתי ספק בתפיסה של "הרבה נתונים => מסד נתונים", אך כשהתאכזבתי מהאפשרויות שעמדו לפניי ובדקתי שוב מה בדיוק התוכנה אמורה לעשות עם הנתונים, הבנתי שדווקא קובצי CSV פשוטים יכולים לספק את כל הדרישות. הנה העיקריות שבהן:

• הנתונים שדרושים לעבודה השוטפת של התוכנה שמורים בזיכרון RAM. השמירה בקבצים היא רק לצורך גיבוי ו"היסטוריה".
• נתון שנשמר לעולם לא ישתנה. למעשה, האחסון הוא לא יותר מאשר ארכיון – אין אפילו צורך במיון או סינון כלשהם.
• אחזור נתונים מאוחסנים נעשה רק לעתים רחוקות, למטרות נקודתיות, ורק ב"גושים": פילוחים, גם אם יידרשו, יהיו מהסוג הבסיסי ביותר.
• הארכיון אינו אמור לעבוד בזמן אמת מול שום גורם נוסף.
• בתכנון התוכנה יש חשיבות גדולה למהירות ופשטות.

כמו כן, גם אם חושבים על אופציות עתידיות שלא הוגדרו במפרט ועל האפשרות שמישהו יצטרך, מכל סיבה שהיא, להעביר את הנתונים שנאספו למסד נתונים "רציני", הרי שפורמט ה-CSV (טקסט פשוט, שורה לכל רשומה, עם פסיקים להפרדה בין השדות) אמור להיות נוח דיו לעיבוד.

וכך קרה שתוכנה שעיקר משימתה הוא לטפל בנתונים תיבנה ללא מסד נתונים – לפחות לא במשמעות המקובלת של הביטוי.