"הם טועים" לעומת "אני צודק"

10 דקות קריאה
קישור למאמר המקורי באנגלית מאת המשתמש Buck.
לאחרונה הקדשתי קצת זמן למחשבה על טעויות הרציונליות שעשיתי בעבר. הנה אחת מעניינת: אני חושב שלאורך השנים מיהרתי מדי לעבור מ"נראה שאנשים אחרים טועים מאוד בנושא הזה" ל"אני צודק בנושא הזה."
לאורך חיי, חשבתי לעיתים קרובות שלאנשים אחרים יש אמונות שהן ממש דוחות ומטופשות. עכשיו כשאני מבוגר וחכם יותר, אני עדיין חושב שצדקתי כשחשבתי שהרעיונות האלה דוחים ומטופשים. באופן כללי, כנראה שהייתי קצת פחות מדי ביקורתי כלפי דברים כמו דעות של מומחים-לכאורה בתחומם ודעות של אנשים שנראו חכמים ושאת הטיעונים שלהם לא ממש הצלחתי להבין. כמו כן, הערכתי יתר על המידה את חוכמת ההמונים לגבי טענות עובדתיות על איך העולם עובד, למרות שהערכתי בחסר את חוכמת ההמונים לגבי איך להתנהג.
דוגמאות לרעיונות שבהם חשבתי שחוכמת ההמונים הייתה ממש מטופשת:
  • חשבתי ששיעבוד בעלי חיים לצרכי האדם היא קטסטרופה מוסרית עצומה, וחשבתי שזהו סימן לכישלון מוסרי נורא שכמעט לאף אחד מסביבי לא היה אכפת מזה ולא גילה עניין כשהעליתי את הנושא.
  • חשבתי שבטיחות בינה מלאכותית היא עניין רציני, וחשבתי שהטיעונים נגדה היו די מטופשים. (כיום חוכמת ההמונים מחזיקה בדעה הרבה יותר חיובית על בטיחות בינה מלאכותית; אני מדבר על השנים 2010-2014).
  • חשבתי שלאנשים יש טעם נורא במדיניות כלכלית, ושהם לרוב מצביעים לדברים שנשמעים טוב, אבל מפסיקים להישמע טוב אם מקדישים להם מחשבה ראויה אפילו לדקה אחת.
  • הזדעזעתי מאנשים שקנו בגאווה מוצרים שהיה כתוב עליהם "יוצר באוסטרליה"; לא הבנתי איך זה לא גזעני בעליל, וחשבתי שאנחנו צריכים להקל בהרבה על כל מי שרוצה לבוא ולגור באוסטרליה. (הנושא הזה הפך להרבה פחות שנוי במחלוקת מאז שטראמפ שכנע בטעות את הליברלים שהם צריכים לתמוך בליברליזציה של הגירה).
  • חשבתי ואני עדיין חושב שהרבה מהטיעונים של אנשים לגבי למה זה טוב להזמין משטרה לגנבי אופניים היו מטופשים. ראו למשל רבים מהטיעונים שאנשים העלו בתגובה לפוסט שלי בנושא (שלמען ההגינות, היה פוסט ממש מטופש, לדעתי).
אני חושב שצדקתי לגבי זה שאנשים אחרים טועים. עם זאת, אני חושב שהדעות האמיתיות שלי בנושאים האלה היו די מבולבלות ושגויות, הרבה יותר ממה שחשבתי באותו זמן. הנה איך עדכנתי את דעתי לגבי כל הדברים לעיל:
  • עדכנתי את עמדתי נגד ההשקפה הפשוטה של תועלתנות נהנתנית, שלפיה סביר להניח שמערכות-בקרה-פשוטות מסוגלות לסבול. לפני כמה שנים, הייתי מודאג ברצינות מכך שהעתיד יכיל הרבה יותר חקלאות תעשייתית ולכן בסופו של דבר יהיה שלילי נטו. כעת אני חושב שהערכתי את החשש הזה יתר על המידה, משום ש – בין שאר הטיעונים – כמעט אף אחד לא באמת תומך בעינוי בעלי חיים, אנחנו פשוט עושים זאת מטעמי נוחות, ובגבולות התקדמות הטכנולוגיה ההעדפות החלשות שלנו יגברו על שיקולי הנוחות שלנו.
  • ההבנה שלי לגבי בטיחות בינה מלאכותית הייתה "בסופו של דבר מישהו יבנה AGI מרכזי ועצמאי שמשפר את עצמו רקורסיבית, ואנחנו צריכים להבין איך לבנות אותו כך שיהיה לו מתג כיבוי ושהוא יישם פונקציית ערך טובה במקום משהו רע." אני חושב שהתמונה הזו הייתה פשטנית מדי במידה עצומה. בצד האסטרטגי, לא חשבתי על האפשרויות של התפתחויות הדרגתיות יותר או טכנולוגיות עוצמתיות ללא שיפור עצמי רקורסיבי. בצד הבטיחות הטכנית, לא הבנתי שקשה אפילו לבנות ממקסם מהדקי נייר, והרבה מהמאמץ שלנו עשוי להיות מופנה להבנה איך לעשות זאת.
  • לאנשים אחרים יש טעם נורא במדיניות כלכלית, אבל אני חושב שבאותה תקופה הייתי בטוח מדי ברעיונות ליברטריאניים שונים שכיום אני פחות מתלהב מהם. בנוסף, אני כבר לא חושב שזה ברור מאליו שהחברה במצב טוב יותר כשהיא מתעשרת, בגלל שיקולים הקשורים לעתיד הרחוק, לבעלי חיים, ולשאלה האם יותר כסף עושה אותנו מאושרים יותר.
  • אני חושב שליברליזציה של הגירה היא מסוכנת יותר ממה שנהגתי לחשוב, כי נראה שחברות עשירות מייצרות השפעות חיצוניות חיוביות עצומות עבור שאר העולם, ונראה אפשרי שזרם פתאומי של אנשים פחות משכילים עם (לדעתי) דעות פוליטיות גרועות יותר עלול להרוג את התרנגולת שמטילה את ביצי הזהב.
  • לגבי גנבי אופניים: אני חושב שלמרות שתועלתנות זה דבר טוב והכל, זה יקר מאוד להשלים עם גניבה, כי אז צריך לעשות את כל הדברים האלה של סכום-שלילי כמו קניית מנעולי אופניים. בנוסף, נראה שאנחנו בדרך כלל במצב טוב יותר אם אנשים עוזרים באכיפת חוקים.
בכל המקרים הללו, הטיעונים שלי נגד אחרים היו באיכות הרבה יותר גבוהה מהאמונות האמיתיות שלי. מה שיותר מדאיג, אני חושב שהייתי הרבה יותר טוב באיתור הפגמים בטיעונים של אנשים אחרים מאשר באיתור פגמים באלה שלי.
יש כאן גם גורם כללי של עודף ביטחון מצידי בפרטים של רעיונות שבאופן כללי נשמעו נכון. למשל, החשיבות של בטיחות AGI נראתה לי ממש מובנת מאליה, ואני חושב שתחושת המובן-מאליו שלי לאורך השנים היתה די טובה בזיהוי טיעונים שמאוחר יותר עמדו בבחינה מדוקדקת. אבל הייתי בטוח בעצמי יתר על המידה במידה עצומה בסיפור הספציפי שסיפרתי לעצמי על איך AGI יקרה. הייתי צריך להפריד בין האפשרויות: הייתי צריך להגיד "זה בהחלט נראה שמשהו כזה אמור לקרות, ונראה ששלב שלוש יכול לקרות בכל אחת מארבע האפשרויות האלה, ואני לא יודע איזו מהן תהיה נכונה, ואולי זו בעצם תהיה אחת אחרת, אבל אני די משוכנע שיש איזושהי דרך שבה זה יקרה."
הנה עוד כמה רעיונות שאני ממשיך לתמוך בהם, שהיה בהם את הנופך הזה של אמת, אבל גם בפרטים שלהם הייתי בטוח בעצמי יתר על המידה באופן דומה. (חלקם די אזוטריים.)
  • השערת הסימולציה
  • UDASSA
  • הממאירות של הפריור האוניברסלי
  • השערת היקום המתמטי
  • לבני אדם יש הטיות מורכבות ומוזרות הקשורות לקטגוריות כמו גזע ומגדר, ועלינו להיזהר מכך בחשיבה שלנו. (כיום הרעיון הזה נפוץ ביותר ולכן זה מרגיש מוזר לשים אותו באותה רשימה יחד עם כל שאר הרעיונות המטורפים האלה. אבל כשנתקלתי בו ברצינות בפעם הראשונה בשנתי הראשונה בקולג', הוא הרגיש כמו רעיון חדש ומעניין, באותה קטגוריה של רבות מההטיות הקוגניטיביות ששמעתי עליהן ב-LessWrong.)
והנה רעיונות שהיה בהם נופך אמת אך כיום אינני תומך בהם:
  • אנחנו צריכים למלא את היקום בהדוניום (hedonium).
  • העתיד עשוי להיות שלילי נטו, משום שבני האדם גרמו עד כה לסבל רב עם ההתקדמות הטכנולוגית שלהם ואין סיבה לדמיין שזה ישתנה. עתידנים מוטים נגד הטיעון הזה בגלל שהם אישית לא רוצים למות ויש להם תשוקה אנוכית חזקה שהתרבות האנושית תשרוד.
  • בגלל הגבול של לנדאואר, לתרבויות יש תמריץ להיכנס לתרדמת קיץ (aestivate). (זה שגוי כי זה כרוך באי-הבנה של תרמודינמיקה.)
ההטיה שלי לחשוב שהאמונות שלי סבירות יותר ממה שהן באמת הייתה עשויה להיות הרסנית אם היא הייתה מונעת ממני לשנות את דעתי בתגובה לטיעונים חדשים וטובים. למרבה המזל, אני לא חושב שאני מוטה במיוחד בכיוון הזה, משתי סיבות. ראשית, כשאני מדבר עם מישהו שחושב שאני טועה, מסיבה כלשהי אני בדרך כלל לוקח אותו די ברצינות ויש לי משבר אמונה קטן שדוחף אותי ללכת ולבחון מחדש את האמונות שלי לעומק. שנית, אני חושב שברוב הפעמים שאנשים מציגים טיעון שמאוחר יותר משנה את דעתי, התגובה הראשונית שלי היא בלבול ולא זלזול.
כדוגמה לנקודה הראשונה: פעם אמרתי למישהו שהערכתי שהוא לא צריך לאכול מוצרים מהחי, בגלל הסבל העצום שנגרם מגידול בעלי חיים. הוא הסתכל עליי בבוז ואמר לי שזה די ציני מצידי להגיד את זה, בהתחשב בעובדה שאני משתמש במוצרי Apple – לא שמעתי על תנאי הניצול במפעלי Apple ועל כך שיש להם רשתות שנועדו למנוע מאנשים להתאבד בקפיצה מגגות המפעלים? הרגשתי מבועת מכך שביצעתי איזשהו חטא מוסרי חמור, ואז הלכתי לחדרי לחקור את הנושא במשך שעה או שעתיים. בסופו של דבר השתכנעתי שההשפעה נטו של קניית מוצרי אפל על הרווחה האנושית היא כנראה חיובית במידה זעומה אבל קטנה מספיק כדי לא לדאוג לגביה, וגם לא היה נראה לי שיש טיעון דאונטולוגי חזק נגד עשיית הדבר הזה.
(חזרתי וסיפרתי לאותו בחור על התוצאות של הבדיקה שלי. הוא אמר שהוא כבר לא מתעניין בנושא ולא רוצה לדבר על זה. אמרתי, "וואו, בנאדם, זה די מעצבן. העברת עליי ביקורת מוסרית ולקחתי אותה ממש ברצינות. אני חושב שזה חוסר נימוס לא להקדיש לפחות כמה דקות לשמוע על מה שמצאתי." מישהו אחר שהיה בחדר, שהיה מאוד נלהב מצדק חברתי, ניגש ונזף בי על כך שאני מנסה להפר את ההעדפות של אדם אחר שלא לדבר על משהו. למדתי משהו באותו יום על כמה זה מועיל לקחת ביקורת מוסרית ברצינות כשהיא מגיעה מאנשים שלא נראה שהמוסר שלהם-עצמם משפיע עליהם במיוחד.)
דוגמאות אחרות: כשנתקלתי לראשונה באנשים כריזמטיים שתמכו בערכים דאונטולוגיים ובאמונות של צדק חברתי, לקחתי את הרעיונות האלה ממש ברצינות והרהרתי בהם רבות. לפני כמה שבועות, מישהו העביר עליי ביקורת חריפה באופן לא צפוי לגבי הנימוסים שלי ולגבי מספר היבטים של הגישה שלי לעבודה. בהתחלה עדכנתי את העמדה שלי במידה רבה לכיוון הביקורת שלו, רק כדי לעדכן חזרה 70% מהדרך לעבר העמדות הראשוניות שלי לאחר שהקדשתי עוד עשר שעות לחשיבה ולשיחות עם אנשים על כך.
דוגמאות לנקודה השנייה: כשפגשתי אנשים שהשקפתם על בטיחות בינה מלאכותית לא תאמה את ההשקפה הנאיבית שלי, הרגשתי מבולבל ולקחתי אותם ברצינות (כולל כשהביעו ספקנות רבה כלפי המכון לחקר בינה מלאכותית – MIRI). כשהחבר שלי האווי אמר לי שהוא חושב שמערכת המשפט הפלילי היא ממש גזענית, הופתעתי ומיד עדכנתי את דעתי ל-"אני מבולבל לגבי זה", במקום לפטור אותו בזלזול.
אני לא מצליח לחשוב על מקרים שבהם בהתחלה חשבתי שטיעון הוא ממש מטופש אבל בסוף הוא הצליח לשכנע אותי או את רוב האנשים שאני מחשיב כשווים לי או גדולים ממני מבחינה אפיסטמית (למשל, אנשים שלדעתי יש להם שיקול דעת טוב בארגוני אלטרואיזם אפקטיבי).
עם זאת, אני כן יכול לחשוב על מקרים שבהם הרגשתי בהתחלה שטיעון הוא מטופש, אבל הרבה מעמיתיי האפיסטמיים חושבים שהטיעון הוא לפחות סביר במידת מה. זה מדאיג אותי ואני מנסה להיאבק בזה. לדוגמה, הטיעונים הבאים נמצאים ברשימה הנוכחית שלי של דברים שאני חושש שאני מעריך בחסר כי הם נראים לי בהתחלה בלתי סבירים, ונמצאים ברשימת המטלות שלי כדי שאבדוק אותם בעתיד באופן יסודי יותר: מערכות הבינה המלאכותית המקיפות של דרקסלר (Drexler’s Comprehensive AI Systems). בטיחות AI דרך למידה מעמיקה של ערכים. טיעונים שבינה מלאכותית חזקה לא תוביל לישות-על יחידה.
אנא ספרו לי אם יש לכם דוגמאות ברוח זו שבהן נראיתי טיפש יותר מאיך שאני מציג את עצמי כאן.
הנה נקודת מבט נוספת על למה הגישה שלי עשויה להיות בעייתית. אני חושב שאנשים לרוב די גרועים בלהביע למה הם מאמינים בדברים, ובמיוחד הם לא נוטים להגיד "אני לא יודע למה אני מאמין בזה, אבל אני מאמין בזה בכל זאת." לכן, אם אני פוסל טיעונים גרועים, אני עלול לפסול ידע שימושי שאנשים אחרים צברו מתוך ניסיון.
אני חושב שעשיתי טעויות ברוח זו בעבר. למשל, פעם הייתה לי דעה הרבה יותר שלילית על מקצוענות מאשר היום. וישנן כמה טעויות אישיות חמורות שעשיתי שבהן חיפשתי את הטיעונים הטובים ביותר נגד לעשות משהו מוזר שרציתי לעשות, וכל הטיעונים האלה היו גרועים, ואז החלטתי לעשות את הדבר המוזר הזה, וזה התברר כרעיון גרוע.
קטיה גרייס קוראת לטעות הזו "שבירת הגדר של צ'סטרטון בנוכחות בולשיט."
זה עשוי להצביע על ההיוריסטיקה הבאה: "קחו בחשבון את התבונה המקובלת בנושאים מסוימים, גם אם תשאלו אנשים מאיפה התבונה המקובלת הזו מגיעה והם יציינו בפניכם מקור שנראה מאוד לא אמין."
אני חושב שההיוריסטיקה הזו היא בסדר, אבל היא לא צריכה להיות שיקול מכריע. הרעיונות שמתפתחים דרך הניסיון של קבוצות חברתיות הם בעלי ערך משום שהם נבררו במידה מסוימת לאור אמת וחשיבות. אבל תהליך הברירה של הרעיונות האלה הוא פשוט ומטופש להפליא.
הייתי מצפה שברוב המקרים שבהם משהו הוא רע, יש טיעון ניתן להבנה שמסביר למה לא כדאי לנו לעשות אותו (כאשר אני כולל טיעונים מראיות אמפיריות כטיעונים ניתנים להבנה). הייתי מעדיף פשוט ללמוד את כל הדברים המעטים שהחברה יודעת באופן מרומז, במקום לוותר בכל פעם שהיא לא מסכימה איתי.
אולי אני שוב נוהג ביהירות, אבל אני מרגיש שהטעות שעשיתי עם העניין של גניבת האופניים לא הייתה הסירוב שלי להיכנע לסמכות חברתית, אלא שלא ניסיתי מספיק לחשוב בקפידה על הכלכלה של הסיטואציה. נקודת המבט הפנימית שלי היא שאם אני עכשיו מנסה לחשוב על כלכלה, אני לא צריך לשלב יותר מדי פסילה בסגנון נקודת מבט חיצונית של הטיעונים של עצמי.
יש לי את היתרון הגדול של להיות מוקף באנשים שממש טובים בלנסח את הסיבות האמיתיות לכך שדברים הם רעים. ייתכן שהחוזקה מספר אחת של הקהילה הרציונליסטית היא יצירה והפצה של מודלים מפורשים וטובים לדברים שמובנים באופן נרחב במובלע (למשל וריאציות של חוק גודהארט, מולוך, הגדר של צ'סטרטון, קללת החד-צדדיות, "טוקסופלזמה של זעם"). אם הייתי בכל קהילה אחרת, אני חושש שהייתי כותב פוסטים כמו זה על האופניים, ואף אחד לא היה מצליח לנסח למה טעיתי בדרך שהייתה משכנעת. לכן אני לא בהכרח ממליץ לאחרים לאמץ את האסטרטגיה שאני נוקט בה.
אני לא מודע לכל כך הרבה מקרים שבהם האמנתי במשהו ממש מטופש בגלל שכל הטיעונים הנפוצים נגדו נראו לי ממש מפגרים. אם הייתי מכיר עוד מקרים כאלה, הייתי יותר מודאג מזה.
קלייר זאבל אומרת, בתגובה לכל זה:
הייתי אומרת שאתה ממהר מדי לאמץ נרטיב חדש בשלמותו אם יש לו נופך אמת, וממהר מדי לבקש מאחרים (וכנראה גם מעצמך) להפריך כאן ועכשיו, או לקבל מיד, נרטיב חדש מורכב וחשוב על משהו בעולם, ומשאיר מעט מדי מקום להגיד "זה נראה מפוקפק אבל אני לא יכול לנסח איך" או "אני רוצה לחשוב על זה קצת" או "הייתי רוצה לשמוע את טיעוני הנגד של אלו שאינם מסכימים לכך" או "למרות שאף אחד מהדברים לעיל לא נשא פרי, אני עדיין לא בטוח לגבי הדבר הזה."
זה נראה סביר. אני מבלה לא מעט זמן בניסיון להסביר למה אני מודאג מסיכוני בינה מלאכותית לאנשים שלא יודעים הרבה על הנושא. זה דורש כיסוי של תחום רחב. אולי כדאי לי להתאמץ יותר להגיד במפורש "דרך אגב, אני יודע שאני מספר לכם הרבה דברים מטורפים; אתם צריכים לקחת כמה זמן שיידרש כדי להעריך את כל זה בעצמכם; המטרה שלי כאן היא רק להסביר במה אני מאמין; אתם צריכים להשתמש בי כנקודת נתונים (datapoint) על מקום אפשרי אחד אליו אמונות אנושיות מגיעות לפעמים אחרי חשיבה על הנושא."
אני מרגיש שהתפיסה האינטואיטיבית שלי לגבי האם הטיעון של מישהו אחר הוא בגדול לגיטימי, הוא די טוב, ואני מתכנן להמשיך להרגיש די בטוח כשאינטואיטיבית אני מרגיש שמישהו אחר מתנהג בטיפשות. אבל אני מנסה לא לעשות את הקפיצה מ"אני חושב שהטיעון הזה בגדול נכון" ל"אני חושב שכל השלבים בגרסה המפורטת של הטיעון הזה הם בגדול נכונים." אנא ספרו לי אם אתם חושבים שאני עושה את הטעות הספציפית הזו.