<div dir="ltr">An upcoming guest lecture by Allyson Ettinger in Roger Levy's lab seems to be of potential interest to many of us. See below for details.<div><br></div><div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">---------- Forwarded message ---------<br>From: <strong class="gmail_sendername" dir="auto">Peng Qian</strong> <span dir="auto"><<a href="mailto:pqian@mit.edu">pqian@mit.edu</a>></span><br>Date: Mon, Sep 21, 2020 at 9:10 AM<br>Subject: [Cpl-lab] CPL lab meeting Wednesday 9/23 2pm (EDT) Allyson Ettinger (University of Chicago) "Holding AI to a human standard: Applying cognitive science to evaluation of NLP models"<br>To: cpl-lab <<a href="mailto:cpl-lab@mit.edu">cpl-lab@mit.edu</a>><br></div><br><br>




<div dir="ltr" style="font-size:12pt;color:#000000;background-color:#ffffff;font-family:Calibri,Arial,Helvetica,sans-serif">
<div>Dear CPL-ers,</div>
<div><br>
</div>
<div>Our next lab meeting will be<strong> 2pm EDT Wednesday, Sept 23</strong>. Our guest speaker, Allyson Ettinger, from the University of Chicago, will give a talk. Details can be found below.</div>
<div><br>
</div>
<div>We will be meeting virtually on Zoom at <a href="https://urldefense.com/v3/__https://mit.zoom.us/j/517629851__;!!KGKeukY!jmkTjnjkJH5GzRANqHGS2y2WTJHgh_nfsUFzdaiCdILO4P5-cABED8G-gr5NKeR-$" target="_blank">
https://mit.zoom.us/j/517629851</a><span style="font-size:12pt">  with password 756945</span></div>
<div><br>
</div>
<div><br>
</div>
<div><strong style="font-size:12pt">Holding AI to a human standard: Applying cognitive science to evaluation of NLP models</strong></div>
<div><br>
</div>
<div><strong>Abstract</strong>: <span style="font-size:12pt">In recent years, the field of natural language processing (NLP) has made what appears to be incredible progress, with models even surpassing human performance on certain benchmark evaluations. How
 should we interpret these advances? Have these models achieved so-called language "understanding"? For addressing these questions, we can draw critical insights from the study of language in human cognition -- both because language "understanding" can only
 reasonably be defined based on human language comprehension, and because the controlled methodologies of psycholinguistics and cognitive science are well-suited to asking fine-grained linguistic questions about black box systems. In this talk I discuss a series
 of projects examining the linguistic capabilities of NLP models, by comparing against language processing behaviors at a number of different levels of human cognition, using tests inspired by experimental methods in cognitive science and psycholinguistics.
 I focus in particular on work probing for systematic capturing of compositional meaning information in models' internal representations, and on work assessing models' word prediction patterns against human predictive responses of varying linguistic sensitivity.
 The results show that by leveraging these kinds of controlled tests grounded in human language comprehension patterns, we can identify clear room for growth in state-of-the-art NLP models, including ways in which optimization of the models' objectives may
 ultimately be poorly-suited for achieving human-like language understanding. I will discuss implications of the findings both for NLP and for the study of language processing in humans.</span></div>
<div><br>
</div>
<div><strong>Bio</strong>: <span style="font-size:12pt">Allyson Ettinger is an Assistant Professor in the Department of Linguistics at the University of Chicago. Her interdisciplinary work draws on methods and insights from cognitive science, linguistics,
 and computer science to examine meaning extraction and predictive processes executed during language processing in humans and in artificial intelligence systems. She received her PhD in Linguistics from the University of Maryland, and spent a year as research
 faculty at the Toyota Technological Institute at Chicago (TTIC) before beginning her appointment at the University of Chicago. She holds an additional courtesy appointment at TTIC.</span></div>
<div><br>
</div>
<div><br>
</div>
<div>Best,</div>
<div>Peng<br>
</div>
<p><br>
</p>
</div>

_______________________________________________<br>
Cpl-lab mailing list<br>
<a href="mailto:Cpl-lab@mit.edu" target="_blank">Cpl-lab@mit.edu</a><br>
<a href="https://urldefense.com/v3/__http://mailman.mit.edu/mailman/listinfo/cpl-lab__;!!KGKeukY!jmkTjnjkJH5GzRANqHGS2y2WTJHgh_nfsUFzdaiCdILO4P5-cABED8G-goTe-1JG$" rel="noreferrer" target="_blank">http://mailman.mit.edu/mailman/listinfo/cpl-lab</a><br>
</div></div></div>