
<html>


<head>


<meta http-equiv="Content-Type" content="text/html; charset=utf-8">


<style type="text/css" style="display:none;"> P {margin-top:0;margin-bottom:0;} </style>


</head>


<body dir="ltr">


<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">


<span style="margin:0px;font-size:12pt;color:rgb(0, 0, 0) !important;background-color:rgb(255, 255, 255)">Hi<span> </span><span data-markjs="true" class="markkojzjygzc" data-ogac="" data-ogab="" data-ogsc="" data-ogsb="" style="margin:0px">CaCL</span>ers,</span>


<div style="margin:0px;font-size:12pt;color:rgb(0, 0, 0) !important;background-color:rgb(255, 255, 255)">


<br>


</div>


<div style="margin:0px;font-size:12pt;color:rgb(0, 0, 0) !important;background-color:rgb(255, 255, 255)">


For our next meeting 2/17, we will discuss Elazar et al 2021, Measuring and Improving Consistency in Pretrained Language Models.</div>


<div style="margin:0px;font-size:12pt;color:rgb(0, 0, 0) !important;background-color:rgb(255, 255, 255)">


<br>


</div>


<div style="margin:0px;font-size:12pt;color:rgb(0, 0, 0) !important;background-color:rgb(255, 255, 255)">


<b>Link: </b></div>


<div style="margin:0px;font-size:12pt;color:rgb(0, 0, 0) !important;background-color:rgb(255, 255, 255)">


<a href="https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00410/107384/Measuring-and-Improving-Consistency-in-Pretrained" id="LPlnkOWALinkPreview">https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00410/107384/Measuring-and-Improving-Consistency-in-Pretrained</a></div>


<div class="_Entity _EType_OWALinkPreview _EId_OWALinkPreview _EReadonly_1">


<div id="LPBorder_GTaHR0cHM6Ly9kaXJlY3QubWl0LmVkdS90YWNsL2FydGljbGUvZG9pLzEwLjExNjIvdGFjbF9hXzAwNDEwLzEwNzM4NC9NZWFzdXJpbmctYW5kLUltcHJvdmluZy1Db25zaXN0ZW5jeS1pbi1QcmV0cmFpbmVk" class="LPBorder227276" style="width: 100%; margin-top: 16px; margin-bottom: 16px; position: relative; max-width: 800px; min-width: 424px;">


<table id="LPContainer227276" role="presentation" style="padding: 12px 36px 12px 12px; width: 100%; border-width: 1px; border-style: solid; border-color: rgb(200, 200, 200); border-radius: 2px;">


<tbody>


<tr valign="top" style="border-spacing: 0px;">


<td style="width: 100%;">


<div id="LPTitle227276" style="font-size: 21px; font-weight: 300; margin-right: 8px; font-family: wf_segoe-ui_light, "Segoe UI Light", "Segoe WP Light", "Segoe UI", "Segoe WP", Tahoma, Arial, sans-serif; margin-bottom: 12px;">


<a target="_blank" id="LPUrlAnchor227276" href="https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00410/107384/Measuring-and-Improving-Consistency-in-Pretrained" style="text-decoration: none; color: var(--themePrimary);">Measuring and Improving Consistency


 in Pretrained Language Models | Transactions of the Association for Computational Linguistics | MIT Press</a></div>


<div id="LPDescription227276" style="font-size: 14px; max-height: 100px; color: rgb(102, 102, 102); font-family: wf_segoe-ui_normal, "Segoe UI", "Segoe WP", Tahoma, Arial, sans-serif; margin-bottom: 12px; margin-right: 8px; overflow: hidden;">


Abstract. Consistency of a model—that is, the invariance of its behavior under meaning-preserving alternations in its input—is a highly desirable property in natural language processing. In this paper we study the question: Are Pretrained Language Models (PLMs)


 consistent with respect to factual knowledge? To this end, we create ParaRel落, a high-quality resource of cloze-style query ...</div>


<div id="LPMetadata227276" style="font-size: 14px; font-weight: 400; color: rgb(166, 166, 166); font-family: wf_segoe-ui_normal, "Segoe UI", "Segoe WP", Tahoma, Arial, sans-serif;">


direct.mit.edu</div>


</td>


</tr>


</tbody>


</table>


</div>


</div>


<br>


<div style="margin:0px;font-size:12pt;color:rgb(0, 0, 0) !important;background-color:rgb(255, 255, 255)">


<br>


</div>


<div style="margin:0px;font-size:12pt;color:rgb(0, 0, 0) !important;background-color:rgb(255, 255, 255)">


<b>Zoom link:</b></div>


<div style="margin:0px;font-size:12pt;color:rgb(0, 0, 0) !important;background-color:rgb(255, 255, 255)">


<a href="https://osu.zoom.us/j/95536921111?pwd=TG9YdVZ0Wk45R2hCdHhTYk5ubkhIQT09" target="_blank" rel="noopener noreferrer" data-auth="NotApplicable" data-linkindex="1" style="margin:0px">https://osu.zoom.us/j/95536921111?pwd=TG9YdVZ0Wk45R2hCdHhTYk5ubkhIQT09</a><br>


</div>


<div class="x__Entity x__EType_OWALinkPreview x__EId_OWALinkPreview x__EReadonly_1" style="margin:0px;font-size:15px;font-family:"Segoe UI", "Segoe UI Web (West European)", -apple-system, "system-ui", Roboto, "Helvetica Neue", sans-serif;color:rgb(32, 31, 30);background-color:rgb(255, 255, 255)">


</div>


<br style="color:rgb(32, 31, 30);font-family:"Segoe UI", "Segoe UI Web (West European)", -apple-system, "system-ui", Roboto, "Helvetica Neue", sans-serif;font-size:15px;background-color:rgb(255, 255, 255)">


<div style="margin:0px;font-size:12pt;color:rgb(0, 0, 0) !important;background-color:rgb(255, 255, 255)">


<b>Abstract:</b><br>


</div>


<span style="margin:0px;font-size:15px;font-family:Calibri, Helvetica, sans-serif;color:rgb(32, 31, 30);background-color:rgb(255, 255, 255)"><em style="margin:0px;font-size:16px;color:rgb(26, 26, 26);font-family:NeueHaasGroteskText, Helvetica, Arial, "Nimbus Sans L", sans-serif;background-color:rgb(255, 255, 255)">Consistency</em><span style="color:rgb(26, 26, 26);font-family:NeueHaasGroteskText, Helvetica, Arial, "Nimbus Sans L", sans-serif;font-size:16px;background-color:rgb(255, 255, 255);display:inline !important"><span> </span>of


 a model—that is, the invariance of its behavior under meaning-preserving alternations in its input—is a highly desirable property in natural language processing. In this paper we study the question: Are Pretrained Language Models (PLMs) consistent with respect


 to factual knowledge? To this end, we create<span> </span></span><span class="small-caps" style="margin:0px;font-size:12.8px;font-variant:small-caps;color:rgb(26, 26, 26);font-family:NeueHaasGroteskText, Helvetica, Arial, "Nimbus Sans L", sans-serif;background-color:rgb(255, 255, 255)">ParaRel</span><span style="color:rgb(26, 26, 26);font-family:NeueHaasGroteskText, Helvetica, Arial, "Nimbus Sans L", sans-serif;font-size:16px;background-color:rgb(255, 255, 255);display:inline !important">🤘,


 a high-quality resource of cloze-style query English paraphrases. It contains a total of 328 paraphrases for 38 relations. Using<span> </span></span><span class="small-caps" style="margin:0px;font-size:12.8px;font-variant:small-caps;color:rgb(26, 26, 26);font-family:NeueHaasGroteskText, Helvetica, Arial, "Nimbus Sans L", sans-serif;background-color:rgb(255, 255, 255)">ParaRel</span><span style="color:rgb(26, 26, 26);font-family:NeueHaasGroteskText, Helvetica, Arial, "Nimbus Sans L", sans-serif;font-size:16px;background-color:rgb(255, 255, 255);display:inline !important">🤘,


 we show that the consistency of all PLMs we experiment with is poor— though with high variance between relations. Our analysis of the representational spaces of PLMs suggests that they have a poor structure and are currently not suitable for representing knowledge


 robustly. Finally, we propose a method for improving model consistency and experimentally demonstrate its effectiveness.</span></span><br>


</div>


</body>


</html>