
<html><head><meta http-equiv="Content-Type" content="text/html; charset=UTF-8" /></head><body style='font-size: 10pt; font-family: Verdana,Geneva,sans-serif'>

<p>Hi Grzegorz,</p>

<p><br /></p>

<p>I think we need two mailing lists: 1 for the K-centre in total and 1 for the subgroup of Benchmarking LLMs.</p>

<p>We can ask Dieter to set these up at <a href="https://lists.clarin.eu/">https://lists.clarin.eu/</a> and have e.g. <a href="mailto:llms4ssh@lists.clarin.eu">llms4ssh@lists.clarin.eu</a> and <a href="mailto:llms4ssh-benchmarking@lists.clarin.eu">llms4ssh-benchmarking@lists.clarin.eu</a></p>

<p>We can then invite peopel to subscribe to these mailing lists, so they can manage their own subscriptions, so we don't need google accounts.</p>

<p>What do you think?</p>

<p>v.</p>

<p><br /></p>

<div id="signature"></div>

<p><br /></p>

<p id="reply-intro">On 2025-06-20 10:27, Grzegorz Chodak wrote:</p>

<blockquote type="cite" style="padding: 0 0.4em; border-left: #1010ff 2px solid; margin: 0">

<div id="replybody1">

<p>Dear Vincent, </p>

<p>thank you for your e-mail. Mailing list it is a good idea. I attach list of the e-mail we used to inform about K-Centre LLM4SSH last meeting. This is in Word format. I also copied this list into Google Docs and shared it with You. </p>

<p>I have created a Google Drive folder for LLM4SSH. Unfortunately, sharing the folder is only possible with email addresses from the Google domain or those linked to a Google account. This poses a problem, as most of the email addresses on this mailing list are not associated with Google.</p>

<p>Best Regards,</p>

<p>Grzegorz Chodak</p>

<div class="v1moz-cite-prefix">W dniu 19.06.2025 o 16:37, Vincent Vandeghinste pisze:</div>

<blockquote type="cite" style="padding: 0 0.4em; border-left: #1010ff 2px solid; margin: 0">

<p>Thank you Nikola,</p>

<p>I know Spela from a long time ago in a Translation context, can't remember where.</p>

<p>I'll send a mail to the group with Spela included, so anyone replying on the thread includes her as well. </p>

<p><br /></p>

<p>@Maciej/Grzegorz: maybe we should create a mailing list where people can subscribe to this subgroup. We could ask Dieter to set one up centrally, if you want. We need to work on the workshop programme some more.</p>

<p>cheers,</p>

<p>v.</p>

<p><br /></p>

<p id="v1reply-intro">On 2025-06-19 16:28, Nikola Ljubešić wrote:</p>

<blockquote style="padding: 0 0.4em; border-left: #1010ff 2px solid; margin: 0;">

<div id="v1replybody1">

<div dir="ltr">Dear Vincent,

<div> </div>

<div>Can you, please, add Špela Vintar (cc) to the follow-up communication on the LLM benchmarking workgroup within the LLMs4SSH K-Centre?</div>

<div> </div>

<div>Špela is a seasoned researcher with great interest in LLM benchmarking. Špela, please have a look at the current status of the document giving an overview on the current benchmarking practices. You might even want to expand our section with your recently published pragmatic benchmark.</div>

<div> </div>

<div>Špela, I guess that Vincent is still searching for the volunteer on the following point (Vincent, do let us know if this is not the case anymore):</div>

<div> </div>

<div>

<ul style="font-family: Verdana,Geneva,sans-serif; font-size: 13.333333px;">

<li style="margin-left: 15px;">Can someone of the people in this subgroup that is involved in hands-on setting up evaluation / benchmarking<span class="v1v1gmail-Apple-converted-space"> </span><strong>volunteer to take the lead on the practical side of this subgroup,</strong><span class="v1v1gmail-Apple-converted-space"> </span>such as coming up with a proposal on how you would go about setting up an approach in which an LLM can be evaluated with your language specific benchmarks, without opening up the benchmark? This would provide us with a starting point for discussion. Feel free to start a new tab in the google doc to describe what you propose so it is easily sharable with the others in this subgroup.</li>

</ul>

</div>

<div> </div>

<div>Vincent, both Taja and me will be in Vienna for the LLMs4SSH workshop. We will be happy to present. Špela, we can talk if you would be interested in going there as well (Tomaž has just opened up the discussion on the <a href="http://CLARIN.SI" target="_blank" rel="noopener noreferrer">CLARIN.SI</a> quota).</div>

<div> </div>

<div>Greetings to both,</div>

<div> </div>

<div>Nikola</div>

</div>

<br />

<div class="v1v1gmail_quote v1v1gmail_quote_container">

<div class="v1v1gmail_attr" dir="ltr">On Tue, Apr 22, 2025 at 10:58 AM Vincent Vandeghinste <<a class="v1moz-txt-link-freetext" href="mailto:vincent@ccl.kuleuven.be" rel="noreferrer">vincent@ccl.kuleuven.be</a>> wrote:</div>

<blockquote class="v1v1gmail_quote" style="margin: 0px 0px 0px 0.8ex; border-left-width: 1px; border-left-style: solid; border-left-color: #cccccc; padding-left: 1ex;">

<div style="font-size: 10pt; font-family: Verdana,Geneva,sans-serif;">

<p>Dear all,</p>

<p><br /></p>

<p>As you are part of the workgroup within the LLMs4SSH K-Centre, we are contacting you for a first exploratory information round to tell us what are the current practices of LLM evaluation for your languages.</p>

<p>You can put this information in this document: <a class="v1moz-txt-link-freetext" href="https://docs.google.com/document/d/17th32j9W0h42AqS8sr0Q-HdaW9N4PuDQf8bzcrRF80A/edit?usp=sharing" target="_blank" rel="noopener noreferrer">https://docs.google.com/document/d/17th32j9W0h42AqS8sr0Q-HdaW9N4PuDQf8bzcrRF80A/edit?usp=sharing</a></p>

<p>We are interested in</p>

<ul>

<li>methods</li>

<li>test sets</li>

<li>evaluation platforms</li>

<li>...</li>

</ul>

<p>This can then serve as a preparation for our first online meeting. We are waiting for the meeting about the post-conference CLARIN workshop about LLMs before setting up a meeting for this subgroup, in order not to confuse things.</p>

<p>So, if you could provide such information by the 9th of May 2025, that would be greatly appreciated.</p>

<p>kind regards,</p>

<p>Vincent (also on behalf of Henk)</p>

<p><br /></p>

<p><br /></p>

</div>

</blockquote>

</div>

</div>

</blockquote>

</blockquote>

</div>

</blockquote>

</body></html>