FAQ do Beta-test do Sistema de Avaliação para o FISL11

Devido ao grande número de propostas de palestra enviadas para o FISL, sempre foi necessário um sistema de avaliação que reduzisse esse número aos espaços disponíveis na grade de programação. O sistema de avaliação utilizado até hoje se baseia na opinião de Avaliadores, que são escolhidos na comunidade. O sistema de avaliação proposto para o FISL 11 se baseia em avaliações dos próprios participantes. Eis algumas FAQ:

0. Por que mudar?

Temos total confiança no sistema de avaliação que utilizamos até hoje, e na política de seleção dos avalidores empregada até então. No entanto, gostaríamos de incluir o máximo de pessoas possível no processo... para isso um novo sistema de avaliação é necessário.

1. Sobre o beta-test

1.1. Até quando posso participar do beta-test?

Até o dia 14 de março de 2010. Já ocorreu um primeiro e um segundo beta-test... Mais um está programado para o dia 11/03.

1.2. Como posso participar?

Se você participou do FISL 10, deve ter recebido um código especial com instruções por email (um token). Se você não recebeu ou não participou do último FISL e deseja participar, entre em contato através do email novaavaliacao@softwarelivre.org .

1.3. OK, estou na tela de avaliação, o que devo fazer?

É realmente muito simples. Tudo o que você precisa fazer é dizer se prefere a palestra 1 (a da sua esquerda) ou a palestra 2 (a da sua direita), ou se ambas agradam/desagradam igualmente. Apenas clique no botão correspondente.

1.4. Oops... cliquei errado. Posso voltar?

Não. Há um grande número de avaliações sendo processadas. Confie que o seu erro será diluído pela média.

1.5. Hey! Já acabou?

Sim... Para evitar distorções, há apenas um número limitado de avaliações disponíveis para cada token.

2. Sistema propriamente dito

2.1. Como as avaliações são computadas?

Fazer um sistema de avaliação que permita grande participação do público é um desafio. Acreditamos que a melhor maneira de aproveitarmos cada avaliação é através de um sistema conhecido como Torneio Suíço, também utilizado em campeonatos de Xadrez, por exemplo. Nesse sistema, as "avaliações" foram mapeadas para "partidas" entre duas propostas enviadas (para fins de beta-test foram utilizadas propostas enviadas para o FISL10) em que o avaliador deve, simplesmente, dizer se prefere uma ou outra (ou se prefere ambas igualmente).

2.2. OK... mas como funciona "por dentro"?

As "partidas" entre as propostas servem para gerar novas rodadas com novas partidas até que, matematicamente, acabamos extraindo uma "preferência global" do público... É provavelmente mais fácil de entender se você der uma olhada no código que estamos utilizando.

2.3. Por que um algoritmo tão esotérico (por que não algo que não necessite de um matemático para compreender)?

Em primeiro lugar, não é tão complexo assim para compreender. Na realidade a idéia de utilizar um Torneio Suíço vem sendo debatida há pelo menos um ano... Com o crescente número de propostas de palestra enviadas, qualquer sistema mais direto fica muito difícil de ser empregado (incluindo o sistema que utilizamos até hoje)... Esse mesmo problema ocorre em campeonatos de Xadrez, por exemplo, em que, basta um número muito grande de participantes para fazê-lo durar muito tempo. Acreditamos que podemos "reciclar" a mesma idéia que resolveu esse problema no caso do Xadrez e utilizá-la para resolver o nosso problema.

2.4. Vai ser abandonado o sistema anterior?

Não necessariamente. Se o beta-test desse sistema de avaliação for bem sucedido, é provável que o utilizemos no FISL11. Depois disso teremos de avaliar se os objetivos foram atingidos. A quaisquer desses momentos podemos reverter ao sistema anterior.

3. Erros e bugs

3.1. Estou tentando avaliar mas recebo uma mensagem que começa com "Aguarde enquanto processamos as últimas avaliações do...". Que faço?

Resposta curta: nada. Resposta longa: o algoritmo que utilizamos necessita que uma rodada seja completamente avaliada antes de gerar uma nova rodada. A mensagem de erro acima ocorre quando existem palestras da rodada atual "reservadas" para avaliação, mas o avaliador ainda não o fez. Essa reserva expira em 15 minutos... Quando a avaliação expira sem ser completada, a "partida" é entregue para o próximo avaliador... Ou seja, se você recebeu a mensagem acima, retorne em 15 minutos para ver se o processo já está em movimento novamente.

3.2. Outros erros e bugs... Como reportar?

Esse é um sistema beta! Erros e bugs são esperados e agradecemos desde já sua cooperação em testar o sistema. Se você está enfrentando um erro que não foi previsto acima, entre em contato através de novaavaliacao@softwarelivre.org . Mais uma vez, obrigado.

-- PabloLorenzzoni - 01 Mar 2010

Topic revision: r5 - 10 Mar 2010 - 20:03:11 - PabloLorenzzoni


 
This site is powered by FoswikiCopyright © by the contributing authors. All material on this collaboration platform is the property of the contributing authors.
Ideas, requests, problems regarding Wiki-SL? Send feedback