open-compass/lawbench

Benchmarking Legal Knowledge of Large Language Models

lawbench's Issues

2-4数据集有问题

比如:
{
"instruction": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n咨询：",
"question": "你好，我問一下我在手機店留了一張复印件，不會有問題吧！",
"answer": "房产纠纷"
},
{
"instruction": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n咨询：",
"question": "主人没拴狗链在马路中间跑，闯了赔钱吗？",
"answer": "房产纠纷"
},
answer标签对应错误。

为什么每一条测试数据的question前四个字符都是“民法商法”

{
    "instruction": "回答以下问题，只需直接给出法条内容:",
    "question": "民法商法信托法第二十五条的内容是什么？",
    "answer": "答案:受托人应当遵守信托文件的规定，为受益人的最大利益处理信托事务。,受托人管理信托财产，必须恪尽职守，履行诚实、信用、谨慎、有效管理的义务。"
  },
  {
    "instruction": "回答以下问题，只需直接给出法条内容:",
    "question": "民法商法信托法第五十六条的内容是什么？",
    "answer": "答案:信托终止后，人民法院依据本法第十七条的规定对原信托财产进行强制执行的，以权利归属人为被执行人。"
  },
  {
    "instruction": "回答以下问题，只需直接给出法条内容:",
    "question": "民法商法信托法第五十五条的内容是什么？",
    "answer": "答案:依照前条规定，信托财产的归属确定后，在该信托财产转移给权利归属人的过程中，信托视为存续，权利归属人视为受益人。"
  },

这些json都是怎么整理出来的呢

非结构化文档（比如pdf）是怎么整理成这些json呢，有没有代码，想参考下

how to calculate the overall "AVG" score of memorization, understanding and application tasks

As shown in LawBench paper, according to the one-shot and zero-shot scores for the memorization, understanding and application in Table 27 and 31, how to calculate the overall "AVG" score? is it the average of the three tasks? but it is not correct from the Table 27 and 31.

Sign in or up does not work as expect...

I attempt to click on the login button on the main page, but it gives the following error:

Check https://lawbench.opencompass.org.cn

任务2-6的数据源与评测数据不匹配

在README.md中任务2-6（命名实体识别）的数据源为CAIL2022，此数据源中的命名实体识别任务是关于涉毒案件的人名，地点，时间，毒品类型以及毒品重量的识别

在data/one_shot/2-6.json和data/zero_shot/2-6.json文件中，提取的实体为盗窃案相关实体类型，下面是data/zero_shot/2-6.json中的sample

[
  {
    "instruction": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。",
    "question": "句子:破案后，公安机关将查获手机依法返还给了被害人严某某、肖某某。",
    "answer": "受害人:严某某、肖某某;被盗物品:查获手机;组织机构:公安机关"
  },
{...}
]

获取开源模型输出时，如何设定max_token

你好，我正在尝试使用你们的数据在我自己本地的模型上运行。想问一下你们对于一些开源的模型，假设输入的prompt超过token数了，是如何处理的呢？

相关报错：
Invalid response object from API: '{"object":"error","message":"This model's maximum context length is 2048 tokens. However, you requested 2110 tokens (1086 in the messages, 1024 in the completion). Please reduce the length of the messages or completion.","code":40303}' (HTTP response code was 400)

9种法律专用大语言模型。

从one-shot和zero-shot的结果来看，怎么感觉这些专门训练的法律大模型表现不咋样呢？😂同参数以及甚至比不过更小参数的。
还是这是我的错觉 - -

Missing model provenance

I attempt to click on any model hyperlink, but only find that all of them redirect me to an empty page with "There is nothing here!":

实用工具 case_analyzer.py 出现错误 SyntaxError: f-string: unmatched '['

复现过程如下

1.Lawbench正常
python run.py
--datasets lawbench_one_shot_gen_002588 lawbench_zero_shot_gen_002588
--hf-path /home/xlabs/zoo/LLaMA-Factory/models/qwen2_lora_sft
--tokenizer-path /home/xlabs/zoo/LLaMA-Factory/models/qwen2_lora_sft
--tokenizer-kwargs padding_side='left' truncation='left' trust_remote_code=True
--model-kwargs device_map='auto' torch_dtype='torch.float' trust_remote_code=True
--max-seq-len 2048
--max-out-len 2048
--batch-size 8
--hf-num-gpus 1
--work-dir outputs/Qwen2-1.5B-Instruct_Lora
--debug

2.Prompt Viewer正常
python tools/prompt_viewer.py configs/datasets/lawbench/lawbench_zero_shot_gen_002588.py -a

3.Case Analyzer错误
python tools/case_analyzer.py configs/datasets/lawbench/lawbench_zero_shot_gen_002588.py -w ./outputs/Qwen2-1.5B-Instruct_Lora/20240724_142030/

提示如下：
File "/home/xlabs/zoo/opencompass-0.2.5/tools/case_analyzer.py", line 102
print(f"ds_0: {dataset["1-1"]}")
^
SyntaxError: f-string: unmatched '['

请问有评估自己模型的脚本吗

How to download the entire leaderboard?

Including all the evaluation results shown on the webpage?