引擎公平对战测试的建议

现在测着0828的旋风,等过两天,我一般用305,不用408的,那个版本没能扛的,305以后大家都算快棋版吧,编译用clang棋力好一些.

您的帖子只有0826的呢,0827您没放出来咯.

请移步到第6页，102楼下载测试。谢谢

全局设置
思考策略    限时制：1+0+0 0.6
线程数    1
哈希表    128
后台思考    ×
开局库    ×
局面文件    tournament\220-250分80426局面.txt
随机选取    √
编排模式    循环赛
循环次数    1000
同时进行场数    8
超时宽限    200ms
自动判和    回合数>=60 双方分数绝对值<=25
每场对局重新加载引擎    ×

排名
排名    引擎    胜    和    负    胜率    ΔElo
1    0827-pika-avx2    748    581    671    51.92%    +13.4±12.8
2    0826-pika-avx2    671    581    748    48.07%    -13.4±12.8
我看您0827编译的时间早于PikaCat-OuO侠的发布时间,这样可能是0826第二版和0827版对打,liuwei版有点吃亏的哦.

那是架构环境时间，在皮卡猫之后。是0827版

引用

引用第10楼风的线条于2023-08-27 14:08发表的  :
时间长短上我也各种测试过,现在也是按stockfish的1分加1/100秒,3分+1.8秒的标准来.

应该是1/100分，也就是每步加局时的百分之一，3分钟局时，每步加3/100分，即1. 8秒。线下比赛加时赛的超快棋，常用5分钟+ 3秒，也是同理。

官网昨天更新了权重，请到官网下载，或到本人帖子第6页，102楼下载。

全局设置
思考策略    限时制：1+0+0 0.6
线程数    1
哈希表    128
后台思考    ×
开局库    ×
局面文件    tournament\220-250分80426局面.txt
随机选取    √
编排模式    循环赛
循环次数    1000
同时进行场数    10
超时宽限    1000ms
自动判和    回合数>=60 双方分数绝对值<=25
每场对局重新加载引擎    ×

排名
排名    引擎    胜    和    负    胜率    ΔElo
1    0408-pika-avx2-fold
2    0827-pika-avx2-liu        
3    0827-pika-avx2-ling    

正常结果应该是这样的吧,如果不一致我再回复,一样就不回了,可能对打没结束,新版本又又又出来了.

我测的是，1、2互换，余同。elo你没公布，无法比较。

才测,没结果呢,您测的时间很短的那种么,10+0.1秒?

G B K? to U T F-? 拼音首字母：ccmjgdn？及格 y，不及格，n。8核开12场，关闭观看比赛，显示器也关掉，最好拨出接口。

我解码大体对了吧？我跟你的一样，只是循环次数500，3*2*500=3000局，我测了两天多，不间断，因为同时场数跟你不一样。10+0.1秒，那超时宽限就要改了，不能是200ms,只能设50 ms。你超时宽限设太大，不能多于200ms
因为我的回复上限只剩一个，要留着急用，只好通过编辑增删修改了，不敢再发帖了。

场数影响不大,我都不开满的,8-12场我都在测,速度1核在4.0G以上,除了旋风我8核他只给你开2桌,美其名曰,因为便宜.

1、超时宽限设1000ms，即1秒，大于每步加时0.6秒，这样，1+1/100分，3+3/100分，5+5/100分，就没意义了。超时宽限应小于每步加时的1/3，理论上越趋近于0，越公平，为了避免超时判负所占比例太高，无法反映真实水平，做出超时宽限的权且变通。120分钟的考试，如果能超时30分钟交卷，那对按时交卷的考生是极不公平的，这样的成绩排名也是不靠谱的。2、参赛各引擎与界面不同盘符，比如，界面在D盘，那就在E盘或F盘的根目录下独立三个文件夹，放入三个引擎和各自对应的权重，目的是为了减少硬盘读取速度的影响和文件读取挤占的问题。3、多引擎参赛，同开场数y为参赛引擎数x的整数倍，避免引擎负荷不平衡，三引擎参赛，同开数为3 k，四引擎参赛同开数为4k(k为自然数)，两引擎一对一不存在这问题。总之，尽量做到公平，魔鬼出在细节。

平时那里都是200,可能输上面的时候不小心输错了,超时好像只在引擎暂停重新启动的时候比较重要,如果一盘下到一半的时候会出现马上超时负,我暂停都是把暂停的这几盘删除了从第1回合开始.还有多引擎对战成绩不太准,我一般要不1对多,要不只用2个引擎测.

全局设置
思考策略    限时制：1+0+0 0.6
线程数    1
哈希表    128
后台思考    ×
开局库    ×
局面文件    tournament\220-250分80426局面.txt
随机选取    √
编排模式    循环赛
循环次数    200
同时进行场数    1
超时宽限    200ms
自动判和    回合数>=60 双方分数绝对值<=25
每场对局重新加载引擎    ×

排名
排名    引擎    胜    和    负    胜率    ΔElo
1    0408-pika-avx2-fold    561    562    477    52.63%    +18.3±13.7
2    0827-pika-avx2-liu       529    546    525    50.13%    +0.9±13.8
3    0827-pika-avx2            512    563    525    49.59%    -2.8±13.7
4    0305-pika-avx2            503    558    539    48.88%    -7.8±13.7
5    0827-pika-avx2-ling     520    521    559    48.78%    -8.5±14.0


全局设置
思考策略    限时制：1+0+0 0.6
线程数    1
哈希表    128
后台思考    ×
开局库    ×
局面文件    tournament\220-250分80426局面.txt
随机选取    √
编排模式    循环赛
循环次数    500
同时进行场数    10
超时宽限    1000ms
自动判和    回合数>=60 双方分数绝对值<=25
每场对局重新加载引擎    ×

排名
排名    引擎    胜    和    负    胜率    ΔElo
1    0408-pika-avx2-fold    756    609    635    53.03%    +21.0±12.7
2    0827-pika-avx2-liu       669    605    726    48.57%    -9.9±12.7
3    0827-pika-avx2-ling            667    602    731    48.4%    -11.1±12.7


思考策略    限时制：1+0+0 0.6
线程数    1
哈希表    128
后台思考    ×
开局库    ×
局面文件    tournament\220-250分80426局面.txt
随机选取    √
编排模式    循环赛
循环次数    1000
同时进行场数    10
超时宽限    0ms
自动判和    回合数>=60 双方分数绝对值<=25
每场对局重新加载引擎    ×

排名
排名    引擎    胜    和    负    胜率    ΔElo
1    0408-pika-avx2-fold    0    0    0    0%    +0.0±0.0
2    0827-pika-avx2-liu       0    0    0    0%    -0.0±0.0


新版本没出,接着用0408和0827一对一PK,超时宽限调0,看超时会不会增加太多,如果结果和以上不一致,换开局书再试.

随机不平衡局面一定要测到最后结束，测一半是不行的。最好不间断测试，你暂停，删了，重新开始会打乱局面随机分配，换先顺序被打乱，可能后手的继续分配到后手局面，多开情况更复杂了。我测的结果跟你测的出入不小，超时宽限越大越有利于0408。

按测试的轮数来删除,比如说100局,2个引擎对打的话删除双数,36局对打了18个换先,从37局删起,不删除接着暂停的话有遇到过超时负,慢棋到不存在,条件所限,只能尽量做到公平了

好像intel大小核心偶有"小核有难大核围观"的现象,要先解决一下测试结果才不会出问题.原来有直播翻车就是先没注意这个东东.

全局设置
思考策略    限时制：1+0+0 0.6
线程数    1
哈希表    128
后台思考    ×
开局库    ×
局面文件    tournament\fen.txt
随机选取    √
编排模式    循环赛
循环次数    500
同时进行场数    6
超时宽限    30ms
自动判和    回合数>=40 双方分数绝对值<=20
每场对局重新加载引擎    √

排名    引擎    胜    和    负    胜率    ΔElo
1    pk0902    137    747    116    51.05%    +7.3±10.8
2    pk0827    116    747    137    48.95%    -7.3±10.8
大家测试一下，结果进行比对，再讨论测试方式方法及其公平性。