引擎公平对战测试的建议

　　1、相同的时间，如相同的局时，或者相同的步时


　　2、相同的线程数，相同的Hash。那种为了减少和棋数，把一方设置时间很短，线程很少，另一方却相反的打压式设置千万不要，如果这样测试一万局也没有意义


　　3、建议不要使用非平衡局面，这样对引擎不公平。旋风的评估软件内置了非平衡局面，但是并不知道一共内置了多少局面，假如说一共有1000局面，那测试时总局数需要是内置局面的整数倍，让每个引擎都能平均遇到每种局面，才比较公平，非则可能会导致某个引擎遇到更多的不利局面。所以建议不要使用旋风来测试


　　4、如果不喜欢用图形界面测试，建议使用Sylvan-CLI来测试，这个是跟旋风类似的命令行界面，但是Sylvan-CLI可以自定义开局局面（自定义openings.epd文件）。让对战引擎从初始局面开始，通过openings.epd文件来控制随机的红方第一步，把你认为公平的红方第一步写在openings.epd文件里面，Sylvan-CLI就能随机从里面选择一步作为第一步。随机第一步之后，就完全让引擎自己走。这样既可以使开局第一步多样性，又照顾了公平性。避免测来测去都是炮二平五、炮八平五的单一局面。


　　比如我自定义的openings.epd文件在如下24步随机选择一步作为红方开局的第一步：炮二平一、炮八平九，炮二平三、炮八平七，炮二平四、炮八平六，炮二平五、炮八平五，炮二平六、炮八平四，炮二平七、炮八平三，马二进一、马八进九，马二进三、马八进七，相三进五、相七进五，仕四进五、仕六进五，兵一进一、兵九进一，兵三进一、兵七进一


　　各位可以根据自己的喜好增删，具体的24步局面内容如下，一个局面单独占用一行：
rnbakabnr/9/1c5c1/p1p1p1p1p/9/9/P1P1P1P1P/NC5C1/9/R1BAKABNR b - - 0 1
rnbakabnr/9/1c5c1/p1p1p1p1p/9/9/P1P1P1P1P/1C6C/9/RNBAKABNR b - - 0 1
rnbakabnr/9/1c5c1/p1p1p1p1p/9/9/P1P1P1P1P/1C4NC1/9/RNBAKAB1R b - - 0 1
rnbakabnr/9/1c5c1/p1p1p1p1p/9/9/P1P1P1P1P/1CN4C1/9/R1BAKABNR b - - 0 1
rnbakabnr/9/1c5c1/p1p1p1p1p/9/9/P1P1P1P1P/1CC6/9/RNBAKABNR b - - 0 1
rnbakabnr/9/1c5c1/p1p1p1p1p/9/9/P1P1P1P1P/1C3C3/9/RNBAKABNR b - - 0 1
rnbakabnr/9/1c5c1/p1p1p1p1p/9/9/P1P1P1P1P/1C4C2/9/RNBAKABNR b - - 0 1
rnbakabnr/9/1c5c1/p1p1p1p1p/9/9/P1P1P1P1P/1C1C5/9/RNBAKABNR b - - 0 1
rnbakabnr/9/1c5c1/p1p1p1p1p/9/9/P1P1P1P1P/1C2C4/9/RNBAKABNR b - - 0 1
rnbakabnr/9/1c5c1/p1p1p1p1p/9/2P6/P3P1P1P/1C5C1/9/RNBAKABNR b - - 0 1
rnbakabnr/9/1c5c1/p1p1p1p1p/9/P8/2P1P1P1P/1C5C1/9/RNBAKABNR b - - 0 1
rnbakabnr/9/1c5c1/p1p1p1p1p/9/8P/P1P1P1P2/1C5C1/9/RNBAKABNR b - - 0 1
rnbakabnr/9/1c5c1/p1p1p1p1p/9/6P2/P1P1P3P/1C5C1/9/RNBAKABNR b - - 0 1
rnbakabnr/9/1c5c1/p1p1p1p1p/9/9/P1P1P1P1P/1C5C1/4A4/RNBAK1BNR b - - 0 1
rnbakabnr/9/1c5c1/p1p1p1p1p/9/9/P1P1P1P1P/1C2B2C1/9/RN1AKABNR b - - 0 1
rnbakabnr/9/1c5c1/p1p1p1p1p/9/9/P1P1P1P1P/1C5CN/9/RNBAKAB1R b - - 0 1
rnbakabnr/9/1c5c1/p1p1p1p1p/9/9/P1P1P1P1P/1C5C1/4A4/RNB1KABNR b - - 0 1
rnbakabnr/9/1c5c1/p1p1p1p1p/9/9/P1P1P1P1P/1C2B2C1/9/RNBAKA1NR b - - 0 1
rnbakabnr/9/1c5c1/p1p1p1p1p/9/9/P1P1P1P1P/4C2C1/9/RNBAKABNR b - - 0 1
rnbakabnr/9/1c5c1/p1p1p1p1p/9/9/P1P1P1P1P/5C1C1/9/RNBAKABNR b - - 0 1
rnbakabnr/9/1c5c1/p1p1p1p1p/9/9/P1P1P1P1P/3C3C1/9/RNBAKABNR b - - 0 1
rnbakabnr/9/1c5c1/p1p1p1p1p/9/9/P1P1P1P1P/C6C1/9/RNBAKABNR b - - 0 1
rnbakabnr/9/1c5c1/p1p1p1p1p/9/9/P1P1P1P1P/2C4C1/9/RNBAKABNR b - - 0 1
rnbakabnr/9/1c5c1/p1p1p1p1p/9/9/P1P1P1P1P/6CC1/9/RNBAKABNR b - - 0 1


　　5、关于引擎对打，一直以来对后台思考就有两种处理方式：一种是对战双方都自动关闭后台思考，引擎交替思考；另一种是双方都打开后台思考，对方在思考时，己方也在思考。这个不用太过于拘泥于某个引擎不打开后台思考，而觉得不公平。只要都是同时打开后台思考，或者同时关闭，就是公平的。如果使用兵河测试，那就是同时关闭后台思考；如果使用Sylvan-CLI测试，就是同时打开后台思考。


　　6、为了避免某些引擎太多超时判负，可以适当给点时间补偿。但不易补偿过多，因为走棋快本身就是一种优势，补偿多了又不公平了。

全局设置
思考策略    限时制：1+0+0 0.6
线程数    1
哈希表    128
后台思考    ×
开局库    ×
局面文件    tournament\fen.txt
随机选取    √
编排模式    循环赛
循环次数    500
同时进行场数    6
超时宽限    30ms
自动判和    回合数>=40 双方分数绝对值<=20
每场对局重新加载引擎    √


排名    引擎    胜    和    负    胜率    ΔElo
1    pk0903    162    729    109    52.65%    +18.4±11.2
2    pk0802    109    729    162    47.35%    -18.4±11.2
pk0903净胜53盘，等级分高上一版本36.8

本论坛早前教程链接地址：
http://www.qqzze.com/read-htm-tid-60083-page-1.html

刚有旋风的时候去大杀四方,很快黑了觉得生无可恋,了无生趣之下为了发挥收费引擎的余热,开机就能对打是个不错的选择,旋风的各种限制加上鱼的崛起,又把重点转到各种和鱼相关的周边来玩了.现在努力学习国象,因为国象各种引擎,界面,跑谱,测试的全面,便捷,完完全全不是中象能比较的,哎~~

你说的很有道理，对我都有参考意义。看来，你在测试上花过不少时间；所以，你的意见，我都认真听取并细心思考的。
如果有人想教你一门功夫，你首先要看到他的功夫咋样。比如，从小到大再到老的一个人，自告奋勇想教你弹钢琴，你跟他学了，咳！我咋没学会呢？
后来，你终于明白，教你的人也未曾弹好过－首曲子，全是东拼西凑，拾人牙慧！

我之前测试也是各种开局,各种时间都测过,后来看多了stockfish的测试,还有TCEC,CCC,fastgm,cegt等各种网站上的比赛,还有自己测试的结果来看,测试最重要的是同一条件下测试的盘数足够多,国象引擎动辄50000局的测试,中象是远没那条件的,我自己一般也就测个2000局,和卡卡的5000起步也有差距,TCEC上有个小问答,专门说明了一下不用平衡开局测试的原因:相比100局有95局和棋比起来,it is more entertaining!
https://tcec-chess.com/articles/TCEC_Openings_FAQ.html

lingshi的本主题帖，是个好帖子，据本人所阅，第一是肯定的。论坛的本质，不是给出标准答案，那不叫论坛。当然，没有标准答案，不是胡说八道，要言之有物，要有理有据，只要做到这点，即使你的结论我不认同，我也尊重你。另者，本帖能唤起人们对公平测试的思考与讨论，这就足够了。
      另外，说句题外话，论坛中有人处心积虑地哗众取宠（本人曾被这样骂过），在搔首弄姿，在吟吟作态，令人作呕，本人也曾被蒙蔽过。

非平衡局面缺乏公平，意义不大，以下三次测试都是平衡初始局面，红方第一步有限随机，超快棋500局测试，线程时间Hash都一样：


pk230902 对 pk0408-bmi2 的分数：95 胜 - 63 负 - 342 和 [0.532] 500
等级分差异：22.3 +/- 17.1，胜率：53.20%，和棋率：68.40%


pk0408-bmi2 对 pk230902x 的分数：71 胜 - 114 负 - 315 和 [0.457] 500
等级分差异：-30.0 +/- 18.5，胜率：45.70%，和棋率：63.00%


pk230902 对 pk230902x 的分数：57 胜 - 78 负 - 365 和 [0.479] 500
等级分差异：-14.6 +/- 15.8，胜率：47.90%，和棋率：73.00%


pk230902 和 pk230902x都是我用0902源码自编译的bmi2版，两种0902在超快棋测试都略胜0408

全局设置
思考策略    限时制：1+0+0 0.6
线程数    1
哈希表    128
后台思考    ×
开局库    ×
局面文件    tournament\fen.txt
随机选取    √
编排模式    循环赛
循环次数    500
同时进行场数    6
超时宽限    30ms
自动判和    回合数>=40 双方分数绝对值<=20
每场对局重新加载引擎    √

排名    引擎    胜    和    负    胜率    ΔElo
1    pk0902    137    747    116    51.05%    +7.3±10.8
2    pk0827    116    747    137    48.95%    -7.3±10.8
大家测试一下，结果进行比对，再讨论测试方式方法及其公平性。

好像intel大小核心偶有"小核有难大核围观"的现象,要先解决一下测试结果才不会出问题.原来有直播翻车就是先没注意这个东东.

按测试的轮数来删除,比如说100局,2个引擎对打的话删除双数,36局对打了18个换先,从37局删起,不删除接着暂停的话有遇到过超时负,慢棋到不存在,条件所限,只能尽量做到公平了

随机不平衡局面一定要测到最后结束，测一半是不行的。最好不间断测试，你暂停，删了，重新开始会打乱局面随机分配，换先顺序被打乱，可能后手的继续分配到后手局面，多开情况更复杂了。我测的结果跟你测的出入不小，超时宽限越大越有利于0408。

全局设置
思考策略    限时制：1+0+0 0.6
线程数    1
哈希表    128
后台思考    ×
开局库    ×
局面文件    tournament\220-250分80426局面.txt
随机选取    √
编排模式    循环赛
循环次数    200
同时进行场数    1
超时宽限    200ms
自动判和    回合数>=60 双方分数绝对值<=25
每场对局重新加载引擎    ×

排名
排名    引擎    胜    和    负    胜率    ΔElo
1    0408-pika-avx2-fold    561    562    477    52.63%    +18.3±13.7
2    0827-pika-avx2-liu       529    546    525    50.13%    +0.9±13.8
3    0827-pika-avx2            512    563    525    49.59%    -2.8±13.7
4    0305-pika-avx2            503    558    539    48.88%    -7.8±13.7
5    0827-pika-avx2-ling     520    521    559    48.78%    -8.5±14.0


全局设置
思考策略    限时制：1+0+0 0.6
线程数    1
哈希表    128
后台思考    ×
开局库    ×
局面文件    tournament\220-250分80426局面.txt
随机选取    √
编排模式    循环赛
循环次数    500
同时进行场数    10
超时宽限    1000ms
自动判和    回合数>=60 双方分数绝对值<=25
每场对局重新加载引擎    ×

排名
排名    引擎    胜    和    负    胜率    ΔElo
1    0408-pika-avx2-fold    756    609    635    53.03%    +21.0±12.7
2    0827-pika-avx2-liu       669    605    726    48.57%    -9.9±12.7
3    0827-pika-avx2-ling            667    602    731    48.4%    -11.1±12.7


思考策略    限时制：1+0+0 0.6
线程数    1
哈希表    128
后台思考    ×
开局库    ×
局面文件    tournament\220-250分80426局面.txt
随机选取    √
编排模式    循环赛
循环次数    1000
同时进行场数    10
超时宽限    0ms
自动判和    回合数>=60 双方分数绝对值<=25
每场对局重新加载引擎    ×

排名
排名    引擎    胜    和    负    胜率    ΔElo
1    0408-pika-avx2-fold    0    0    0    0%    +0.0±0.0
2    0827-pika-avx2-liu       0    0    0    0%    -0.0±0.0


新版本没出,接着用0408和0827一对一PK,超时宽限调0,看超时会不会增加太多,如果结果和以上不一致,换开局书再试.

平时那里都是200,可能输上面的时候不小心输错了,超时好像只在引擎暂停重新启动的时候比较重要,如果一盘下到一半的时候会出现马上超时负,我暂停都是把暂停的这几盘删除了从第1回合开始.还有多引擎对战成绩不太准,我一般要不1对多,要不只用2个引擎测.

1、超时宽限设1000ms，即1秒，大于每步加时0.6秒，这样，1+1/100分，3+3/100分，5+5/100分，就没意义了。超时宽限应小于每步加时的1/3，理论上越趋近于0，越公平，为了避免超时判负所占比例太高，无法反映真实水平，做出超时宽限的权且变通。120分钟的考试，如果能超时30分钟交卷，那对按时交卷的考生是极不公平的，这样的成绩排名也是不靠谱的。2、参赛各引擎与界面不同盘符，比如，界面在D盘，那就在E盘或F盘的根目录下独立三个文件夹，放入三个引擎和各自对应的权重，目的是为了减少硬盘读取速度的影响和文件读取挤占的问题。3、多引擎参赛，同开场数y为参赛引擎数x的整数倍，避免引擎负荷不平衡，三引擎参赛，同开数为3 k，四引擎参赛同开数为4k(k为自然数)，两引擎一对一不存在这问题。总之，尽量做到公平，魔鬼出在细节。

场数影响不大,我都不开满的,8-12场我都在测,速度1核在4.0G以上,除了旋风我8核他只给你开2桌,美其名曰,因为便宜.

我解码大体对了吧？我跟你的一样，只是循环次数500，3*2*500=3000局，我测了两天多，不间断，因为同时场数跟你不一样。10+0.1秒，那超时宽限就要改了，不能是200ms,只能设50 ms。你超时宽限设太大，不能多于200ms
因为我的回复上限只剩一个，要留着急用，只好通过编辑增删修改了，不敢再发帖了。

G B K? to U T F-? 拼音首字母：ccmjgdn？及格 y，不及格，n。8核开12场，关闭观看比赛，显示器也关掉，最好拨出接口。

才测,没结果呢,您测的时间很短的那种么,10+0.1秒?

我测的是，1、2互换，余同。elo你没公布，无法比较。