종족별 밸런스에 대한 객관적이고 통계학적인 검증

객관적인 근거를 많이 바라시더군요

http://sc2.vacau.com/sc2/krranks.php를 이용했구요.

마침 심심하기도 해서 

실제 통계 프로그램(SPSS)을 돌려서 승률과 점수에 대해 종족 별로 차이가 있는지 확인해서 자료를 올립니다.

결과는 맨 뒤에 있으니 뭔소린지 이상하다 싶으시면 맨아래 결과만 보셔도 되요

 

다이아몬드 상위 120명을 대상으로 실행하였는데, 

실제 래더 점수와 승률을 모두 검증해보았습니다.

  

 

개체-간 요인

		변수값 설명	N
race	1	테란	40
	2	프로토스	47
	3	저그	27
	4	랜덤	6

일단 상위 120명은 테란 40, 프로토스 47명, 저그 27명, 랜덤 6명입니다.

비율은 거의 전체 비율과 일치 하구요.

120명 정도 뽑으면 통계적으로 거의 완벽하게 전체 점수(다이아몬드 리그)를 대표할 수 있습니다.

 

일단 전제로 해둘 것은 테란이 가장 좋고, 저그와 프로토스는 상대적으로 비슷하다고 가정할 때 입니다.

 

단순 사람들의 숫자로 비교를 할 때,

테란이 유리한 게임을 할 확률(타종족과 하게 될 확률) 62%

프로토스가 불리하게 게임을 할 확률 33%(테란과 하게 될 확률)

저그가 불리하게 게임을 할 확률 33%(테란과 하게 될 확률)

랜덤은 무시

 

딴것을 떠나서 기본적으로 테란이 확실하게 유리하다면 테란의 승률은 

무식하게 대충 계산할때 다른 종족에 비해서 1.62배 쯤 높아야하겠죠?

 

기술통계량

	race	평균	표준편차	N
score	테란	419.17	123.765	40
	프로토스	396.02	73.039	47
	저그	409.59	75.063	27
	랜덤	363.00	49.578	6
	합계	405.14	92.788	120
probablity	테란	.6178	.05645	40
	프로토스	.5860	.03699	47
	저그	.6052	.05760	27
	랜덤	.6133	.04926	6
	합계	.6023	.05093	120

하지만 일단 실제 결과는 위와 같고 타종족(랜덤제외, 토스와 저그) 평균 승률에 비해 위에서 제시한 만큼의 극명한 차이는 물론 없죠.

 

이제 그럼 극명하진 않아도 차이가 있긴 하느냐의 문제입니다.

 

개체-간 효과 검정

소스	종속변수	제 III 유형 제곱합	자유도	평균제곱	F	유의확률
수정 모형	score	22977.319(a)	3	7659.106	.887	.450
	probablity	.023(b)	3	.008	3.121	.029
절편	score	10085088.700	1	10085088.700	1168.040	.000
	probablity	23.471	1	23.471	9531.633	.000
race	score	22977.319	3	7659.106	.887	.450
	probablity	.023	3	.008	3.121	.029
오차	score	1001567.272	116	8634.201
	probablity	.286	116	.002
합계	score	20721317.000	120
	probablity	43.833	120
수정 합계	score	1024544.592	119
	probablity	.309	119
a R 제곱 = .022 (수정된 R 제곱 = -.003)
b R 제곱 = .075 (수정된 R 제곱 = .051)

위에 결과에서 유의확률이 .05보다 낮아야만 통계적으로 확실하게 차이가 있는 것인데요

Score, 즉 래더 점수는 종족 별로 차이가 없는 것으로 나타납니다.

어찌 보면 당연한 결과지요. 운이 좋거나 많이 하다 보면 쭉쭉 올라가기도 하고 그러니까요.

하지만 승률 면에서는 종족 별로 차이가 있는 것으로 나타났어요!

사후검정

race

다중 비교 
Bonferroni

종속변수	(I) race	(J) race	평균차(I-J)	표준오차	유의확률	95% 신뢰구간
						하한값	상한값
score	테란	프로토스	23.15	19.989	1.000	-30.50	76.81
		저그	9.58	23.144	1.000	-52.54	71.71
		랜덤	56.17	40.680	1.000	-53.02	165.37
	프로토스	테란	-23.15	19.989	1.000	-76.81	30.50
		저그	-13.57	22.439	1.000	-73.80	46.66
		랜덤	33.02	40.283	1.000	-75.11	141.15
	저그	테란	-9.58	23.144	1.000	-71.71	52.54
		프로토스	13.57	22.439	1.000	-46.66	73.80
		랜덤	46.59	41.938	1.000	-65.98	159.17
	랜덤	테란	-56.17	40.680	1.000	-165.37	53.02
		프로토스	-33.02	40.283	1.000	-141.15	75.11
		저그	-46.59	41.938	1.000	-159.17	65.98
probablity	테란	프로토스	.0318(*)	.01067	.021	.0031	.0604
		저그	.0126	.01236	1.000	-.0206	.0457
		랜덤	.0044	.02172	1.000	-.0539	.0627
	프로토스	테란	-.0318(*)	.01067	.021	-.0604	-.0031
		저그	-.0192	.01198	.668	-.0514	.0129
		랜덤	-.0274	.02151	1.000	-.0851	.0304
	저그	테란	-.0126	.01236	1.000	-.0457	.0206
		프로토스	.0192	.01198	.668	-.0129	.0514
		랜덤	-.0081	.02240	1.000	-.0683	.0520
	랜덤	테란	-.0044	.02172	1.000	-.0627	.0539
		프로토스	.0274	.02151	1.000	-.0304	.0851
		저그	.0081	.02240	1.000	-.0520	.0683
관측된 평균에 기초합니다.
* .05 수준에서 평균차는 유의합니다.

 

일단 표는 복잡하지만 *에 붙어있어야만 의미 있는 차이가 있는 것입니다.

그게 붙어 있지 않다면 별 것 아닌 차이, 우연의 차이라고 볼 수 있는 거예요

 

래더 점수는 일단 무시하고 승률(probability)를 보니 테란과 프로토스에 있어서만 의미 있는 차이가 있다는 결과가 나왔습니다.

 

결론적으로 프로토스는 전 종족, 랜덤 포함 모두 불리한 편인데

 

테란에 비해 승률이 낮은 것은 확실하다는 결론이 나왔습니다.

 

저그는 테란에 비해 승률이 낮지만 그것은 우연수준의 차이이므로 왈가왈부할 것이 아니란 말..

(참고로 전 저그라서 이러한 결과가 나온것이 ... 썩 좋지는 않아요 ㅋㅋㅋ)

 

그러므로 프로토스만 테란에게 징징댈 만한 껀덕지가 있는 말 ㅋㅋ

모든 변수를 완벽하게 고려할 수는 없습니다.

확인해 볼 수 있는 선에서 이러한 결론이 나온다는 거예요. 뿅

음..아마 점수로는 차이가 없는 이유가

아직까지 래더유저들이 ELL에 해당하는 점수에 도달하지 못했기 때문인거 같습니다.

워3의 경우 초기에는 레벨이 다 낮은데 1판지고 1판이기고 반복만해도 자신의 ell만큼은 올라가죠.

이런것처럼 이번 베타는 일주일밖에 되지 않아서 전체적으로 점수가 상승세에 있었고 많이한 사람이 점수가 높아지게 되어있는데 그러한것이 반영된것이 아닌가 하고 생각됩니다.

그래서 점수로는 차이가 없지만 승률로는 차이가 발생한 것이고요


만약 1달의 시간을 두었을때는 점수 또한 낮아질 가능성이 높다고 봅니다.

ㄷㄷㄷ 어렵네요

우왕 멋있네여

ㅎㅎ 어차피 과정이야 통계를 하는 사람들이 할 일이고 중요한건 저 결과죠.
테란은 랜덤 포함 전종족에게 유리,
저그는 프로토스에 대해서는 할만하고
프로토스는 랜덤까지 포함해서 다 승률이 뒤짐...-ㅁ-;;;;;;;

오오..통계학시간에 배운 유의학률이 여기서 보이네..