블리자드 통계에 대한 견해

*1. 다이아 초고수와 플레 이하 제외.(초고수는 일반인과 실력 수준이 다르므로, 이하는 실력을 제외하고 오염되지 않은 벨런스 논의가 힘드므로 제외)

*2. 그림은 이상적인 경우를 상정함. 당연히 사인파처럼 규칙적인 간격도 아니고, 안정적으로 진폭이 형성되지 않음

오늘 프테전에서 프로토스가 우세하다는 통계가 발표되어서 엄청난 난리가 있는데, 일단 그 통계만 기준으로 본다면 프로토스가 테란전에 유리하다는 결론이 있었음. 이에대해 많은 프로토스 유저들이 통계의 신뢰성을 의심하거나, 그래도 프로토스가 불리하다고 주장하는데, 말 그대로 주장일 뿐임.

일단 오차의 개념부터 정의해야 할 듯. 

오차+오차=오차

적분 공부한 이과생(요새는 문과도 배우나?)들은 알텐데 부정적분을 하게 되면 적분상수C가 나옴. 근데 이 C값은 미분과 적분을 할 때마다 계속 나오게 되는데, 결국 계산의 끝에 가면 C1+C2+C3+...=C로 치환함. 이 이야기를 왜 하냐면 블리자드에서 말한 오차율 5%를 말하기 위해서임. 블리자드가 말한 오차율이란 하루동안의 종족간 전적에 영향을 미치는 모든 변수를 고려한 오차율을 의미한다는 소리. 물론 적분상수와 다르게 통계의 오차는 더해질수록 범위가 넓어지지만 블리자드는 그 모든 오차를 포함해도 5%라는 범위에 포함된다는 말을 한 것임. 모 유저는 오차가 커졌으니까 신뢰가 떨어진다는 주장을 하는데, 이야말로 입맛에 맞는 사실만 편식하는 아주 안 좋은 습관임. 만약 변수가 별로 없다면 충분한 표본의 채집만으로 오차범위가 훨씬 작은 범위밖에 안 될 것임. 5%의 오차가 우리가 봤을 땐 별로 안되는 것 같지만 사실 엄청 큰 오차임. 선거 출구조사에서 2000만표에서 고작 몇 만 표의 표본만으로 오차율은 2~3%대에서 나온다는 것을 감안한다면 어느정도 가늠이 가능할 거임.(물론 출구조사 설문조사는 표본 추려내기가 쉬워서 정확한 편이긴 함. 그러나 블리자드의 표본도 졸라 좋은 표본. 다양한 종류의 수많은 데이터가 다량으로 포함된 양질의 표본. 모 유저는 출구조사 신뢰할 수 없다고 했는데, 신뢰할 수 없다는 것은 출구에서 답을 거꾸로 했기 때문임. 그리도 가장 큰 오차는 사전조사. 출구조사는 거의 맞아떨어졌던 것으로 기억. 수학적인 것이니 테클은 반사.)

이제 벨런스에 대한 이야기

어떤 패치가 되고 나면 종족간 전적은 요동을 치게 되어 있음. 보통 시간이 흐를수록 어떤 값에 수렴하게 되고, 수렴한 값을 기준으로 벨런스가 맞는지, 틀린지를 평가할 수가 있음.

그림을 보면 제일 위의 것은 벨런스가 맞아 떨어지는 경우 중간과 아래는 어느 한 쪽으로 벨런스가 안 맞는 경우임. 언벨런스한 상황에서도 더 약한 종족이 일시적으로 더 전적이 유리한 상황이 만들어질 수 있는데, 이는 새로운 전략이 나왔거나, 그날따라 한 종족에 실력이 좋은 사람이 몰렸거나, 반대로 실력이 안 좋은 사람이 몰리거나, 그 밖의 여러 변수 때문에 만들어지는 것임. 이러한 변수때문에 벨런스가 한 쪽에 좋아도 일시적으로는 반대의 결과가 나올 수 있음. 그러나 그럴 확률은 시간이 흐르면서 점점 줄어들고, 결국 언벨런스한 상황이 만들어짐. 그리고 이 때, 이러한 변수는 모두 오차에 포함이 됨.

여기서 알 수 있는 것이 벨런스란 어느 하루만의 결과가 아니라 전체적인 흐름을 봐야 한다는 것이며, 다른 하나는 오차범위를 벗어났는가 아닌가가 중요하다는 것.

블리자드 놈들이 똑똑한 놈들이니까, 아마도 많은 것을 오차에 밀어 넣었고, 이 중에는 예시된 그래프에 나온 것처럼 여러 변수에 의한 것도 포함한 것일텐데, 블리자드는 그 오차 범위를 5%라고 잡았음. 따라서 오늘 나온 11일의 언벨런스가 프로토스가 테란한테 존니스트 좋다는 그런 근거는 되지 않아도 다소 우세한 감이 있단 근거는 될 수 있음. 이걸 뒤집으려면 

1. 블리자드가 프로토스를 존니스트 싫어해서 통계를 입맛에 맞게 조작(?), 혹은 조작에 가까운 짓을 했다.

2. 블리자드가 가져온 통계의 표본이 너무 부족하다.

3. 블리자드의 계산이 부정확하다.

막상 내가 생각하기로 이 세 가지 정도밖에 없음. 

1번은 말도 안 되는 음모론이고(농담이라면 몰라도)

2번은 지금 2번째 하루치 통계를 가져온 것을 보면 블리자드가 나름 표본으로서의 가치가 있다고 판단을 한 것임.

3번은 가능성은 있는데, 일개 유저보다 돈 졸라 받는 블리자드가 틀릴 확률보다는 유저의 감이 틀렸을 확률을 믿으며, 무엇보다 블리자드가 제대로 공개한 정보가 없어서 판단하기 곤란.

즉, 블리자드를 신뢰하는 나는 저 통계를 믿고, 블리자드를 믿지 않는 유저들은 저 통계를 믿지 않으면 됨. 이 경우 문제가 블리자드가 비전공자에게 상당히 복잡한 공식과 수많은 대전 기록을 통해서 적절한 벨런스를 유도하려는 노력을 했는데, 그럼에도 믿지 않는다는 것은 감정적인 문제라는 것임. 또한 믿지 않는 것을 선택하면 다시는 블리자드의 통계 등을 가져다 쓸 생각도 말아야 함.

결론 : 통계 믿기 싫으면 핑계 대지 말고 믿지 마셈.

추신. 그림 개판인거 ㅈㅅ 사인파 그리다 빡쳐서 걍 그림. 

추신2. 따라서 이전 하루의 통계는 벨런스가 맞는 편이었는데, 몇 일 뒤에는 벨런스가 틀어질 수 있음. 그래프처럼 유동적이기 때문에.

애초부터 이럴줄 알았는데ㅋ
적응하면 할수록 프토가 좋아짐

단 3일만에 우세가 뒤바뀌고 수치로 따져도 10%씩 바뀌는 걸 믿는 것이 더 이상한 거 아닙니까.
단순히 패치에 대한 적응이라고 볼 수도 없는 것이 적응을 하면 빌드/전략이 맞춰서 나오는 것인데 그런 것도 없이 수치 상으로 그렇게 큰 변화가 있었다는 걸 어떻게 설명을 하나요?
프로토스가 테란에 잘 먹히는 새로운 전략이 나왔다든가 하지 않는 이상 그런 큰 변동이 있는 것이 이상할텐데.....

diaseo// 길게 적고 이해할 능력이 없으면 그냥 믿으라고 저렇게 적어놨더니, '차이가 커서 믿을 수 없다'

글 이해할 줄 모릅니까? 님이 가진 반박에 대한 내용도 다 들어 있습니다.

아무래도 님처럼 이해능력이 부족한 사람이 많은 것 같으니 좀 더 길게 설명하죠. 3번째 그래프 보이죠? 위쪽을 테란 우세, 아래쪽을 프로토스 우세로 가정했을 때, 첫번째 최고점은 오차 범위 이내에서 테란이 우세하지만 바로 그 다음 최저점에선 프로토스가 오차범위 이상에서 최저선을 기록합니다. 여기서 최저선은 프로토스 우세를 의미하죠. 즉, 이 가정에 의하면 테란의 오차범위 이내 약소 우세에서, 며칠 뒤에 프로토스 오차범위 이상의 우세까지 변한다고 해도 그것은 정상적인 범주라는 의미입니다.

적분 상수 개소리에서 뿜었네요.
C1+C2+C3....=C가 되는 건 전부 어차피 미정의 숫자라서 한데 묶는 것이 편해서인데 그게 어떻게 저렇게 논리가 펼쳐집니까?
님이 수리통계학이라도 전공하시면서 그런 걸 세세히 말한다면 모르겠는데 이건 적분에 대해 아주 얕은 지식만 갖고 궤변을 늘어놓는거로밖에 안 보이거든요?
오차끼리 더해도 신뢰성이 확보된다는 논리를 펼치려면 각 자료별 오차들을 더해도 그 값이 어느 수준을 넘어서지 않는다는 것을 증명해야 되는데 그런 증명이 없이 그냥 믿어야 한다는 것이야말로 신빙성이 없군요.

제가 이해능력이 부족한 게 아닙니다.

님 글을 이해 못하겠음.
어떻게 저런 논리가 펼쳐지는지

일단 부정적분의 적분상수 개념을 통계에 끌어다쓰는 것부터 납득을 시켜보세요.
초기조건이 주어지지 않은 부정적분은 상수항을 알 수가 없기 때문에 사용하는 적분상수가 왜 통계에서 오차+오차=오차라는 결론을 내는 데에 이유가 되는지 설명을 해보시든지요.

diaseo//그래서 적분상수는 이해를 돕기 위해서 예를 든 것이라고 썼습니다. 이해하지 못하는 사람을 위해서 예를 든 것 뿐이고 당연히 오차율과는 다르죠.

바로 이 부분에서 "이 이야기를 왜 하냐면 블리자드에서 말한 오차율 5%를 말하기 위해서임."

오차율을 말할 때, 함께 오차들은 변수가 더해지면 오차율이 커진다고도 적었습니다.
"물론 적분상수와 다르게 통계의 오차는 더해질수록 범위가 넓어지지만"

글을 읽고 싶은 부분만 읽고 논증의 이해를 돕기 위한 예시의 반론만 하지 마시죠.

제가 신뢰하는 것은 블리자드가 공표한 오차율 5%입니다. 님이 그걸 신뢰하기 싫으면 안 하면 되는 것이구요. 이것도 글의 말미에 적었습니다.

글은 다 읽고서 반박하는 겁니다.

변수A로 인해서 -1%의 변동이 발생했고 변수B로 인해서 +3%의 변동이 발생했으면 총 +2%의 변동이 발생합니다. 이것은 변수가 많다고 해도 대부분의 경우 변동이 일정 수준 이내에 포함된다는 것이며, 이를 설명하기 위해서 오차+오차=오차라는 말을 했습니다. 님보다 훨씬 수준이 떨어지는 사람이 많이 있거든요. 그리고 적분상수와 달리 오차는 더할수록 상하의 폭이 커집니다. 그러나 가우시안 곡선의 형태의 분포를 나타내기 때문에 대부분은 큰 변동이 없습니다. 물론 이 내용은 다 아시겠죠. 하지만 스타2를 즐기는 모든 사람이 이러한 사실을 아는 것은 아닙니다. 심지어 초등학생도 있겠죠. 그래서 이런 수학적으로 예가 될 수 없는 것을 예시로 들어서 설명한 것입니다. 그래서 그게 문젠가요? 제가 그로 인한 오류를 숨겼나요? 모두 말하지 않았습니까? 글을 다 읽었다면 이해할 수 있습니다.

결국 블리자드의 통계를 인정하지 않는 사람은 아래에서 제가 말한 3가지의 반박밖에 할 수 없습니다. 또 다른 반박이 있다면 말씀해 주시죠. 적극 수용하겠습니다.

이해를 돕고 자시고 완전히 다른 개념을 왜 끌어다 쓰냐는 것이죠.
10±1 2개를 더하면 20±2가 되어서 오차는 2배가 되지만 비율은 10%로 일정하게 유지된다고 한마디만 해도 수긍할 거리가 있는데 왜 엉뚱한 적분상수 개념을 끌어다 쓰냔 말이죠.
가만히 있어도 중간은 간다는데 괜히 사족을 달아서 님 스스로 신빙성을 깎아먹은 겁니다.

적분상수 이야기는 이쯤해두고 저 통계가 불과 2번밖에 안 나왔고 그 두 자료가 큰 차이를 보이는데 그걸 신뢰를 할 수가 있느냐고 묻고 싶은데요.
결국 이건 일종의 표본평균 문제인데 고작 2개의 표본을 갖고 모평균을 추측해놓고 신뢰성이 높다고 보기는 어렵다고 봅니다만?

물론 하루치 통계라는 표본도 사실 그 자체로 굉장히 많은 전적을 포함한 것이기 때문에 자체로도 신뢰성이 높다고 볼 수도 있겠지만 이미 2개의 표본이 굉장히 큰 차이를 보여줬기 때문에 이 2개로는 승률에 대해서 속단할 수가 없다고 보는 겁니다.

지엽적인 예시 부분에 대한 반론을 하면서 결국 자신의 주장에 대한 반론에 대한 재반론은 전혀 하지 않았네요. 그것도 기다리겠습니다.

결국 전 이 승률 자료는 지금 당장 믿기는 힘들고 시간이 지나서 지속적으로 쌓인 뒤, 즉 표본의 개수가 충분히 확보되면서 그 표본평균들의 경향을 조사해봐야 알 수 있다고 봅니다.
이 자료 2개가 툭 튀어나온 자료일지 메인스트림에 포함된 자료일지 지금은 아무도 모르기 때문에 시간이 지나서 통계 숫자가 더 확보되어야 그 신뢰성을 따져볼 수 있다는 것입니다.

diaseo//그 부분은 결국 블리자드를 신뢰하느냐, 신뢰하지 않느냐의 문제로 갈릴 수밖에 없다고 글의 말미에 적었습니다. 저는 우리보다 벨런스의 전문가이며, 우리와 달리 매일매일 축적되는 수많은 자료를 가지고 있기 때문에 신뢰하는 입장이며, 님은 신뢰하지 않는 입장인 것이겠죠. 그리고 신뢰하지 않는다면, 모든 통계는 블리자드가 공개하는 것이기 때문에 결국 프테전의 프로토스 약세는 개인적인 경험, 혹은 gsl이나, 기사도 연승전같은 블리자드의 하루치 표본보다 더욱 표본 가치가 떨어지는 통계를 근거로밖에 설명할 수 없어집니다. a의 통계가 신뢰가 가지 않기 때문에 a보다 신뢰도가 더 낮은 b의 통계를 근거로 설명하는 것은 설득력이 없죠. 즉, 프로토스의 약세를 설명할 길이 없어집니다.

diaseo//예, 여러 날이 쌓이게 되면 좀 더 정확한 벨런스를 알 수 있겠죠. 그러나 저는 블리자드가 우리보다 훨씬 많은 데이터를 가지고 있다는 것을 알고 있습니다.(물론 모두 알고 있겠죠.) 그 데이터에는 우리가 가진 1일과 11일의 단 2개의 그것도, 알 수 없는 수식을 토하여 산출된 보정식만을 가지고 나온 데이터보다 훨씬 많은 정보가 있을 겁니다. 그런 블리자드가 11일의 데이터를 공개하면서 5%의 범위가 오차라고 언급한 것은 그들의 주장을 최대한 프로토스에 호의적으로 생각을 해도 프로토스가 약세가 아니라는 주장을 하기 위한 것이라는 의미라고 생각합니다. 즉, 블리자드의 판단은 그렇다는 것이죠. 그리고 여기에 대해 일개 유저가 반박하기에 자료는 너무 부족합니다.

좀 더 쉽게 말하면 반박하는 것이 불가능하죠. 이런 상황에서 블리자드의 그러한 의도를 부정하는 것은 불가능합니다. 따라서 가장 좋은 해결책은 본문에도 적었듯이, 블리자드의 계산이 틀리거나 너무 많은 오류를 포함하고 있다는 결론을 산출하는 것으로, 블리자드에게서 정확한 계산 방법을 알아내는 것이 되겠죠. 물론 이것은 일종의 기밀에 포함되는 것이라 공개를 거부할 수도 있습니다. 그러나 이러한 방법이 적어도, 지금까지 블리자드의 통계를 신뢰하다가 갑자기 원치 않는 결과가 나오자 믿을 수 없다고 테란 사기라고 징징대는 것 보다는 훨씬 건설적이라고 생각합니다.

기왕 시작한 김에 좀 더 적읍시다.

블리자드의 직원들은 걍 하루종일 시간이나 떼우다가 퇴근하는 사람들이 아닙니다. playxp는 물론이고, 한국에서 취합되는 정보들을 미국 본사에서도 (비록 한 번 필터링 된 자료지만) 다 접하고 있습니다. 한국의 다이아는 상당히 레더선도적인 성향을 띄는 리그인데, 그들의 주장을 외국이라는 이유로 무시할 이유는 전혀 없습니다. 따라서 그들은 한국 다이아 리그에서 들려오는 수많은 프로토스가 약하다는 의견을 들었을 겁니다. 그런 그들의 지금까지의 반응은 프로토스는 여전히 강하다는 데이빗킴의 발언으로 알 수 있습니다.

블리자드의 벨런스팀은 한국 다이아 유저의 벨런스 불만 글을 다 읽었음에도 불구하고 무시했다는 것이죠. 이는 분명히 통계가 그렇게 나오지 않았기 때문일 것입니다. 가령, 베타시절에 한국의 다이아에서 한 종족이 강해지자 2주 뒤에는 전세계의 벨런스도 그렇게 변해갔다고 언급한 데이빗킴의 발언을 봐도, 그들은 통계에 확신하고 있습니다. 그리고 여기서 알 수 있는 사실은, 그들은 통계를 기준으로 벨런스를 준비하지만, 절대 어디가 약하다, 강하다를 절대 그 당시엔 말 하지 않습니다. 나중에 벨런스 조정을 통해서 그 형국이 뒤바뀐 이후에야 말합니다.

말이 길어졌는데, 요약하자면 이렇습니다. 1. 블리자드도 한국 토스의 불만을 알고 있다. 2. 아마도 통계는 그 결과와 다른 것 같다. 3. 블리자드는 통계를 좋아한다. 4. 블리자드는 벨런스에 변동이 생기기 전까진 자신들의 판단을 말하지 않는다. 저는 이에 따라서 블리자드는 현재 프로토스가 약하지 않다고 생각한다고 믿게 된 것이구요.

물론 11일 통계를 반박하는 것은 사실상 불가능한데 이걸 11일 자료만의 문제가 아니라 전에 발표된 다른 자료와 연계가 되면 곧이곧대로 받아들이기가 불가능하다고 봅니다.
그 때문에 제 생각은 애초에 프로토스가 약세다 약세가 아니다 이런 주장을 통계자료를 통해 주장할 때가 애초에 아니라고 봅니다.
2개의 자료 사이에 패치 등의 큰 변화가 있었던 것도 아니고 그렇다고 패치에 적응이 된 것이라고 하자니 두 자료의 시간적 간격이 그렇게 큰 것도 아니고 말이죠.

그리고 GSL/기사도연승전 자료들과 배틀넷 승률이라는 것은 좀 차이가 있는 것이 최상위권 유저들간의 최근 경기 기록들과 다이아몬드 리그 전체 유저들의 최근 경기 기록이라는 차이가 엄연히 존재하기 때문에 어느 한쪽을 맹신하는 것도 안 되지만 그렇다고 어느 한 쪽을 배제하는 것도 안 된다고 봅니다.

오해하실까 말씀드리는데 저도 블리자드의 밸런싱을 꽤나 신뢰하고 있는 편입니다.
통계라는 것은 결국 결과물들로 만들어진 자료인지라 그 신뢰성에 의문을 제기할 필요도 없고요.

제가 의문을 제기하고 싶은 것은 현재까지의 통계 자료들만으로 밸런스에 대해서 어떻다 어떻다 말하는 것이 신뢰성이 있는 발언이냐는 것입니다.
그래서 블리자드도 밸런스 관련된 언급은 패치노트에만 하는 것일테고요.
아직은 블리자드가 지켜보는 단계인 것일테고 그에 따라서 우리도 기다려보는 것이 맞다고 봅니다.
밸런스에 대해서 이러쿵저러쿵 할 게 아니라....

그래서 저도 제목이 블리자드가 발표한 통계에 대한 고찰인 것이고, 결론도 통계 가지고는 테클을 걸 수 없다는 내용인 것입니다.

플테전의 실제 벨런스에 대한 말은 안 했지만, 저의 플테전에 대한 생각은 테란이 약소우세로 생각하고 있습니다. EMP전까지는 비등비등 혹은 프로토스 약소 우세 정도로 생각하는데 이에대한 해결책으로 EMP의 스1화 정도면 충분하다고 보고 있습니다. 너무 약해지면 후반 카다린 업 고기, 거신 양산 체제가 갖춰진 프로토스가 많이 우세하기 때문에, EMP마나 소모량 증가+사거리1감소+발사속도 지금의 절반 정도면 괜찮아질 것이라고 생각합니다. 실제 대회에서도 경기 양상을 보면 비슷한 실력의 프테전은 EMP를 고비로 게임이 결판나고 대부분 여기서 프로토스가 지기 때문입니다.

다시 글을 읽어보니, 글이 좀 과격하긴 했네요. 특히 diaseo님에게 한 답변이 많이 과격했는데 사과드립니다.(__)

저도 중간에는 좀 과격한 말투를 썼으니 이에 사과드립니다. (__)

밸런스 토론장인데 산으로 가는 글

"제 생각은 애초에 프로토스가 약세다 약세가 아니다 이런 주장을 통계자료를 통해 주장할 때가 애초에 아니라고 봅니다." 라고 써놓고 다른 데다가는 "결론 : 이제 프테전 징징거리는 프토는 프징징확정 " 라는 아주 변신수 스러운 테뻔뻔의 진모 ㅋㅋㅋㅋㅋㅋㅋㅋ

왜 저 자료 가지고 토스 약하다고 하면 무식한거고 프징징 확정이라고 하면 유식한거냐? ㅋㅋㅋ 아주 돌머리 개돋네잉

Noobbb//그러니까 니 결론은 "반박 그 딴 거 모르겠고, 암튼 예전 통계는 프로토스가 약하다는 증거, 이번 통계는 오류!"이거냐?ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ너같은 애가 프징징이라고

아주 언어 능력이 꽃동네 다이아몬드급이네 내가 이전에도 썼지만 저 통계가지고는 밸런스 말 못한다고 니 맘대로 프징징 확정요 짖껄여 놓고 개소리 왈왈 짖는꼬라지봐라 쯧쯧

나 예전 통계 가지고 프로토스 약하다 징징댄적 없다 병신 머저라 딴 새끼들이 짖껄인거 가지고 나한테 옆차기 하는 소리하지마라

내가 4일 자료 들고 테란이 짱쎔요 라고 짖껄인거 있으면 와서 멍멍대봐 멍멍아

또라이 새끼 gsl 결과만 봐도 프징징 새끼들 핑계다 뭐다 이런 어구 안나오는데 존나 뻔뻔해가지고

그러니까 니가 신뢰할 수 없다는 근거가 뭔지나 말하라니까? 10% 이상 차이나므로 믿을 수 없다는 헛소리라고 설명을 해도 이해를 못하지? 차라리 배틀넷은 단 판이고, gsl은 다전제이므로 다전제에서 전략이 부족한 프로토스가 약하다는 주장은 몰라도 너처럼 "아 몰라 블리자드 통계 안 믿을거야" 이게 징징이 아니면 뭐냐? 내가 블리자드의 통계를 왜 신뢰하는지 위에서 얼마나 길게 설명했냐? 넌 거기에 대해 무엇하나 제대로 반박한 것 있냐?

그래서 너같은 애가 징징이란 거야.