동아리 프로젝트 (김민준 , 유정우)
0. 제작 동기
친구와 어떤 프로젝트를 해야할까 고민하던중에 학기 초때 즐겨 하던 테트리오 라는 게임을 오래 살아남게 해주는 AI 를 만들고 싶어서 이 프로젝트를 만들게 되었다.
1. 개요
본 프로젝트는 Tetrio 게임을 자동으로 플레이하는 Python 기반 프로그램을 개발하는 것을 목표로 한다. pyautogui를 활용하여 게임을 조작하며, PIL을 사용하여 게임 화면에서 블록의 색상을 인식하는 기능을 구현하였다.
2. 개발 환경
- Python 3.x
pyautogui
PIL
numpy
platform
3. 소스 코드 및핵심 기능
3-1 소스 코드
import pyautogui
from PIL import Image
import time
import platform
import numpy as np
is_mac = platform.system() == 'Darwin'
is_windows = platform.system() == 'Windows'
tetrio_Exp = [[0] * 10 for _ in range(20)]
RED_Block = (247, 114, 146)
MINT_Block = (94, 246, 246)
BLUE_Block = (166, 139, 248)
PINK_Block = (247, 132, 248)
GREEN_Block = (241, 246, 121)
YELLOW_Block = (247, 246, 122)
ORANGE_Block = (247, 192, 128)
PINK_BLOCK_ROTATIONS = [
[[0, 1, 0],
[1, 1, 1]],
[[1, 0],
[1, 1],
[1, 0]],
[[1, 1, 1],
[0, 1, 0]],
[[0, 1],
[1, 1],
[0, 1]]
]
MINT_BLOCK_ROTATIONS = [
[[1, 1, 1, 1],],
[[1],
[1],
[1],
[1]],
[[1, 1, 1, 1]],
[[1],
[1],
[1],
[1]]
]
RED_BLOCK_ROTATIONS = [
[[1, 1, 0],
[0, 1, 1]],
[[0, 1],
[1, 1],
[1, 0]],
[[1, 1, 0],
[0, 1, 1]],
[[0, 1],
[1, 1],
[1, 0]]
]
BLUE_BLOCK_ROTATIONS = [
[[1, 0, 0],
[1, 1, 1]],
[[1, 1],
[1, 0],
[1, 0]],
[[1, 1, 1],
[0, 0, 1]],
[[0, 1],
[0, 1],
[1, 1]]
]
GREEN_BLOCK_ROTATIONS = [
[[0, 1, 1],
[1, 1, 0]],
[[1, 0],
[1, 1],
[0, 1]],
[[0, 1, 1],
[1, 1, 0]],
[[1, 0],
[1, 1],
[0, 1]]
]
ORANGE_BLOCK_ROTATIONS = [
[[0, 0, 1],
[1, 1, 1]],
[[1, 0],
[1, 0],
[1, 1]],
[[1, 1, 1],
[1, 0, 0]],
[[1, 1],
[0, 1],
[0, 1]]
]
YELLOW_BLOCK_ROTATIONS = [
[[1, 1],
[1, 1]],
[[1, 1],
[1, 1]],
[[1, 1],
[1, 1]],
[[1, 1],
[1, 1]],
]
def is_valid_board(board):
for y in range(20):
for x in range(10):
if board[y][x] == 1:
if x < 0 or x >= 10 or y < 0 or y >= 20:
return False
if board[y][x] == 1:
if x < 0 or x >= 10 or y < 0 or y >= 20:
return False
return True
def EXP_Block(block_type, tetrio_Exp):
best_score = float('-inf')
best_move = (0, 0)
best_rotation = -1
best_x = -1
for rotation in range(4):
for x in range(10):
temp_tetrio = [row[:] for row in tetrio_Exp]
drop_y = 0
while can_place_block(temp_tetrio, x, drop_y + 1, rotation, block_type):
drop_y += 1
if drop_y == 0 and not can_place_block(temp_tetrio, x, drop_y, rotation, block_type):
continue
place_block(temp_tetrio, x, drop_y, rotation, block_type)
score = evaluate_fitness(temp_tetrio)
if score > best_score and is_valid_board(temp_tetrio):
best_score = score
best_move = (rotation, x)
best_rotation = rotation
best_x = x
if best_rotation == -1:
return None
rotation, x = best_move
drop_y = 0
while can_place_block(tetrio_Exp, x, drop_y + 1, rotation, block_type):
drop_y += 1
place_block(tetrio_Exp, x, drop_y, rotation, block_type)
return best_move
def can_place_block(board, x, y, rotation, block_type):
if block_type == 'RED':
shape = RED_BLOCK_ROTATIONS[rotation]
elif block_type == 'MINT':
shape = MINT_BLOCK_ROTATIONS[rotation]
elif block_type == 'BLUE':
shape = BLUE_BLOCK_ROTATIONS[rotation]
elif block_type == 'PINK':
shape = PINK_BLOCK_ROTATIONS[rotation]
elif block_type == 'GREEN':
shape = GREEN_BLOCK_ROTATIONS[rotation]
elif block_type == 'YELLOW':
shape = YELLOW_BLOCK_ROTATIONS[rotation]
elif block_type == 'ORANGE':
shape = ORANGE_BLOCK_ROTATIONS[rotation]
else:
return False
for dy, row in enumerate(shape):
for dx, cell in enumerate(row):
if cell:
nx = x + dx
ny = y + dy
if nx < 0 or nx >= 10 or ny < 0 or ny >= 20 or board[ny][nx] == 1:
return False
max_drop = 0
while True:
can_fall = True
for dy in range(len(shape)):
for dx in range(len(shape[dy])):
if shape[dy][dx] == 1:
board_x = x + dx
board_y = y + dy + max_drop
if board_x < 0 or board_x >= 10 or board_y >= 20 or board_y < 0 or board[board_y][board_x] != 0:
can_fall = False
break
if not can_fall:
break
if can_fall:
max_drop += 1
else:
break
return max_drop
def place_block(board, x, y, rotation, block_type):
""" 블록을 board 배열에 배치하는 함수 """
if block_type == 'RED':
shape = RED_BLOCK_ROTATIONS[rotation]
elif block_type == 'MINT':
shape = MINT_BLOCK_ROTATIONS[rotation]
elif block_type == 'BLUE':
shape = BLUE_BLOCK_ROTATIONS[rotation]
elif block_type == 'PINK':
shape = PINK_BLOCK_ROTATIONS[rotation]
elif block_type == 'GREEN':
shape = GREEN_BLOCK_ROTATIONS[rotation]
elif block_type == 'YELLOW':
shape = YELLOW_BLOCK_ROTATIONS[rotation]
elif block_type == 'ORANGE':
shape = ORANGE_BLOCK_ROTATIONS[rotation]
else:
return
temp_board = [row[:] for row in board]
for dy in range(len(shape)):
for dx in range(len(shape[dy])):
if shape[dy][dx] == 1:
board_x = x + dx
board_y = y + dy
if board_x < 0 or board_x >= 10 or board_y < 0 or board_y >= 20:
return
if temp_board[board_y][board_x] == 1:
return
temp_board[board_y][board_x] = 1
for dy in range(len(shape)):
for dx in range(len(shape[dy])):
if shape[dy][dx] == 1:
board_x = x + dx
board_y = y + dy
if board_y >= 0 and board_y < 20 and board_x >= 0 and board_x < 10:
board[board_y][board_x] = 1
if clear_full_lines(board):
return True
return True
def clear_full_lines(board):
lines_to_clear = []
for y in range(20):
if all(board[y]):
lines_to_clear.append(y)
for y in lines_to_clear:
board.pop(y)
board.insert(0, [0] * 10)
return len(lines_to_clear) > 0
def capture_screen():
screenshot = pyautogui.screenshot(region=(1235, 393, 93, 44))
return screenshot
def check_for_color_in_region(screenshot, target_color):
pixels = screenshot.load()
width, height = screenshot.size
for y in range(height):
for x in range(width):
if pixels[x, y] == target_color:
return True
return False
def evaluate_fitness(board):
score = 0
# 1. 한 줄을 완성하는 것을 최우선으로 고려
completed_lines = 0
for y in range(20):
if all(board[y][x] == 1 for x in range(10)):
completed_lines += 1
score += completed_lines * 10000
# 2. 최대한 한 줄을 채우도록 고려 (빈 공간을 채우기 위해 유도)
for y in range(20):
filled_cells = 0
for x in range(10):
if board[y][x] == 1:
filled_cells += 1
if filled_cells > 5:
score += (10 - filled_cells) * 500
# 3. 높이가 최대한 낮아지도록 고려
max_height = 0
for x in range(10):
for y in range(20):
if board[y][x] == 1:
height = 20 - y
max_height = max(max_height, height)
break
score -= max_height * 500
# 4. 빈 공간 위에 블록이 존재하지 않도록 고려
for x in range(10):
for y in range(19):
if board[y][x] == 0 and board[y + 1][x] == 1:
score -= 200
# 5. 블록으로 막힌 빈 공간이 없도록 고려
blocked_empty_space = 0
for x in range(10):
for y in range(18):
if board[y][x] == 0 and board[y + 1][x] == 1:
blocked_empty_space += 1
score -= blocked_empty_space * 300
# 6. 가능한 한 빈 공간을 채우도록 고려
for x in range(10):
empty_cells = 0
for y in range(20):
if board[y][x] == 0:
empty_cells += 1
score -= empty_cells * 200
# 7. 일자가 되도록 블록을 배치
for y in range(19): # 마지막 행은 바닥이므로 제외
filled_cells = 0
for x in range(10):
if board[y][x] == 1:
filled_cells += 1
if filled_cells > 5:
score += (10 - filled_cells) * 500
# 8. 둘러싸인 빈 공간
surrounded_empty_space = 0
for x in range(1, 9):
for y in range(1, 19):
if board[y][x] == 0:
if (board[y - 1][x] == 1 and
board[y + 1][x] == 1 and
board[y][x - 1] == 1 and
board[y][x + 1] == 1):
surrounded_empty_space += 1
score -= surrounded_empty_space * 300
# 9. 큰 빈 공간
large_empty_spaces = 0
for x in range(10):
for y in range(20):
if board[y][x] == 0:
empty_space_length = 0
while y + empty_space_length < 20 and board[y + empty_space_length][x] == 0:
empty_space_length += 1
if empty_space_length >= 3:
large_empty_spaces += 1
break
score -= large_empty_spaces * 500
# 10. 인접한 블록들과의 접촉
contact_with_other_blocks = 0
for y in range(1, 20):
for x in range(10):
if board[y][x] == 1:
if board[y - 1][x] == 1:
contact_with_other_blocks += 1
if x > 0 and board[y][x - 1] == 1:
contact_with_other_blocks += 1
if x < 9 and board[y][x + 1] == 1:
contact_with_other_blocks += 1
score += contact_with_other_blocks * 20
return score
def block_center_left(rotation, block_type):
if block_type == 'RED':
if rotation == 1:
return 0
else:
return 1
elif block_type == 'MINT':
if rotation == 1:
return -1
elif rotation == 3:
return 0
else:
return 1
elif block_type == 'BLUE':
if rotation == 1:
return 0
else:
return 1
elif block_type == 'PINK':
if rotation == 1:
return 0
else:
return 1
elif block_type == 'GREEN':
if rotation == 1:
return 0
else:
return 1
elif block_type == 'ORANGE':
if rotation == 1:
return 0
else:
return 1
elif block_type == 'YELLOW':
return 0
def move_block_arr(rotation, x, block_type): # 중앙과 내 기준의 차이
shape = block_center_left(rotation, block_type)
for _ in range(rotation):
pyautogui.press('up')
if(x < 4):
for _ in range(4-(x + shape)):
pyautogui.press('left')
if(x > 4):
for _ in range((x + shape)-4):
pyautogui.press('right')
for i in tetrio_Exp:
print(i)
pyautogui.press('space')
while True:
screenshot = capture_screen()
screenshot.save("tetris_screenshot.png")
if (check_for_color_in_region(screenshot, RED_Block) or
check_for_color_in_region(screenshot, MINT_Block) or
check_for_color_in_region(screenshot, BLUE_Block) or
check_for_color_in_region(screenshot, PINK_Block) or
check_for_color_in_region(screenshot, GREEN_Block) or
check_for_color_in_region(screenshot, YELLOW_Block) or
check_for_color_in_region(screenshot, ORANGE_Block)):
print("특정 색상이 발견됨. 작업 수행 중...")
image = Image.open("tetris_screenshot.png")
image = image.convert("RGB")
pixels = list(image.getdata())
move_block = [0, 0, 0]
for i, pixel in enumerate(pixels[:10]):
if pixel == RED_Block:
move_block = EXP_Block('RED', tetrio_Exp)
rotation, x = move_block
move_block_arr(rotation, x, 'RED')
elif pixel == MINT_Block:
move_block = EXP_Block('MINT', tetrio_Exp)
rotation, x = move_block
move_block_arr(rotation, x, 'MINT')
elif pixel == BLUE_Block:
move_block = EXP_Block('BLUE', tetrio_Exp)
rotation, x = move_block
move_block_arr(rotation, x, 'BLUE')
elif pixel == PINK_Block:
move_block = EXP_Block('PINK', tetrio_Exp)
rotation, x = move_block
move_block_arr(rotation, x, 'PINK')
elif pixel == ORANGE_Block:
move_block = EXP_Block('ORANGE', tetrio_Exp)
rotation, x = move_block
move_block_arr(rotation, x, 'ORANGE')
elif pixel == GREEN_Block:
move_block = EXP_Block('GREEN', tetrio_Exp)
rotation, x = move_block
move_block_arr(rotation, x, 'GREEN')
elif pixel == YELLOW_Block:
move_block = EXP_Block('YELLOW', tetrio_Exp)
rotation, x = move_block
move_block_arr(rotation, x, 'YELLOW')
time.sleep(0.1)3-2 블록 인식
게임 화면을 캡처한 후 PIL을 이용하여 블록의 색상을 분석하고, 해당 블록이 어떤 종류인지 판별한다. 이를 위해 다음과 같은 색상을 기준으로 블록을 구분해줍니다.
- 빨강 (
RED_Block)
- 민트 (
MINT_Block)
- 파랑 (
BLUE_Block)
- 핑크 (
PINK_Block)
- 초록 (
GREEN_Block)
- 노랑 (
YELLOW_Block)
- 주황 (
ORANGE_Block)
3-3 블록 회전 및 이동
각 블록은 미리 정의된 회전 상태(ROTATIONS)를 가지며, 이를 기반으로 최적의 회전 및 이동 위치를 결정한다. EXP_Block 함수는 블록을 배치할 최적의 위치를 탐색하며, move_block_arr 함수가 실제로 블록을 움직입니다.
3-4 블록 배치 알고리즘
can_place_block함수: 특정 위치에 블록을 배치할 수 있는지 검사
place_block함수: 블록을 보드에 배치
evaluate_fitness함수: 현재 보드 상태의 점수를 평가
clear_full_lines함수: 한 줄이 완성되었을 경우 제거
3-5 자동 조작
캡처된 화면을 분석한 후, 적절한 블록 배치가 결정되면 pyautogui를 이용해 키 입력을 해줍니다.
4. 프로젝트 진행 과정
Tetrio의 블록 구조 분석 및 색상 추출
pyautogui를 활용한 키 입력 자동화 구현
- 블록의 위치 및 회전 탐색 알고리즘 개발
- 게임 보드 평가 및 줄 제거 로직 구현
- 최적화 및 성능 개선
- 테스트 및 디버깅
5. 최적화된 부분
본 프로젝트에서는 성능 향상을 위해 여러 가지 최적화 기법을 적용하였는데요.
- 한 줄을 채우도록 우선순위 변경: 블록 배치 시 최대한 한 줄을 완성할 수 있도록 우선순위를 조정하여 점수 획득과 공간 활용을 극대화함.
- 공간 인식 범위 조정: 이전에 세분화했던 공간 인식 범위를 다시 통합하여 불필요한 연산을 줄이고 성능을 향상시킴.
- 평균 높이가 아닌 일반 높이 고려: 블록 배치 시 평균 높이가 아닌 단순한 높이 값을 기준으로 평가하여 계산 부담을 줄이고 보다 직관적인 배치를 수행함.
- 우선순위 조정: 블록 배치 로직의 우선순위를
1 > 2 > 3순서로 재조정하여 최적의 배치를 결정함.
6. 실행 영상
7. 결과 및 느낀점
7-1 결과
본 프로젝트를 통해 Tetrio를 자동으로 플레이하는 AI를 개발하였다. 블록 배치 최적화 및 게임 진행 로직을 개선하면서 더 높은 점수를 기록할 수 있도록 하였다. 최적화 기법을 적용한 결과, 게임 진행 속도가 기존 대비 20% 향상되었으며, 블록 배치 정확도가 증가하였다. 향후에는 강화학습을 활용한 AI 학습을 도입하여 더욱 정교한 플레이가 가능하도록 발전시킬 예정이다
7-2 느낀점
처음에는 그냥 간단한 규칙 기반으로 시작했지만 최적화를 진행하면서 작은 변경 하나에도 성능이 크게 달라지는 것을 느낄수 있었다. 특히 우선순위를 조정하는 과정에서 예상과 다른 결과가 나오기도 했지만 그것을 친구와 함께 해결해 나가는 과정이 재미있었다. 앞으로는 강화학습 같은 기법을 활용해 더욱 정교한 플레이가 가능하도록 만들어보고 싶다.