16. Stream & Parallel

stream and parallel process

[Stream]

Iterator과 비슷한 역할을 하는 반복자, 람다식으로 요소 처리 코드를 제공. 내부 반복자를 사용하여 병렬 처리가 쉬움.(with 중간처리 및 최종 처리 작업도 수행)
내부 반복자를 사용하므로 병렬 처리가 쉬움
1. 외부 반복자(external iterator)
  - 하나의 스레드가 요소들을 순차적으로 읽음
2. 내부 반복자(internal iterator)
  - 병렬 처리 스트림을 통해 여러개의 스레드가 요소들을 처리 후 최종 결과를 반환함→ ForkJoinPool(스레드풀) 확인 가능
  - 병렬처리 : 한가지 작업을 서브 작업으로 나누고, 서브 작업들을 분리된 스레드에서 병렬적으로 처리하는 것
  - 처리는 컬렉션 내부에서 일어남
중간 처리와 최종 처리로 나뉨(할 수 있다)
1. 중간 처리 : 매핑, 필터링, 정렬 수행
2. 최종 처리 : 반복, 카운팅, 평균, 총합 등의 집계 처리를 수행

java.util.stream 패키지 내에 BaseStream 을 부모로 하여 자식 스트림이 상속관계를 이루고 있음.

객체를 처리하는 Stream부터 int, long, double 등 각 기본 타입에 해당하는 요소를 처리
주로 컬렉션과 배열로부터 스트림 인터페이스의 구현 객체를 얻지만 int 범위, long범위, 디렉터리, 파일 등으로부터 stream을 얻을 수 있다.

리덕션(Reduction)

중간 처리와 최종 처리

스트림은 데이터 필터링,매핑,정렬, 그풉핑 등 중간처리와 데이터의 합계, 평균값, 카운팅, 최댓값, 최솟값 등 최종처리를 파이프라인(pipeline)으로 해결함
파이프라인은 여러개의 스트림이 연결되어 있는 구조를 말함
최종 처리를 제외하고는 모두 중간 처리 스트림임
리턴타입을 통해 중간 처리 메서드와 최종 처리 메서드를 구분할 수 있음
- 스트림 → 중간 처리 메서드
- 기본 타입 or OptionalXXX → 최종 처리 메서드

중간 처리 기능으로 요소를 걸러내는 역할
distinct()와 filter()는 모든 스트림이 가지고 있는 공통 메서드
distinct()
- 중복 제거
- Object.equals(Object) 가 true이면 동일한 객체로 판단하고 중복 제거
  (Int, Long, Double Stream일 경우엔 동일한 값일 경우 중복 제거)
filter()
- 조건 필터링
- 매개값으로 주어진 Predicate가 true를 리턴하는 요소만 필터링

매핑(mapping) : 중간 처리 기능으로 스트림의 요소를 다른 요소로 대체하는 작업

스트림은 요소가 최종 처리되기 전에 중간 단계에서 요소를 정렬해서 최종 처리 순서를 변경할 수 있음

루핑(looping)은 요소 전체를 반복하는 것을 말함, 두 메서드는 루핑하는 기능은 동일하지만 동작 방식이 다름

peek() : 중간처리 메서드

forEach() : 최종 처리 메서드

스트림은 최종 처리 단계에서 요소들이 특정 조건에 만족하는지 조사하는 매칭 메서드 제공

집계(Aggregate)는 최종 처리 기능으로 요소들을 처리해서 카운팅, 합계, 평균값, 최댓값, 최솟값 등과 같이 하나의 값으로 산출하는 것을 말함.

집계는 대량의 데이터를 가공해서 축소하는 리덕션(Reduction)이라고 볼 수 있음.

Optional 클래스
단순히 집계 값만 저장하는 것이 아니라, 집계 값이 존재하지 않을 경우 default값을 설정할 수 있고,집계값을 처리하는 Consumer도 등록할 수 있음.

스트림은 기본 집계 메서드인 sum(), average(), count(), max(), min()을 제공.

→ 다양한 집계 결과물을 만들기 위해 reduce() 메서드 제공

스트림은 요소들을 필터랑/매핑 후 요소들을 수집하는 최종 처리 메서드인 collect()를 제공하고 있음.

필요한 요소만 컬렉션에 담고 그룹핑 후 집계(reduction)할 수 있음

하나의 작업을 분할해서 각각의 코어가 병렬적으로 처리하는 것. → 작업 처리 시간을 줄이기 위함(병렬 스트림 사용)

동시성(Concurrency)과 병렬성(Parallelism)
- 동시성 : 멀티 작업을 위해 멀티스레드가 번갈아가며 실행하는 성질
- 병렬성 : 멀티 작업을 위해 멀티 코어를 이용해서 동시에 실행하는 성질

데이터 병렬성
- 데이터 병렬성은 전체 데이터를 쪼개서 서브 데이터들로 만들고, 이 서브 데이터들을 병렬 처리해서 작업을 빨리 끝내는 것을 말함
- 자바8에서 병렬 스트림은 데이터 병렬성을 구현한 것
- 멀티 코어의 수만큼 대용량 요소를 서브 요소들로 나누고, 각각의 서브 요소들을 분리도니 스레드에서 병렬처리 시킴

포크조인(ForkJoin) 프레임워크
- 병렬 처리하기 위해 포크조인(ForkJoin) 프레임워크(Framework) 사용
- 전체 데이터 → 서브데이터로 분리 → 멀티 코어에서 병렬로 처리 → 조인 단계에서 결과를 결합하여 최종 결과를 생성
- ExecutorService의 구현 객체인 ForkJoinPool을 사용해서 작업 스레드를 관리

병렬 스트림 생성(2가지 메서드)
- parallelStream() : 컬렉션으로부터 병렬 스트림을 바로 리턴
- parallel() : 순차 처리 스트림을 병렬 처리 스트림으로 변환해서 리턴

Last updated 11 months ago