로컬 JSON 데이터베이스를 MariaDB로 이행해야 합니까?

로컬 JSON 데이터베이스를 MariaDB로 이행해야 합니까?

허구적인 이야기:

저는 미국 전역에 20만 대 이상의 자동차 목록이 있는 자동차 웹사이트를 가지고 있습니다.저는 CarSeats와 CarsPro의 두 가지 소스로부터 매일 밤 데이터를 얻습니다.두 소스 모두 JSON 형식으로 각각 약 10만 개의 세부 목록이 포함되어 있습니다.양쪽 피드의 파일 사이즈는 약 8GB이며, 가까운 장래에 중고차 소스를 더 많이 도입할 예정입니다.

현재의 JSON 데이터에는 차량 검색부터 차량 구매까지 필요한 모든 정보가 포함되어 있지만 JSON DB는 로컬에 저장되어 있으며 PHP를 사용하고 있습니다.file_get_contents()각 목록에 적합한 메타데이터를 가져옵니다.200대를 반납하는 데 8~12초 정도 걸리는데 나쁘지 않지만 개선의 여지가 있다는 것을 알고 있습니다.

질문 사항:

현지화된 JSON 파일에서 MariaDB 10.1로 데이터를 마이그레이션하는 것이 모범 사례입니까?이것이 미래를 위한 확장 가능한 대안입니까?속도를 향상시키고 검색 기능을 향상시키려면 스택 모양이 어떻게 되어야 합니까?

주의:

• Forge는 부팅하는 인스턴스에 MariaDB를 설치합니다.
• 8GB는 "자동차 메이커"에 의해 20개 이상의 다른 파일로 분할됩니다.400MB를 초과하는 개별 파일은 없습니다.

현재 사용 중

• 라라벨 5.2
• 단조
• PHP 5.6.10
• AWS로부터의 서버

현지화된 JSON 파일에서 MariaDB 10.1로 데이터를 마이그레이션하는 것이 모범 사례입니까?이것이 미래를 위한 확장 가능한 대안입니까?속도를 향상시키고 검색 기능을 향상시키려면 스택 모양이 어떻게 되어야 합니까?

예. 데이터베이스의 전체 목적은 장기적으로 이와 같은 데이터의 저장 및 사용을 보다 쉽게 하는 것입니다.

PHP에 JSON 파일을 로드할 때마다 PHP는 데이터를 해석해야 하며, 8GB의 데이터로 구성된 200,000개의 리스트가 파일 시스템에서 PHP 메모리에 로드된 파일로 제대로 기능할지 매우 의심스럽습니다.PHP는 처음에 파일을 로드하려고 할 때 바로 정지합니다(일명 "오류 포기").PHP에서 해당 데이터를 저수준 상태로 정렬하고 조작하는 것은 훨씬 더 효율적이지 않습니다.

JSON 데이터를 MariaDB, MySQL, MongoDB 등의 데이터베이스에 저장하는 것이 이러한 문제를 해결할 수 있는 유일한 실용적이고 모범적인 방법입니다.

누구나 로컬 JSON 파일을 반복적으로 PHP에 로드하는 주된 이유는 작은 테스트와 개발 아이디어일 것입니다.실용적으로는 비효율적이지만 개발 초기 단계에서 이와 같은 큰 JSON 파일을 실제 데이터베이스로 Import하는 프로세스를 만들고 싶지 않을 때는 개발자의 관점에서 데이터의 작은 샘플 파일을 사용하여 기본적인 개념과 아이디어를 정리할 수 있습니다.

그러나 파일 시스템에서 파일을 읽는 것이 "베스트 프랙티스"라고 하는 "베스트 프랙티스"는 전혀 없습니다.솔직히 이것은 매우 나쁜 생각입니다.

검색과 텍스트 데이터 처리를 개선할 Apache Solr이 필요합니다.

당신이 사용할 수 있는 좋은 점은file_get_contents디폴트로는 쿼리 및 쿼리 결과를 JSON 형식으로 처리합니다.

언급URL : https://stackoverflow.com/questions/39939760/should-i-migrate-local-json-database-to-mariadb