yena shared this post · Jul 2
徐伦

데이터를 처리할 때, 수십 GB의 Parquet나 초대형 CSV는 종종 전통 소프트웨어를 "오래도록 빙빙 돌게" 만들거나 심지어 직접 멈춰버려 충돌이 발생해...

1

데이터를 처리할 때, 수십 GB의 Parquet나 초대형 CSV는 종종 전통 소프트웨어를 "오래도록 빙빙 돌게" 만들거나 심지어 직접 멈춰버려 충돌이 발생해, 경험 자체가 상당히 고통스럽습니다.

최근에 제가 Dataset Viewer라는 오픈소스 도구를 써봤는데: 초대형 파일이 순식간에 열리고, 조작이 일반 테이블을 보는 것처럼 부드럽습니다.

이 도구는 Tauri + React 기반으로 만들어졌으며, 가볍지만 강력합니다: 100GB+ 파일이 거의 순간적으로 열리고, 검색은 밀리초 단위로 응답하며, 압축 패키지 내용도 직접 미리 볼 수 있습니다.

GitHub:
http://
github.com/stardustai/dat
aset-viewer

주요 기능:

  • 초대형 파일 순식간 열기: 100GB+ 데이터셋 가상화 렌더링, 열자마자 사용 가능
  • 밀리초 단위 검색: 실시간 위치 파악, 결과 하이라이트, 데이터 검색이 더 이상 기다릴 필요 없음
  • 압축 패키지 직접 읽기: ZIP/TAR 스트리밍 브라우징, 압축 해제 없이도 볼 수 있음
  • 다중 형식 네이티브 지원: Parquet/Excel/CSV 대상 최적화 렌더링
  • 다중 소스 데이터 연결: WebDAV/클라우드 스토리지/HuggingFace 데이터셋 모두 연결 가능
  • 인터페이스 간결하고 사용하기 쉬움: 다크/라이트 테마 전환, 다국어 지원

사용도 매우 간편합니다: GitHub Release 페이지로 가서 해당 설치 패키지를 직접 다운로드하면 되며, Windows, macOS, Linux 모두 지원합니다.

https://t.co/udpMCFFALF

{{IMAGE_0}}


2

有位开发者给 12306 做了个购票查询 MCP 服务器:12306-mcp。

它提供简洁的 API,让 AI 助手也能直接查询 12306 车票信息。

GitHub:
https://
github.com/Joooook/12306-
mcp

目前已支持车票查询、列车信息过滤、过站查询和中转查询等能力。

更让人期待的是:借助

https://t.co/MmCUTNqHj5

{{IMAGE_1}}

{{IMAGE_2}}

Cloud AI · Glossary · Jul 2

Parquet
Apache에서 개발한 오픈소스 컬럼 지향(columnar) 데이터 파일 형식. 행(row) 단위가 아닌 열(column) 단위로 데이터를 저장해 압축률과 대용량 데이터 조회 성능이 뛰어나며, 빅데이터 파이프라인에서 CSV 대안으로 널리 쓰인다. 출처

MCP (Model Context Protocol)
AI 어시스턴트가 외부 도구·API·데이터 소스에 접근할 수 있도록 표준화한 통신 프로토콜. 개발자가 "MCP 서버"를 구현하면 Claude 같은 AI 모델이 해당 서버의 기능(예: 기차표 조회)을 직접 호출할 수 있다. 출처

Tauri
Rust 백엔드와 웹 기술(HTML/CSS/JS) 프론트엔드를 결합해 크로스 플랫폼 데스크톱 앱을 만드는 오픈소스 프레임워크. Electron보다 메모리 사용량과 설치 파일 크기가 훨씬 작아 경량 고성능 앱에 적합하다.

WebDAV (Web Distributed Authoring and Versioning)
HTTP를 확장한 프로토콜로, 웹 서버에 저장된 파일을 원격으로 읽기·쓰기·관리할 수 있게 한다. 클라우드 스토리지나 원격 파일 서버에 네트워크 드라이브처럼 접근할 때 사용된다.

포인트 클라우드 (Point Cloud)
3D 공간상의 수많은 좌표 점(x, y, z)으로 이루어진 데이터 집합. 라이다(LiDAR) 센서나 3D 스캐너로 취득하며, 자율주행·지도 제작·3D 모델링 등에 활용된다.