1. Em có thể lưu dữ liệu tạm ở Local và sau đó save dần dần: tuy nhiên cách này đòi hỏi em phải cứng tay 1 chút trong xử lý I/O cụ thể là làm việc với File, cũng có rủi ro là cái server local có thể bị hết disk.
2. Em có thể sử dụng kafka, em cứ push dữ liệu và kafka, sau đó ở ở đầu consumer, em sẽ lấy ra dần dần và save vào db: cách này thì đơn giản nhưng lại phát sinh thêm chi phí hạ tầng.

Với kafka em có thể set props.put(ConsumerConfig.MAX_POLL_RECORDS_CONFIG, 1);, so đó poll đủ số lượng em cần thì thôi em ạ. Ví dụ:

List buffer = new ArrayList();
while (true) {
    final ConsumerRecords consumerRecords =
            consumer.poll(1000);

    if (consumerRecords.count() > 0) {
        buffer.add(rs.iterator().next());
    }

    consumer.commitAsync();
    if (buffer.size() >= so luong phan tu can lay) {
        break;
    }
}

consume buffers
buffers.clear();

Khi sử dụng sẽ kiểu thế này:

import javax.sql.DataSource;

@Configuration
@EnableConfigurationProperties(HibernateProperties.class)
@ImportAutoConfiguration(RepositoryPropertiesConfig.class)
public class EzyJpaConfig {

    @Autowired
    private ApplicationContext appContext;

    public static final String EXAMPLE1 = "example1";
    public static final String EXAMPLE2 = "example2";

    @Bean
    public EzyDataSourceFactory repositoryDataSourceFactory(RepositoryProperties properties) {
        return new EzyDataSourceFactory(
            properties.getDataSources(),
            appContext.getEnvironment(),
            "spring.datasource.hikari"
        );
    }

    @Bean
    public EzyJpaRepositoryFactory repositoryJpaRepositoryFactory(
        EzyJpaTransactionManagerFactory repositoryJpaTransactionManagerFactory
    ) {
        return new EzyJpaRepositoryFactory(repositoryJpaTransactionManagerFactory);
    }

    @Bean
    public EzyEntityManagerFactoryFactory repositoryEntityManagerFactoryFactory(
        EzyDataSourceFactory repositoryDataSourceFactory,
        HibernateProperties hibernateProperties
    ) {
        return new EzyEntityManagerFactoryFactory(
            repositoryDataSourceFactory,
            hibernateProperties,
            "com.example.ezy.web.entity"
        );
    }

    @Bean
    public EzyJpaTransactionManagerFactory repositoryJpaTransactionManagerFactory(
        EzyEntityManagerFactoryFactory repositoryEntityManagerFactoryFactory
    ) {
        return new EzyJpaTransactionManagerFactory(repositoryEntityManagerFactoryFactory);
    }

    // ==================== example1 ==========
    @Bean
    public DataSource example1DataSource(EzyDataSourceFactory repositoryDataSourceFactory) {
        return repositoryDataSourceFactory.createDataSource(EXAMPLE1);
    }

    @Bean
    public EntityManagerFactory example1EntityManagerFactory(
        DataSource example1DataSource,
        EzyEntityManagerFactoryFactory repositoryEntityManagerFactoryFactory
    ) {
        return repositoryEntityManagerFactoryFactory.createEntityManagerFactory(
            EXAMPLE1,
            example1DataSource
        );
    }

    @Bean
    public JpaTransactionManager example1TransactionManager(
        EntityManagerFactory example1EntityManagerFactory,
        EzyJpaTransactionManagerFactory repositoryEntityManagerFactoryFactory
    ) {
        return repositoryEntityManagerFactoryFactory.createJpaTransactionManager(
            EXAMPLE1,
            example1EntityManagerFactory
        );
    }

    // ==================== example2 ==========
    @Bean
    public DataSource example2DataSource(EzyDataSourceFactory repositoryDataSourceFactory) {
        return repositoryDataSourceFactory.createDataSource(EXAMPLE2);
    }

    @Bean
    public EntityManagerFactory example2EntityManagerFactory(
        DataSource example2DataSource,
        EzyEntityManagerFactoryFactory repositoryEntityManagerFactoryFactory
    ) {
        return repositoryEntityManagerFactoryFactory.createEntityManagerFactory(
            EXAMPLE2,
            example2DataSource
        );
    }

    @Bean
    public JpaTransactionManager example2TransactionManager(
        EntityManagerFactory example2EntityManagerFactory,
        EzyJpaTransactionManagerFactory repositoryEntityManagerFactoryFactory
    ) {
        return repositoryEntityManagerFactoryFactory.createJpaTransactionManager(
            EXAMPLE2,
            example2EntityManagerFactory
        );
    }

    // ================= config ===========

    @Getter
    @ConstructorBinding
    @AllArgsConstructor
    @ConfigurationProperties(prefix = "jpa")
    public static class RepositoryProperties {
        private final Map dataSources;
    }

    @Configuration
    @EnableConfigurationProperties(RepositoryProperties.class)
    @ConditionalOnMissingBean(RepositoryProperties.class)
    public static class RepositoryPropertiesConfig {
    }
}

Chỉ có 1 cách duy nhất đó là:

1. em dừng code lại
2. backup code ra 1 folder khác
3. trở về điểm commit mà chưa add file đó vào bằng lệnh git reset --hard mã_commit-của_em
4. copy các file khác vào ngoại trừ file 400MB đó
5. commit và git push tên_branch -f
6. Tiếp tục code

Rất tiếc cho em, anh cũng đã từng bị thế này em ạ, 😀