修改异步上传图片文件、增加图斑列表刷新

rain

2024-08-02 dfae9043b11e788fa4d442e4576d73571e976cea

 src/main/java/com/dji/sample/media/service/impl/FileServiceImpl.java

@@ -56,6 +56,8 @@
import java.time.ZoneId;
import java.util.*;
import java.util.List;
import java.util.concurrent.CompletableFuture;
import java.util.concurrent.ExecutionException;
import java.util.stream.Collectors;

import static com.dji.sample.media.util.ImageDownloaderAndCompressor.*;
@@ -121,64 +123,75 @@
        fileEntity.setFileId(UUID.randomUUID().toString());
        return mapper.insert(fileEntity);
    }

    public void saveNailFile(String workspaceId, FileUploadDTO file) throws IOException, ImageProcessingException {
    public void saveFiles(String workspaceId, FileUploadDTO file) {
        // 更新文件状态
        updateStatue(file.getName());
        boolean endsWith = file.getObjectKey().endsWith(".mp4");
        if (endsWith) {
            MediaFileNailEntity nailEntity = this.fileUploadConvertToNailEntity((file));
            nailEntity.setWorkspaceId(workspaceId);
            nailEntity.setFileId(UUID.randomUUID().toString());
            nailMapper.insert(nailEntity);
            MediaFileZipEntity zipEntity = this.fileUploadConvertToZipEntity((file));
            zipEntity.setWorkspaceId(workspaceId);
            zipEntity.setFileId(UUID.randomUUID().toString());
            zipMapper.insert(zipEntity);
        } else {
            String url = pojo.getEndpoint() + "/" + pojo.getBucket() + file.getObjectKey();
            File file1 = TbFjServiceImpl.downloadFile(url);
            File nailFile = new File(ImgZipUtil.compressImage(file1, 50).toURI());
            MediaFileNailEntity nailEntity = this.fileUploadConvertToNailEntity(file);
            Object data = ImgUtil.getInfo(file1);
            nailEntity.setIsadd(0);
            nailEntity.setIsOriginal(false);
            nailEntity.setDronedata(data);
            nailEntity.setWorkspaceId(workspaceId);
            nailEntity.setFileName("nail" + file.getName());
            nailEntity.setObjectKey("/nail" + file.getPath() + "/" + file.getName());
            nailEntity.setFilePath("nail" + file.getPath());
            String nailName = nailEntity.getObjectKey();
            nailEntity.setFileId(UUID.randomUUID().toString());
            uploadFile("http://139.196.74.78:9000", "sxkj", "sxkj2024", "cloud-bucket", file.getObjectKey(), file1, "image/jpeg");
            uploadFile(pojo.getEndpoint(), pojo.getAccessKey(), pojo.getSecretKey(), pojo.getBucket(), nailName, nailFile, "image/jpeg");
            uploadFile("http://139.196.74.78:9000", "sxkj", "sxkj2024", "cloud-bucket", nailName, nailFile, "image/jpeg");
            nailMapper.insert(nailEntity);
        }
    }

    public void saveZipFile(String workspaceId, FileUploadDTO file) throws IOException, ImageProcessingException {
        updateStatue(file.getName());
        boolean endsWith = file.getObjectKey().endsWith(".mp4");
        if (endsWith) {
            MediaFileZipEntity zipEntity = this.fileUploadConvertToZipEntity((file));
            zipEntity.setWorkspaceId(workspaceId);
            zipEntity.setFileId(UUID.randomUUID().toString());
            zipMapper.insert(zipEntity);
        } else {
            String url = pojo.getEndpoint() + "/" + pojo.getBucket() + file.getObjectKey();
            File file1 = TbFjServiceImpl.downloadFile(url);
            File nailFile = new File(ImgZipUtil.compressImageAndGetFile(file1, 0.5f).toURI());
            MediaFileZipEntity zipEntity = this.fileUploadConvertToZipEntity(file);
            zipEntity.setIsOriginal(false);
            zipEntity.setWorkspaceId(workspaceId);
            zipEntity.setFileName("zip" + file.getName());
            zipEntity.setObjectKey("/zip" + file.getPath() + "/" + file.getName());
            zipEntity.setFilePath("zip" + file.getPath());
            String nailName = zipEntity.getObjectKey();
            zipEntity.setFileId(UUID.randomUUID().toString());
            uploadFile(pojo.getEndpoint(), pojo.getAccessKey(), pojo.getSecretKey(), pojo.getBucket(), nailName, nailFile, "image/jpeg");
            uploadFile("http://139.196.74.78:9000", "sxkj", "sxkj2024", "cloud-bucket", nailName, nailFile, "image/jpeg");
            zipMapper.insert(zipEntity);
        // 使用 CompletableFuture 异步执行
        CompletableFuture<Void> future = CompletableFuture.runAsync(() -> {
            try {
                // 下载文件
                boolean endsWithMp4 = file.getObjectKey().endsWith(".mp4");

                if (endsWithMp4) {
                    // 处理视频文件
                    MediaFileZipEntity zipEntity = this.fileUploadConvertToZipEntity(file);
                    zipEntity.setWorkspaceId(workspaceId);
                    zipEntity.setFileId(UUID.randomUUID().toString());
                    zipMapper.insert(zipEntity);

                    // 处理视频文件的其他逻辑（如果有）
                } else {
                    // 处理图片文件
                    String url = pojo.getEndpoint() + "/" + pojo.getBucket() + file.getObjectKey();
                    File downloadedFile = TbFjServiceImpl.downloadFile(url);
                    File nailFile = new File(ImgZipUtil.compressImage(downloadedFile, 50).toURI());
                    MediaFileNailEntity nailEntity = this.fileUploadConvertToNailEntity(file);
                    Object data = ImgUtil.getInfo(downloadedFile);
                    nailEntity.setIsadd(0);
                    nailEntity.setIsOriginal(false);
                    nailEntity.setDronedata(data);
                    nailEntity.setWorkspaceId(workspaceId);
                    nailEntity.setFileName("nail" + file.getName());
                    nailEntity.setObjectKey("/nail" + file.getPath() + "/" + file.getName());
                    nailEntity.setFilePath("nail" + file.getPath());
                    String nailName = nailEntity.getObjectKey();
                    nailEntity.setFileId(UUID.randomUUID().toString());

                    // 上传图片文件
                    uploadFile("http://139.196.74.78:9000", "sxkj", "sxkj2024", "cloud-bucket", file.getObjectKey(), downloadedFile, "image/jpeg");
                    uploadFile(pojo.getEndpoint(), pojo.getAccessKey(), pojo.getSecretKey(), pojo.getBucket(), nailName, nailFile, "image/jpeg");
                    uploadFile("http://139.196.74.78:9000", "sxkj", "sxkj2024", "cloud-bucket", nailName, nailFile, "image/jpeg");
                    nailMapper.insert(nailEntity);

                    // 处理压缩后的图片文件（如果有）
                    File zipFile = new File(ImgZipUtil.compressImageAndGetFile(downloadedFile, 0.5f).toURI());
                    MediaFileZipEntity zipEntity = this.fileUploadConvertToZipEntity(file);
                    zipEntity.setIsOriginal(false);
                    zipEntity.setWorkspaceId(workspaceId);
                    zipEntity.setFileName("zip" + file.getName());
                    zipEntity.setObjectKey("/zip" + file.getPath() + "/" + file.getName());
                    zipEntity.setFilePath("zip" + file.getPath());
                    String zipName = zipEntity.getObjectKey();
                    zipEntity.setFileId(UUID.randomUUID().toString());

                    // 上传压缩文件
                    uploadFile(pojo.getEndpoint(), pojo.getAccessKey(), pojo.getSecretKey(), pojo.getBucket(), zipName, zipFile, "image/jpeg");
                    uploadFile("http://139.196.74.78:9000", "sxkj", "sxkj2024", "cloud-bucket", zipName, zipFile, "image/jpeg");
                    zipMapper.insert(zipEntity);
                }
            } catch (IOException | ImageProcessingException e) {
                // 处理异常
                e.printStackTrace();
            }
        });

        // 等待异步任务完成
        try {
            future.get();
        } catch (InterruptedException | ExecutionException e) {
            Thread.currentThread().interrupt();
            // 处理异步任务的中断和异常
        }
    }

@@ -245,7 +258,7 @@
    }

    @Override
    public PaginationData<MediaFileEntity> mediaQuery(Integer page, Integer pageSize, Long updateStart, Long updateEnd, Long photoStart, Long photoEnd, String jobName, String workspaceId, String type) {
    public PaginationData<MediaFileEntity> mediaQuery(Integer page, Integer pageSize, Long updateStart, Long updateEnd, Long photoStart, Long photoEnd, String jobName, String workspaceId, String type,String jobId) {
        // 创建查询条件对象
        LambdaQueryWrapper<MediaFileEntity> queryWrapper = new LambdaQueryWrapper<>();

@@ -266,6 +279,9 @@
                return new PaginationData<>(Collections.emptyList(), new Pagination(new Page<>(page, pageSize)));
            }
            queryWrapper.in(MediaFileEntity::getJobId, jobIds);
        }
        if (jobId != null && !jobId.isEmpty()) {
            queryWrapper.eq(MediaFileEntity::getJobId,jobId);
        }

        if (type != null && !type.isEmpty()) {
@@ -289,6 +305,47 @@
                    mediaFile.setJobName(taskNameResult);
                })
                .filter(mediaFile -> uniqueFileMap.putIfAbsent(mediaFile.getFileName(), mediaFile) == null)
                .collect(Collectors.toList());

        // 计算分页信息
        int total = uniqueResults.size();
        int start = (page - 1) * pageSize;
        int end = Math.min(start + pageSize, total);

        // 获取当前页的结果
        List<MediaFileEntity> pageResults = uniqueResults.subList(start, end);

        // 创建临时的 Page 对象
        Page<MediaFileEntity> resultPage = new Page<>(page, pageSize);
        resultPage.setRecords(pageResults);
        resultPage.setTotal(total);

        // 返回分页数据
        return new PaginationData<>(pageResults, new Pagination(resultPage));
    }

    @Override
    public PaginationData<MediaFileEntity> mediaQuerys(Integer page, Integer pageSize, String workspaceId) {
        // 创建查询条件对象
        LambdaQueryWrapper<MediaFileEntity> queryWrapper = new LambdaQueryWrapper<>();

        // 添加查询条件
        queryWrapper.eq(MediaFileEntity::getWorkspaceId, workspaceId);


        queryWrapper.last("ORDER BY JSON_EXTRACT(metadata, '$.createdTime') DESC");

        // 执行查询获取所有结果
        List<MediaFileEntity> allResults = mapper.selectList(queryWrapper);

        // 处理结果去重并设置任务名称
        Map<String, MediaFileEntity> uniqueFileMap = new LinkedHashMap<>();
        List<MediaFileEntity> uniqueResults = allResults.stream()
                .peek(mediaFile -> {
                    String taskNameResult = waylineJobService.getName(mediaFile.getJobId());
                    mediaFile.setJobName(taskNameResult);
                })
                .filter(mediaFile -> uniqueFileMap.putIfAbsent(mediaFile.getJobId(), mediaFile) == null)
                .collect(Collectors.toList());

        // 计算分页信息
@@ -456,7 +513,8 @@
    @Override
    public ResponseResult downloadImages(List<String> jobIds) {
        String localSaveDir = "/home/drone/web/zip";
        String filepath=localSaveDir+TimerUtil.getNowDay();
        String downPath="https://wrj.shuixiongit.com/downloadZip/";
        String filepath=TimerUtil.getNowDay()+".zip";
        try {
            String bucketPath = "/data/software/minio-data/cloud-bucket";
            List<String> prefixes = getUniqueFilePaths(jobIds);
@@ -466,7 +524,7 @@
            e.printStackTrace();
            return ResponseResult.error("下载失败" + e.getMessage());
        }
        return ResponseResult.success(filepath);
        return ResponseResult.success(downPath+filepath);
    }

    @Override
@@ -931,72 +989,69 @@
        }
    }

    @Override

    public PaginationData<MediaFileEntity> getJobId(int pageNum, int pageSize, String workspaceId) {
        List<MediaFileEntity> allRecords = new ArrayList<>();
        int currentPageNum = 1;  // 从第一页开始获取记录
        // 分页查询
        Page<MediaFileEntity> page = new Page<>(pageNum, pageSize);

        // 用于存储去重后的记录
        Map<String, MediaFileEntity> uniqueFilesMap = new HashMap<>();
        // 使用 QueryWrapper 执行查询
        QueryWrapper<MediaFileEntity> queryWrapper = new QueryWrapper<>();
        queryWrapper
                .eq("workspace_id", workspaceId)
                .orderByDesc("create_time");  // 根据 create_time 降序排序

        while (true) {
            // 分页查询
            Page<MediaFileEntity> page = new Page<>(currentPageNum, pageSize);
            Page<MediaFileEntity> resultPage = mapper.selectPage(page, new LambdaQueryWrapper<MediaFileEntity>()
                    .eq(MediaFileEntity::getWorkspaceId, workspaceId));
        // 执行分页查询
        Page<MediaFileEntity> resultPage = mapper.selectPage(page, queryWrapper);
        List<MediaFileEntity> result = resultPage.getRecords();

            List<MediaFileEntity> result = resultPage.getRecords();

            // 检查是否还有更多记录
            if (result.isEmpty()) {
                break;  // 没有更多记录了，停止请求
            }
        // 根据 job_id 字段进行去重
        Map<String, MediaFileEntity> uniqueFilesMap = result.stream()
                .collect(Collectors.toMap(
                        MediaFileEntity::getJobId,
                        entity -> entity,
                        (existing, replacement) -> existing // 如果有重复的，保留已有的
                ));

            // 根据 fileName 字段进行去重并设置 JobName
            result.stream()
                    .peek(mediaFile -> {
                        String taskNameResult = waylineJobService.getName(mediaFile.getJobId());
                        mediaFile.setJobName(taskNameResult);
                    })
                    .forEach(mediaFile -> uniqueFilesMap.putIfAbsent(mediaFile.getFileName(), mediaFile));
        List<MediaFileEntity> uniqueFiles = new ArrayList<>(uniqueFilesMap.values());

            // 增加当前页数以获取更多记录
            currentPageNum++;

        // 为每个 MediaFileEntity 设置 jobName
        for (MediaFileEntity mediaFile : uniqueFiles) {
            String taskNameResult = waylineJobService.getName(mediaFile.getJobId());
            mediaFile.setJobName(taskNameResult);
        }

        // 获取去重后的实际总数
        List<MediaFileEntity> uniqueFiles = new ArrayList<>(uniqueFilesMap.values());
        int uniqueTotal = uniqueFiles.size();
        // 使用分页对象构造 Pagination
        Page<MediaFileEntity> newPage = new Page<>(pageNum, pageSize);
        newPage.setRecords(uniqueFiles);
        newPage.setTotal(resultPage.getTotal()); // 设置总记录数为原始查询的总记录数

        // 计算当前页的起始和结束索引
        int fromIndex = Math.min((pageNum - 1) * pageSize, uniqueTotal);
        int toIndex = Math.min(fromIndex + pageSize, uniqueTotal);

        // 获取当前页的数据
        List<MediaFileEntity> pagedUniqueFiles = uniqueFiles.subList(fromIndex, toIndex);

        // 创建新的分页对象，使用去重后的总数
        Page<MediaFileEntity> uniquePage = new Page<>(pageNum, pageSize, uniqueTotal);

        // 使用新的分页对象构造 Pagination
        Pagination pagination = new Pagination(uniquePage);

        return new PaginationData<>(pagedUniqueFiles, pagination);
        Pagination pagination = new Pagination(newPage);
        return new PaginationData<>(uniqueFiles, pagination);
    }






    @Override
    public PaginationData<MediaFileEntity> getPhotoByJobId(int pageNum, int pageSize, String workspaceId, String jobId) {

        // 分页查询
        Page<MediaFileEntity> page = new Page<>(pageNum, pageSize);
        Page<MediaFileEntity> resultPage = mapper.selectPage(page, new LambdaQueryWrapper<MediaFileEntity>()
                .eq(MediaFileEntity::getJobId, jobId)
                .eq(MediaFileEntity::getWorkspaceId, workspaceId));

        // 使用 QueryWrapper 来执行查询
        LambdaQueryWrapper<MediaFileEntity> queryWrapper = new LambdaQueryWrapper<>();

        // 添加查询条件
        queryWrapper.eq(MediaFileEntity::getWorkspaceId, workspaceId);
        queryWrapper.eq(MediaFileEntity::getJobId,jobId);
        queryWrapper.last("ORDER BY JSON_EXTRACT(metadata, '$.createdTime') DESC");
        Page<MediaFileEntity> resultPage = mapper.selectPage(page, queryWrapper);
        List<MediaFileEntity> result = resultPage.getRecords();

        // 根据 fileName 字段进行去重
        // 根据 file_name 字段进行去重
        Map<String, MediaFileEntity> uniqueFilesMap = result.stream()
                .collect(Collectors.toMap(
                        MediaFileEntity::getFileName,
@@ -1006,24 +1061,24 @@

        List<MediaFileEntity> uniqueFiles = new ArrayList<>(uniqueFilesMap.values());

        // 使用去重后的列表重新计算总数
        int uniqueTotal = uniqueFiles.size();
        // 为每个 MediaFileEntity 设置 jobName
        for (MediaFileEntity mediaFile : uniqueFiles) {
            String taskNameResult = waylineJobService.getName(mediaFile.getJobId());
            mediaFile.setJobName(taskNameResult);
        }

        // 创建新的分页对象，使用去重后的总数
        Page<MediaFileEntity> uniquePage = new Page<>(pageNum, pageSize, uniqueTotal);
        // 使用分页对象构造 Pagination
        Page<MediaFileEntity> newPage = new Page<>(pageNum, pageSize);
        newPage.setRecords(uniqueFiles);
        newPage.setTotal(uniqueFiles.size()); // 设置总记录数为去重后的记录数

        // 截取当前页的数据
        int fromIndex = Math.min((pageNum - 1) * pageSize, uniqueTotal);
        int toIndex = Math.min(fromIndex + pageSize, uniqueTotal);
        List<MediaFileEntity> pagedUniqueFiles = uniqueFiles.subList(fromIndex, toIndex);

        // 使用新的分页对象构造 Pagination
        Pagination pagination = new Pagination(uniquePage);

        return new PaginationData<>(pagedUniqueFiles, pagination);
        Pagination pagination = new Pagination(newPage);
        return new PaginationData<>(uniqueFiles, pagination);
    }




    public List<MediaFileEntity> getMedia(String jobId) {
        return mapper.selectList(new LambdaQueryWrapper<MediaFileEntity>()
                .eq(MediaFileEntity::getJobId, jobId)