Merge remote-tracking branch 'origin/ht-dev' into ht-dev

aix

2024-07-30 249d316e0b8c79b71b779b5716bc488e1d08a9b3

 src/main/java/com/dji/sample/media/service/impl/FileServiceImpl.java

@@ -19,6 +19,7 @@
import com.dji.sample.media.dao.IFileMapper;
import com.dji.sample.media.dao.IMarkMapper;
import com.dji.sample.media.dao.INailMapper;
import com.dji.sample.media.dao.IZipMapper;
import com.dji.sample.media.model.*;
import com.dji.sample.media.service.IFileService;
import com.dji.sample.media.util.ImgUtil;
@@ -75,6 +76,8 @@
    @Autowired
    private INailMapper nailMapper;
    @Autowired
    private IZipMapper zipMapper;
    @Autowired
    private GetPatchesMapper patchesMapper;
    @Autowired
    private IDeviceDictionaryService deviceDictionaryService;
@@ -112,27 +115,14 @@
    }

    @Override
    public Integer saveFile(String workspaceId, FileUploadDTO file) throws IOException, ImageProcessingException {
    public Integer saveFile(String workspaceId, FileUploadDTO file) {
        MediaFileEntity fileEntity = this.fileUploadConvertToEntity(file);
        fileEntity.setWorkspaceId(workspaceId);
        fileEntity.setFileId(UUID.randomUUID().toString());
        int count = mapper.insert(fileEntity);
            String url = pojo.getEndpoint() + "/" + pojo.getBucket() + file.getObjectKey();
            if (file.getObjectKey().endsWith(".jpeg")) {
                File file1 = TbFjServiceImpl.downloadFile(url);
                Object data = ImgUtil.getInfo(file1);
                fileEntity.setDroneData(data);
                saveNailFile(workspaceId, file, file1,data);
                count = mapper.insert(fileEntity);
                file1.delete();
            }
            if (file.getObjectKey().endsWith(".mp4")) {
                saveNailFile(workspaceId, file, null,null);
            }
            return count;
        return mapper.insert(fileEntity);
    }

    public void saveNailFile(String workspaceId, FileUploadDTO file, File file1,Object data) throws IOException {
    public void saveNailFile(String workspaceId, FileUploadDTO file) throws IOException, ImageProcessingException {
        updateStatue(file.getName());
        boolean endsWith = file.getObjectKey().endsWith(".mp4");
        if (endsWith) {
@@ -140,9 +130,17 @@
            nailEntity.setWorkspaceId(workspaceId);
            nailEntity.setFileId(UUID.randomUUID().toString());
            nailMapper.insert(nailEntity);
            MediaFileZipEntity zipEntity = this.fileUploadConvertToZipEntity((file));
            zipEntity.setWorkspaceId(workspaceId);
            zipEntity.setFileId(UUID.randomUUID().toString());
            zipMapper.insert(zipEntity);
        } else {
            String url = pojo.getEndpoint() + "/" + pojo.getBucket() + file.getObjectKey();
            File file1 = TbFjServiceImpl.downloadFile(url);
            File nailFile = new File(ImgZipUtil.compressImage(file1, 50).toURI());
            MediaFileNailEntity nailEntity = this.fileUploadConvertToNailEntity(file);
            Object data = ImgUtil.getInfo(file1);
            nailEntity.setIsadd(0);
            nailEntity.setIsOriginal(false);
            nailEntity.setDronedata(data);
            nailEntity.setWorkspaceId(workspaceId);
@@ -151,9 +149,36 @@
            nailEntity.setFilePath("nail" + file.getPath());
            String nailName = nailEntity.getObjectKey();
            nailEntity.setFileId(UUID.randomUUID().toString());
            uploadFile("http://139.196.74.78:9000", "sxkj", "sxkj2024", "cloud-bucket", file.getObjectKey(), file1, "image/jpeg");
            uploadFile(pojo.getEndpoint(), pojo.getAccessKey(), pojo.getSecretKey(), pojo.getBucket(), nailName, nailFile, "image/jpeg");
            uploadFile("http://139.196.74.78:9000", "sxkj", "sxkj2024", "cloud-bucket", nailName, nailFile, "image/jpeg");
            nailMapper.insert(nailEntity);
        }
    }

    public void saveZipFile(String workspaceId, FileUploadDTO file) throws IOException, ImageProcessingException {
        updateStatue(file.getName());
        boolean endsWith = file.getObjectKey().endsWith(".mp4");
        if (endsWith) {
            MediaFileZipEntity zipEntity = this.fileUploadConvertToZipEntity((file));
            zipEntity.setWorkspaceId(workspaceId);
            zipEntity.setFileId(UUID.randomUUID().toString());
            zipMapper.insert(zipEntity);
        } else {
            String url = pojo.getEndpoint() + "/" + pojo.getBucket() + file.getObjectKey();
            File file1 = TbFjServiceImpl.downloadFile(url);
            File nailFile = new File(ImgZipUtil.compressImageAndGetFile(file1, 0.5f).toURI());
            MediaFileZipEntity zipEntity = this.fileUploadConvertToZipEntity(file);
            zipEntity.setIsOriginal(false);
            zipEntity.setWorkspaceId(workspaceId);
            zipEntity.setFileName("zip" + file.getName());
            zipEntity.setObjectKey("/zip" + file.getPath() + "/" + file.getName());
            zipEntity.setFilePath("zip" + file.getPath());
            String nailName = zipEntity.getObjectKey();
            zipEntity.setFileId(UUID.randomUUID().toString());
            uploadFile(pojo.getEndpoint(), pojo.getAccessKey(), pojo.getSecretKey(), pojo.getBucket(), nailName, nailFile, "image/jpeg");
            uploadFile("http://139.196.74.78:9000", "sxkj", "sxkj2024", "cloud-bucket", nailName, nailFile, "image/jpeg");
            zipMapper.insert(zipEntity);
        }
    }

@@ -195,11 +220,20 @@
                    return markEntity.getDronedata();
                }
            }
        } else {
            String names = "nail" + filename;
            List<MediaFileNailEntity> entities = nailMapper.selectList(new LambdaQueryWrapper<MediaFileNailEntity>()
                    .eq(MediaFileNailEntity::getFileName, names));
            if (entities != null && !entities.isEmpty()) {
                for (MediaFileNailEntity NailEntity : entities) {
                    if (NailEntity.getDronedata() != null) {
                        return NailEntity.getDronedata();
                    }
                }
            }
        }

        return "null";
    }


    @Override
    public List<MediaFileDTO> getAllFilesByWorkspaceId(String workspaceId) {
@@ -422,12 +456,12 @@
    @Override
    public ResponseResult downloadImages(List<String> jobIds) {
        try {
            String bucketPath = "/data/software/minio-data/cloud-bucket/";
            // List<String> prefixes = getUniqueFilePaths(jobIds);
            String bucketPath = "/data/software/minio-data/cloud-bucket";
            List<String> prefixes = getUniqueFilePaths(jobIds);
            MinioFileDownloader downloader = new MinioFileDownloader(bucketPath);
            // 下载并压缩文件到本地目录
            String localSaveDir = "/data/software/minio-data/zip-bucket/"; // 修改为你想保存的本地目录
            downloader.downloadAndZipFolders(jobIds, localSaveDir);
            String localSaveDir = "/data/software/minio-data/zip-bucket"; // 修改为你想保存的本地目录
            downloader.downloadAndZipFolders(prefixes, localSaveDir);
        } catch (Exception e) {
            e.printStackTrace();
            return ResponseResult.error("下载失败" + e.getMessage());
@@ -503,16 +537,16 @@
        return builder.build();
    }

    private MediaFileMarkEntity fileUploadConvertToMarkEntity(FileUploadDTO file) {
        MediaFileMarkEntity.MediaFileMarkEntityBuilder builder = MediaFileMarkEntity.builder();
    private MediaFileNailEntity fileUploadConvertToNailEntity(FileUploadDTO file) {
        MediaFileNailEntity.MediaFileNailEntityBuilder builder = MediaFileNailEntity.builder();

        if (file != null) {
            builder.fileName(file.getName())
                    .filePath(file.getPath())
                    .fingerprint(file.getFingerprint())
                    .objectKey(file.getObjectKey())
                    .subFileType(file.getSubFileType())
                    .isOriginal(file.getExt().getIsOriginal())
                    .filePath(file.getPath())
                    .jobId(file.getExt().getFlightId())
                    .drone(file.getExt().getSn()).metadata(file.getMetadata())
                    .tinnyFingerprint(file.getExt().getTinnyFingerprint());
@@ -529,8 +563,8 @@
        return builder.build();
    }

    private MediaFileNailEntity fileUploadConvertToNailEntity(FileUploadDTO file) {
        MediaFileNailEntity.MediaFileNailEntityBuilder builder = MediaFileNailEntity.builder();
    private MediaFileZipEntity fileUploadConvertToZipEntity(FileUploadDTO file) {
        MediaFileZipEntity.MediaFileZipEntityBuilder builder = MediaFileZipEntity.builder();

        if (file != null) {
            builder.fileName(file.getName())
@@ -706,13 +740,100 @@
        }
    }

    public void updateMediaZipFileNames(String jobId) {
        // 查询符合条件的数据
        List<MediaFileZipEntity> mediaFiles = zipMapper.selectList(new LambdaQueryWrapper<MediaFileZipEntity>()
                .eq(MediaFileZipEntity::getJobId, jobId));
        boolean allContainTilde = mediaFiles.stream().allMatch(file -> file.getFileName().contains("~"));
        boolean noneContainTilde = mediaFiles.stream().noneMatch(file -> file.getFileName().contains("~"));

        // 如果所有 fileName 都包含 '~' 或者都不包含 '~'，将 is_add 字段改为 1
        if (allContainTilde || noneContainTilde) {
            return;
        }

        // 筛选出name字段不包含'~'的数据
        List<MediaFileZipEntity> filteredFiles = mediaFiles.stream()
                .filter(file -> !file.getFileName().contains("~"))
                .collect(Collectors.toList());
        for (MediaFileZipEntity currentFile : filteredFiles) {
            String currentName = currentFile.getFileName();
            Map<String, Object> currentMetadata = JSON.parseObject(JSON.toJSONString(currentFile.getMetadata()), Map.class);
            Long currentCreatedTime = (Long) currentMetadata.get("createdTime");
            // 找到metadata中的createdTime小于当前数据的createdTime且最接近的那条数据
            Optional<MediaFileZipEntity> closestFileOpt = mediaFiles.stream()
                    .filter(file -> {
                        Map<String, Object> metadata = JSON.parseObject(JSON.toJSONString(file.getMetadata()), Map.class);
                        Long createdTime = (Long) metadata.get("createdTime");
                        String filename = file.getFileName();
                        return createdTime < currentCreatedTime && filename.contains("~");
                    })
                    .min((file1, file2) -> {
                        Map<String, Object> metadata1 = JSON.parseObject(JSON.toJSONString(file1.getMetadata()), Map.class);
                        Map<String, Object> metadata2 = JSON.parseObject(JSON.toJSONString(file2.getMetadata()), Map.class);
                        Long time1 = (Long) metadata1.get("createdTime");
                        Long time2 = (Long) metadata2.get("createdTime");
                        return Long.compare(currentCreatedTime - time1, currentCreatedTime - time2);
                    });
            if (closestFileOpt.isEmpty()) {
                // 找不到小于的文件，尝试找大于且最接近的文件
                closestFileOpt = mediaFiles.stream()
                        .filter(file -> {
                            Map<String, Object> metadata = JSON.parseObject(JSON.toJSONString(file.getMetadata()), Map.class);
                            Long createdTime = (Long) metadata.get("createdTime");
                            String filename = file.getFileName();
                            return createdTime > currentCreatedTime && filename.contains("~");
                        })
                        .min((file1, file2) -> {
                            Map<String, Object> metadata1 = JSON.parseObject(JSON.toJSONString(file1.getMetadata()), Map.class);
                            Map<String, Object> metadata2 = JSON.parseObject(JSON.toJSONString(file2.getMetadata()), Map.class);
                            Long time1 = (Long) metadata1.get("createdTime");
                            Long time2 = (Long) metadata2.get("createdTime");
                            return Long.compare(time1 - currentCreatedTime, time2 - currentCreatedTime);
                        });
            }
            // 提取并替换name字段
            closestFileOpt.ifPresent(closestFile -> {
                String closestName = closestFile.getFileName();
                int startIndex = closestName.indexOf("V");
                if (startIndex == -1) startIndex = closestName.indexOf("W");
                if (startIndex == -1) startIndex = closestName.indexOf("Z");
                if (startIndex == -1) startIndex = closestName.indexOf("T");
                if (startIndex == -1) {
                    return;
                }
                int endIndex = closestName.indexOf(".", startIndex);
                if (endIndex == -1) {
                    return;
                }
                String replacement = closestName.substring(startIndex, endIndex);
                int currentStartIndex = currentName.indexOf("V");
                if (currentStartIndex == -1) currentStartIndex = currentName.indexOf("W");
                if (currentStartIndex == -1) currentStartIndex = currentName.indexOf("Z");
                if (currentStartIndex == -1) currentStartIndex = currentName.indexOf("T");
                if (currentStartIndex == -1) {
                    return;
                }
                int currentEndIndex = currentName.indexOf(".", currentStartIndex);
                if (currentEndIndex == -1) {
                    return;
                }
                String newName = currentName.substring(0, currentStartIndex)
                        + replacement
                        + currentName.substring(currentEndIndex);
                currentFile.setFileName(newName);
                updateZipById(currentFile.getId(), currentFile);
            });
        }
    }


    @Override
    public void updateMarkMediaFileNames(String jobId) {
    public void updateNailMediaFileNames(String jobId) {
        try {
            // 查询符合条件的数据
            List<MediaFileMarkEntity> mediaFiles = markMapper.selectList(new LambdaQueryWrapper<MediaFileMarkEntity>()
                    .eq(MediaFileMarkEntity::getJobId, jobId));
            List<MediaFileNailEntity> mediaFiles = nailMapper.selectList(new LambdaQueryWrapper<MediaFileNailEntity>()
                    .eq(MediaFileNailEntity::getJobId, jobId));

            // 判断所有 fileName 是否都包含 '~' 或者都不包含 '~'
            boolean allContainTilde = mediaFiles.stream().allMatch(file -> file.getFileName().contains("~"));
@@ -728,17 +849,17 @@
            }

            // 筛选出name字段不包含'~'的数据
            List<MediaFileMarkEntity> filteredFiles = mediaFiles.stream()
            List<MediaFileNailEntity> filteredFiles = mediaFiles.stream()
                    .filter(file -> !file.getFileName().contains("~"))
                    .collect(Collectors.toList());

            for (MediaFileMarkEntity currentFile : filteredFiles) {
            for (MediaFileNailEntity currentFile : filteredFiles) {
                String currentName = currentFile.getFileName();
                Map<String, Object> currentMetadata = JSON.parseObject(JSON.toJSONString(currentFile.getMetadata()), Map.class);
                Long currentCreatedTime = (Long) currentMetadata.get("createdTime");

                // 找到metadata中的createdTime小于当前数据的createdTime且最接近的那条数据
                Optional<MediaFileMarkEntity> closestFileOpt = mediaFiles.stream()
                Optional<MediaFileNailEntity> closestFileOpt = mediaFiles.stream()
                        .filter(file -> {
                            Map<String, Object> metadata = JSON.parseObject(JSON.toJSONString(file.getMetadata()), Map.class);
                            Long createdTime = (Long) metadata.get("createdTime");
@@ -909,12 +1030,19 @@
                .groupBy(MediaFileEntity::getFileName));  // 使用groupBy去重
    }

    public void updateById(Integer id, MediaFileMarkEntity entity) {
    public void updateById(Integer id, MediaFileNailEntity entity) {
        entity.setIsadd(1);
        UpdateWrapper<MediaFileMarkEntity> updateWrapper = new UpdateWrapper<>();
        UpdateWrapper<MediaFileNailEntity> updateWrapper = new UpdateWrapper<>();
        updateWrapper.eq("id", id);
        markMapper.update(entity, updateWrapper);
        nailMapper.update(entity, updateWrapper);
    }

    public void updateZipById(Integer id, MediaFileZipEntity entity) {
        UpdateWrapper<MediaFileZipEntity> updateWrapper = new UpdateWrapper<>();
        updateWrapper.eq("id", id);
        zipMapper.update(entity, updateWrapper);
    }


    public void updateMediaById(Integer id, MediaFileEntity entity) {
        UpdateWrapper<MediaFileEntity> updateWrapper = new UpdateWrapper<>();
@@ -923,10 +1051,12 @@
    }

    public void getNoaddFile() {
        List<MediaFileMarkEntity> markEntities = markMapper.selectList(new LambdaQueryWrapper<MediaFileMarkEntity>().eq(MediaFileMarkEntity::getIsadd, 0));
        for (MediaFileMarkEntity mark : markEntities) {
            updateMarkMediaFileNames(mark.getJobId());
        List<MediaFileNailEntity> markEntities = nailMapper.selectList(
                new LambdaQueryWrapper<MediaFileNailEntity>().eq(MediaFileNailEntity::getIsadd, 0));
        for (MediaFileNailEntity mark : markEntities) {
            updateNailMediaFileNames(mark.getJobId());
            updateMediaFileNames(mark.getJobId());
            updateMediaZipFileNames(mark.getJobId());
        }
    }