Base de conocimientos de DeepTutor y configuración de RAG: importación de documentos, incrustación, auditoría de memoria y respaldo

Base de conocimientos de DeepTutor y configuración de RAG: importación de documentos, incrustación, auditoría de memoria y respaldo, que cubre configuración, verificación, límites de permisos, conmutación por recuperación y mantenimiento a largo plazo.

Este tutorial de DeepTutor solo trata la tarea específica del título. La calidad de la base de conocimientos depende de la limpieza del documento, la coherencia de la incrustación y la revisión de referencias; La configuración, los registros, la memoria y la base de conocimientos de DeepTutor se colocan en el directorio de datos del espacio de trabajo de forma predeterminada, y el ciclo de vida de los datos debe diseñarse claramente primero.

Todas las operaciones siguientes se colocan primero en el repositorio de prueba, la cuenta de prueba o el servicio que solo escucha en la interfaz de loopback. El nombre de dominio, el nombre de usuario, la ruta y la clave del comando son marcadores de posición y deben reemplazarse antes de la ejecución.

Primero arregle la posición del espacio de trabajo de DeepTutor

Esta sección resuelve el problema de “fijar primero la posición del espacio de trabajo de DeepTutor”. Primero registre el estado actual, luego realice la acción mínima y finalmente confirme el resultado con evidencia independiente.

Para DeepTutor, la base del juicio es: la calidad de la base de conocimientos depende de la limpieza del documento, la coherencia de la incrustación y la revisión de referencias; La configuración, los registros, la memoria y la base de conocimientos de DeepTutor se colocan en el directorio de datos del espacio de trabajo de forma predeterminada, y el ciclo de vida de los datos debe diseñarse claramente primero. No abra accidentalmente más permisos en esta etapa.

1
$env:DEEPTUTOR_HOME='D:\deeptutor-data'

Conservar la salida del comando y la marca de tiempo después de la ejecución. Si la salida depende de variables temporales en la terminal actual, abra una nueva terminal y verifique nuevamente.

Modelo e incrustación son dos conjuntos de configuraciones

Procese en el siguiente orden:

  1. Lea la versión real y la configuración actual.
  2. Cambie solo una configuración relevante para esta sección.
  3. Ejecute una solicitud de solo lectura o revocable.
  4. Verifique los registros, los códigos de salida y los archivos finales.
  5. Revierta la modificación anterior si falla.
1
deeptutor init

El estándar de finalización aquí no es la apariencia de la interfaz, sino “el modelo y la incrustación son dos conjuntos de configuraciones” con resultados repetibles.

Limpiar PDF y Markdown antes de importar

Qué comprobar Rendimiento aceptable Señales de que debes parar
Limpiar PDF y Markdown antes de importar Claro alcance de entrada y salida Expandir automáticamente a otros proyectos o cuentas
Permisos Obtenga solo los permisos que necesita para completar la tarea Requerir derechos de administrador o clave completa
Iniciar sesión No se pudo localizar y ha sido insensibilizado Aparece Token, Cookie o texto privado
Revertir Puede restaurar el estado anterior Las modificaciones son irreversibles y no hay respaldo
1
Get-ChildItem -Recurse .\documents

Una vez que aparezca la señal de parada en la tabla, deshaga primero los cambios en esta sección y no continúe con la automatización posterior.

Dividir la base de conocimientos por temas en lugar de mezclarlos todos

Prepare una muestra de éxito y una muestra de fracaso sobre “dividir la base de conocimientos por tema en lugar de mezclarlo todo”. Las muestras exitosas verifican la ruta normal y las muestras fallidas verifican si las restricciones realmente surten efecto.

1
deeptutor start

Se recomienda registrar los siguientes cuatro elementos:

  • Versión previa a la ejecución o confirmación de Git.
  • Entrada real, no se registra ningún valor secreto.
  • Salida observable, código de estado o diferencia.
  • Acciones de recuperación y revisión de resultados tras la recuperación.

Si la causa del error aún no está clara, modifique sólo una variable a la vez; no cambie el puerto, el tiempo de ejecución, el proveedor y el proxy al mismo tiempo.

Realice tres tipos de pruebas de recuperación después de la primera indexación

Esta sección resuelve el problema de “realizar tres tipos de pruebas de recuperación después del primer índice”. Primero registre el estado actual, luego realice la acción mínima y finalmente confirme el resultado con evidencia independiente.

Para DeepTutor, la base del juicio es: la calidad de la base de conocimientos depende de la limpieza del documento, la coherencia de la incrustación y la revisión de referencias; La configuración, los registros, la memoria y la base de conocimientos de DeepTutor se colocan en el directorio de datos del espacio de trabajo de forma predeterminada, y el ciclo de vida de los datos debe diseñarse claramente primero. No abra accidentalmente más permisos en esta etapa.

1
curl.exe http://127.0.0.1:3782

Conservar la salida del comando y la marca de tiempo después de la ejecución. Si la salida depende de variables temporales en la terminal actual, abra una nueva terminal y verifique nuevamente.

Las respuestas deben mostrar evidencia que pueda revisarse

Procese en el siguiente orden:

  1. Lea la versión real y la configuración actual.
  2. Cambie solo una configuración relevante para esta sección.
  3. Ejecute una solicitud de solo lectura o revocable.
  4. Verifique los registros, los códigos de salida y los archivos finales.
  5. Revierta la modificación anterior si falla.
1
deeptutor start

El estándar de finalización aquí no es que aparezca la interfaz, sino que “la respuesta debe mostrar evidencia que pueda revisarse” y tener resultados repetibles.

¿Qué verifican las memorias L1, L2 y L3 respectivamente?

Qué comprobar Rendimiento aceptable Señales de que debes parar
L1, L2 y L3 recuerdan qué verificar respectivamente Los rangos de entrada y salida son claros Expandir automáticamente a otros proyectos o cuentas
Permisos Obtenga solo los permisos que necesita para completar la tarea Requerir derechos de administrador o clave completa
Iniciar sesión No se pudo localizar y ha sido insensibilizado Aparece Token, Cookie o texto privado
Revertir Puede restaurar el estado anterior Las modificaciones son irreversibles y no hay respaldo
1
Get-ChildItem -Recurse $env:DEEPTUTOR_HOME

Una vez que aparezca la señal de parada en la tabla, deshaga primero los cambios en esta sección y no continúe con la automatización posterior.

Corregir la memoria incorrecta en lugar de agregar

Prepare una muestra de éxito y una muestra de fracaso sobre “corregir recuerdos falsos en lugar de continuar agregando”. Las muestras exitosas verifican la ruta normal y las muestras fallidas verifican si las restricciones realmente surten efecto.

1
Get-ChildItem -Recurse $env:DEEPTUTOR_HOME | Sort-Object LastWriteTime -Descending | Select-Object -First 20

Se recomienda registrar los siguientes cuatro elementos:

  • Versión previa a la ejecución o confirmación de Git.
  • Entrada real, no se registra ningún valor secreto.
  • Salida observable, código de estado o diferencia.
  • Acciones de recuperación y revisión de resultados tras la recuperación.

Si la causa del error aún no está clara, modifique sólo una variable a la vez; no cambie el puerto, el tiempo de ejecución, el proveedor y el proxy al mismo tiempo.

¿Qué datos se guardan realmente en el volumen de Docker?

Esta sección aborda “qué datos se guardan realmente en un volumen Docker”. Primero registre el estado actual, luego realice la acción mínima y finalmente confirme el resultado con evidencia independiente.

Para DeepTutor, la base del juicio es: la calidad de la base de conocimientos depende de la limpieza del documento, la coherencia de la incrustación y la revisión de referencias; La configuración, los registros, la memoria y la base de conocimientos de DeepTutor se colocan en el directorio de datos del espacio de trabajo de forma predeterminada, y el ciclo de vida de los datos debe diseñarse claramente primero. No abra accidentalmente más permisos en esta etapa.

1
docker volume inspect deeptutor-data

Conservar la salida del comando y la marca de tiempo después de la ejecución. Si la salida depende de variables temporales en la terminal actual, abra una nueva terminal y verifique nuevamente.

¿Por qué es necesario reconstruirlo al reemplazar el modelo de incrustación?

Procese en el siguiente orden:

  1. Lea la versión real y la configuración actual.
  2. Cambie solo una configuración relevante para esta sección.
  3. Ejecute una solicitud de solo lectura o revocable.
  4. Verifique los registros, los códigos de salida y los archivos finales.
  5. Revierta la modificación anterior si falla.
1
docker stop deeptutor

El estándar de finalización aquí no es la apariencia de la interfaz, sino los resultados reproducibles de “¿Por qué es necesario reconstruir el modelo de incrustación al reemplazarlo?”

Copia de seguridad y restauración de una base de conocimientos completa

Qué comprobar Rendimiento aceptable Señales de que debes parar
Realice una copia de seguridad y restaure una base de conocimientos completa al mismo tiempo Claro alcance de entrada y salida Expandir automáticamente a otros proyectos o cuentas
Permisos Obtenga solo los permisos que necesita para completar la tarea Requerir derechos de administrador o clave completa
Iniciar sesión No se pudo localizar y ha sido insensibilizado Aparece Token, Cookie o texto privado
Revertir Puede restaurar el estado anterior Las modificaciones son irreversibles y no hay respaldo
1
docker run --rm -v deeptutor-data:/data -v ${PWD}:/backup alpine tar czf /backup/deeptutor-data.tgz -C /data .

Una vez que aparezca la señal de parada en la tabla, deshaga primero los cambios en esta sección y no continúe con la automatización posterior.

Método de evaluación de muestreo para mantenimiento a largo plazo.

Prepare una muestra de éxito y una muestra de fracaso en torno al “método de evaluación de muestreo para mantenimiento a largo plazo”. Las muestras exitosas verifican la ruta normal y las muestras fallidas verifican si las restricciones realmente surten efecto.

1
deeptutor start

Se recomienda registrar los siguientes cuatro elementos:

  • Versión previa a la ejecución o confirmación de Git.
  • Entrada real, no se registra ningún valor secreto.
  • Salida observable, código de estado o diferencia.
  • Acciones de recuperación y revisión de resultados tras la recuperación.

Si la causa del error aún no está clara, modifique sólo una variable a la vez; no cambie el puerto, el tiempo de ejecución, el proveedor y el proxy al mismo tiempo.

Cómo los errores de escaneo OCR afectan la recuperación

Esta sección aborda “Cómo los errores de OCR escaneados afectan la recuperación”. Primero registre el estado actual, luego realice la acción mínima y finalmente confirme el resultado con evidencia independiente.

Para DeepTutor, la base del juicio es: la calidad de la base de conocimientos depende de la limpieza del documento, la coherencia de la incrustación y la revisión de referencias; La configuración, los registros, la memoria y la base de conocimientos de DeepTutor se colocan en el directorio de datos del espacio de trabajo de forma predeterminada, y el ciclo de vida de los datos debe diseñarse claramente primero. No abra accidentalmente más permisos en esta etapa.

1
Get-ChildItem -Recurse .\documents

Conservar la salida del comando y la marca de tiempo después de la ejecución. Si la salida depende de variables temporales en la terminal actual, abra una nueva terminal y verifique nuevamente.

Si se comparten materiales en chino e inglés Incrustación

Procese en el siguiente orden:

  1. Lea la versión real y la configuración actual.
  2. Cambie solo una configuración relevante para esta sección.
  3. Ejecute una solicitud de solo lectura o revocable.
  4. Verifique los registros, los códigos de salida y los archivos finales.
  5. Revierta la modificación anterior si falla.
1
deeptutor init

El estándar de finalización aquí no es la apariencia de la interfaz, sino los resultados repetibles de “si los materiales en chino e inglés comparten incrustación”.

Resto de índice después de eliminar documentos

Qué comprobar Rendimiento aceptable Señales de que debes parar
Residuo de índice después de eliminar documentos Claro alcance de entrada y salida Expandir automáticamente a otros proyectos o cuentas
Permisos Obtenga solo los permisos que necesita para completar la tarea Requerir derechos de administrador o clave completa
Iniciar sesión No se pudo localizar y ha sido insensibilizado Aparece Token, Cookie o texto privado
Revertir Puede restaurar el estado anterior Las modificaciones son irreversibles y no hay respaldo
1
Get-ChildItem -Recurse $env:DEEPTUTOR_HOME

Una vez que aparezca la señal de parada en la tabla, deshaga primero los cambios en esta sección y no continúe con la automatización posterior.

Restaurar a un nuevo espacio de trabajo

Prepare una muestra de éxito y una muestra de fracaso sobre “restaurar a un espacio de trabajo completamente nuevo”. Las muestras exitosas verifican la ruta normal y las muestras fallidas verifican si las restricciones realmente surten efecto.

1
2
$env:DEEPTUTOR_HOME='D:\deeptutor-restore'
deeptutor start

Se recomienda registrar los siguientes cuatro elementos:

  • Versión previa a la ejecución o confirmación de Git.
  • Entrada real, no se registra ningún valor secreto.
  • Salida observable, código de estado o diferencia.
  • Acciones de recuperación y revisión de resultados tras la recuperación.

Si la causa del error aún no está clara, modifique sólo una variable a la vez; no cambie el puerto, el tiempo de ejecución, el proveedor y el proxy al mismo tiempo.

Preguntas frecuentes sobre DeepTutor

¿Es posible omitir el entorno de prueba y usar DeepTutor directamente en el proyecto oficial?

No recomendado. Primero complete al menos una solicitud de éxito mínimo, una falla intencional y un simulacro de recuperación.

El comando DeepTutor se puede ejecutar pero el resultado es incorrecto, ¿dónde debo verificar primero?

Primero verifique el rango de entrada, la configuración efectiva real y la respuesta ascendente, y luego verifique el resumen del modelo. Un proceso normal no significa que los resultados del negocio sean correctos.

¿Cómo evitar que las claves o tokens de DeepTutor entren a Git?

Utilice variables de entorno del sistema, administración de secretos o archivos de configuración fuera del proyecto y busque diferencias antes de confirmar. Las claves deben rotarse después de que se descubre una infracción.

¿Qué es más probable que se pierda al actualizar DeepTutor?

Es más fácil pasar por alto el formato de configuración, la dirección de escucha predeterminada, el alcance de los permisos y la compatibilidad de la caché. Guarde la versión y los ejemplos de verificación antes de actualizar.

Problemas de aceptación de DeepTutor

Al finalizar, debería poder responder las siguientes preguntas:

  • ¿Qué versión exacta estás usando?
  • ¿A qué directorios, puertos, cuentas y servicios externos se puede acceder?
  • ¿Cómo devolver el resultado exitoso a los datos originales o Git diff?
  • Cuando falla el flujo ascendente, ¿informará un error, lo volverá a intentar o cambiará?
  • ¿Es posible que la clave aparezca en los registros o en el historial?
  • ¿Cómo volver al estado previo a la modificación en diez minutos?

Si no se puede responder a alguna de estas preguntas, DeepTutor aún se encuentra en estado de prueba y no se le deben extender permisos ni conectarlo a la automatización de producción.